漆黑的会场,眼擎科技的这颗芯片是如何识别出不同颜色的?

摘要

发布成像引擎芯片 eyemore X42,眼擎科技想要让机器拥有超越人眼视觉的能力。

751D·PARK 北京时尚设计广场,大绿罐,IF 2018 极客公园创新大会正在进行中。

场馆内光线并不明亮,以至于在不开闪光灯的情况下,即使不考虑噪点的问题,将我手里这台佳能 6D 的 ISO 调至 2000,依旧无法达到理想中的效果。

在眼擎科技创始人朱继志演讲临近尾声的时候,工作人员把现场的灯光全部关闭,只保留了两块大屏幕,甚至即便是坐在会场第一排,我们依旧没有察觉到已经有两名举着色卡的姑娘站在了舞台上。

让原本已经处于弱光状态下的会场,变得更加昏暗,眼擎科技想要做的事情是,用他们的产品来现场完成对于暗光成像的挑战。

朱继志拿出了一个装有识别软件的工程样机,用它对准两名模特之后,很快大屏幕上传来了实时的视频画面。这段演示用时极短,但却赢得了全场的掌声。当然,这并不只是出于捧场。

灯光熄灭的那一刻,全场都处于一片漆黑的状态,只有两块大屏幕可以提供些许微弱的光线。令人惊讶的是,在大家已经看不到模特衣服以及色卡颜色时,眼擎科技的设备却可以做到。

如果以其演示的应用场景来作为参考,他们在技术层面上已经实现了机器在微弱光线下对色彩的还原能力超越人眼。

眼擎科技是如何做到的?或许是大家共同的兴趣点。


让机器拥有超越人眼视觉能力的成像引擎芯片 eyemore X42

eyemore X42,一颗刚刚在极客公园创新大会上发布,眼擎科技口中的「全球首款 AI 视觉专用成像芯片」,也正是现场演示环节中那台设备真正的核心所在。


「创立这家企业眼擎科技,愿景就是给机器开发超越人眼视觉能力的成像引擎,给更多的机器配置视觉的中枢。」朱继志这样说道。

在他的眼中,eyemore X42 芯片,只专注于做一件事情——成像。它采用了全新的成像架构,具备很强的超大规模的计算机能力,里面加载了超过 20 种的全创新的成像的算法,感光度超过 40 万,单帧、单次曝光动态范围可以到 16 比特。

当然,在这些数字背后,一切并没有像我们看到的这样简单。过去的四年里,他们将大概三年多的时间花在了验证各种各样不同的光线环境,来让芯片能够适应复杂环境这件事情上。同时,为了提高芯片的成像性能,甚至把标准的视频压缩也去掉了。 


眼擎科技是一家很年轻的公司,但朱继志却是一名实打实的老芯片人。在决定自主创业之前,他已经在芯片行业沉浸了八年多。

也正是之前那段长达八年的从业经历,让朱继志对于公司未来的发展趋势看的更加清楚:「我们是做芯片的,芯片是个硬件,但是我相信,未来是一个软件定义硬件的世界。」

因此在极客公园创新大会上,我们看到的 eyemore X42 从最底层成像的功能,到各种各样的成像算法、接口,预留了非常丰富的软件调用接口,他们把它做成了白盒式的成像芯片,支持各种各样开发的平台(包括 Windows、Linux、安卓、iOS),并且专门开发了直接连接 iPhone 的麦听口开发工具。

「之所以我们把它做成一个白盒,我们的目标是希望我们的芯片是给软件算法工程师来使用的,我们希望视觉算法工程师不需要懂任何硬件的知识,就能够精准的来控制前面成像的过程,大幅度的提升整个 AI 视觉的效率和准确率。」朱继志说。


为什么图片处理需要一颗单独的成像芯片?

很多时候,光线条件的好坏,并不是我们所能够决定的。日常的拍摄过程中,抛开摄影棚等预设好的场景,室外环境下,遇到弱光、逆光、反光等等光线条件较差的情况,在所难免。 

个人拍照的时候我们等,又或者一些技术大牛们可以通过后期处理来进行补救,但很多时候即便是在一张照片上花费 3 个小时或者更多的时间,也并不一定能够得到我们理想中的效果。

之于企业或者特殊的应用场景,等,并不是解决问题的办法。自动驾驶汽车大概是最好的例子,一旦上路行驶,需要面对各种各样的光线条件,如果它作为「眼睛」的摄像头无法正确识别前方障碍物,很容易造成不可挽回的后果。

2016 年的时候,一辆特斯拉 MODEL S 在自动驾驶时发生车祸,导致驾驶员死亡。究其原因,正是由于在逆光以及反光的情况下,其所配备的摄像头无法识别前方车辆,才酿成了那起事故。


在朱继志看来,成像的历史分成三个阶段。最早是胶卷时代,比较有代表性的企业是柯达;从 80 年代开始进入数码时代,产品转移到了日本,而现在我们正处于 AI 视觉时代。

不同于之前的数码时代,AI 视觉时代整个成像技术有了一个本质的变化。一个明显的特征是以前的图像是给人看的,现在是给机器看的。给人看的时候大家关注的是多少像素,给机器看的时候,则更多的关注于识别的结果。

如果把这个产业里面每个链条的设备看成是一个器官,AI 算法就相当于大脑,而成像芯片则是前端的眼睛。在 AI 视觉时代,如何让大脑和眼睛该进行交互,是过去的半年里,眼擎科技重点去做的事情。

举例来讲,人眼去看东西的时候,当你聚焦于某一个对象,周围其它的对象都是模糊的,我们并不关注。现在随着 AI 的算法能够知道我们所需要看的对象是什么,此时在前端成像的时候,就可以把所有的资源,全部调用来处理所需要的那部分,来解决很多以前解决不了的问题。

除此之外,之所以图片处理需要一颗单独的成像芯片,很大一部分原因在于随着 AI 的要求越来越高,比如 CPU、AP 里边图像处理功能已经无法满足实际使用的需要。不难想象的是,一个普通处理器里的图像处理单元,很难去跑深度学习的算法的,所以 AI 的芯片就会被拎出来。


眼擎科技眼中未来的 AI 视觉领域

在朱继志眼中,AI 芯片产业非常大,在创业之前,他在中国最大的芯片附件公司推广各种各样的芯片。实际上大家做 AI 芯片最主要的事情是要去掌握新一轮的话语权,或者说在 AI 领域的话语权。

在传统芯片领域,占核心地位的是 CPU 或者 AP,其它的芯片都是连接在 CPU 之上的。CPU 是入口,因为它上面跑着操作系统,操作系统上运行着各种各样的程序,从入口它可以变成一个生态。

每一个主流的处理器周围都有一个生态,这意味着它对其它的芯片有一个话语权和控制权。当 AI 芯片独立出来以后,大家更加关心的是 AI 的算法运行在什么上,AI 的数据被谁来处理。

在新的框架里,AI 芯片的大脑作用非常强,未来围绕它会构建一个新的生态,它会有更大的话语权,用户也会更加关注 AI 芯片的进化,这就是为什么大家都要不计成本的去做 AI 芯片很重要的一个原因。 

在过去的十多年里,在芯片尤其是处理器里边,有一个很大的趋势,就是 SoC。当一个功能开始成熟化了以后,就会被集成到主处理器芯片里,这个模式其实我认为是一个非常不好的模式,因为它会扼杀产品的功能创新,当所有的功能被一个芯片做完了之后,产品会变得非常没有差异化。


最近区块链技术非常火,它的中心思想是就去中心化,其实去中心化在 AI 时代也在快速的上演现在随着视觉的发展,AI 的芯片逐个的出来,这个里面 CPU 就变成不是中心,它有什么好处?

在新的 AI 产品时代,即便是大家用同样的 AI 芯片,由于运行的算法、训练的数据不一样,也会导致产品之间会产生很大的差异,而这个差异化最终能带来很好的市场价值。 

显而易见的是,从华为麒麟 970 到 iPhone X 上那颗 A11 bionic 仿生芯片,再到前不久刚刚发布的高通骁龙 845,人工智能芯片在实际应用场景中的重要性正在被越来越多的厂商所认可。

但实际上更多的芯片厂商将关注点放在了后期图像处理能力上,或者本质来讲是计算能力的强弱,而之于前端成像部分,却鲜有人踏足。

随着摄像头被用到越来越多的应用场景,前端成像这部分细分市场所留下的大片空白,将演变成一块巨大的奶油蛋糕,这也是极客公园创始人兼 CEO 站张鹏看好眼擎科技未来发展的重要原因之一。

公司很年轻,从 2014 年成立至今,刚刚四年的时间。成像引擎芯片的发布,只是开始,未来还有很长的路要走,极客公园也将持续对其保持关注。

最新文章

极客公园

用极客视角,追踪你最不可错过的科技圈。

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

顶楼

关注前沿科技,发表最具科技的商业洞见。