被谷歌看中的 Magic Leap 有何奥秘?

被谷歌看中的 Magic Leap 有何奥秘?

Magic Leap 的创始人阿伯维茨(abovitz)在其官方网站上含糊其辞地谈论到他们在做的事情:

将魔法带到生活中,专注于人类而非机器。

他举了一个例子模拟这种感受:

“在我很小的时候,我曾经求着我的父母带我去潜水。我还记得我当时带上潜水镜时的奇妙感受,一个完全不同的,崭新的世界:细小的鱼在水里游来游去,游向我,好像要穿透我的潜水镜,真实而且生动的场景让我意识到世界是一个美妙的地方,它值得我们去探索。”

多年后的 2011 年,阿伯维茨创办了 Magic Leap ,如今,该公司除了阿伯维茨外,还有100多人,包括一个内部游戏工作室,以及一些机器学习及计算机视觉专家、工业设计师和机械工程师。

在今年的 10月 21 日,Magic Leap 获得谷歌及多家知名科技公司投资达 5.42 亿美元。

插图_meitu_3.jpg

从一些消息中可以看出谷歌对于 Magic Leap 的重视程度:本次的领投,融资完全来自于谷歌,而非谷歌旗下的投资部门谷歌风投。而且如今谷歌的二号人物,全线产品的实际负责人桑达尔·皮察伊(Sundar Pichai)将加入 Magic Leap 董事会。

媒体热衷于谈论着谷歌的战略和虚拟现实的未来,而关于 Magic Leap 的技术细节,它与之前被facebook收购的 Oculus Rift 有什么不同,他通过什么设备成像的呢?它如何实现“世界上最自然最友好的可穿戴设备”?这些问题在低调的 Magic Leap 公司那里并没有直接找到答案。

最近专利商标文件公开了 Magic Leap 所使用的技术,包括如何调整人眼的聚焦深度,感知周围的世界等, Magic Leap的技术魔法被揭开了神秘面纱。

比 Oculus Rift 更逼真地感知

目前公布的文件显示,Magic Leap 所使用的成像技术比现有的虚拟现实成像技术要更加成熟,现在大多数设备所使用成像技术只能显示出平面的 2D 图像。

比如头戴式显示器 Oculus Rift 通过向两只眼睛显示不同的图像来使得大脑进入深度的感知状态,在这种情况下,你的眼睛会一直注视着正前方的屏幕。

当到了真正的 3D 场景时,你的眼睛所关注额深度是随着物体距离的变化而变化的。来自斯坦福大学计算成像研究小组的组长 Gordon Wetzstein 说,如果没有一个聚焦点来诱导的话,我的获得的感受就很可能是不真实的。

如何解决没有聚焦点带来的不真实体验的问题,Magic Leap 给出了一个更好的方案。

他们创造了一个与现实的光场(光场:用来描述通过空间中每一个点和每一个方向的光的量的一个函数。迈克尔·法拉第首先提出光应被理解为一个场,就像磁场一样)一样的 3D 模型,据 Wetzstein 解释说,这种做法可以使你的眼睛像在真实的三维世界一样,聚焦到人工的 3D 景象中,这样,你就感受到虚拟和现实世界相结合的真实幻想。

如何创造虚拟世界

今年 7 月的一份商标文件显示,Magic Leap 的这种技术被描述为“可穿戴计算机硬件,也就是,结合动态光场显示器的光学显示系统。”

那么,它使用了什么技术实现这个光学显示系统的呢? Magic Leap 的一项专利描述了它的一个设备,波导反射镜阵列投射器是如何运作的。

该显示器由形成一排的很多小小的曲面镜组成;光会通过光纤传送到那一排小曲面镜上,然后每个曲面镜反射部分光,从而构成最终 3D 空间的一个特定的点,形成光场。

专利_meitu_2.jpg

该阵列会呈半透明状态,让人可以同时看到现实世界。

多层的这种小镜子让显示器能够产生不同距离的虚拟物体幻象。然而,Magic Leap 的专利声称,如果镜子由“磁性液体”形成,一层镜子就足够。

这样镜子会利用磁场重编程,从而快速显示不同深度的点,快到足以迷惑眼睛,就像动画帧那样。

如何无缝连接虚拟和现实

创造出虚拟的世界后,如何将虚拟的 3D 物体与现实的世界无缝连接?这可能是Magic Leap 所面临的一个最大的挑战。

计算成像专家 Wetzstein 解释道,为了实现这一目的,系统要能够感知3D世界,且清楚人具体是在看什么东西和物体的确切位置。

Magic Leap 的其中一项专利涉及利用可穿戴显示器上的运动传感器和眼睛追踪摄像头判断眼睛的聚焦深度。不过,Wetzstein 称,据他所知,还没有一个可穿戴系统可以追踪人的聚焦距离。

Magic Leap 的另一项专利申请文件称,可以利用摄像头、红外传感器和超声波传感器来感知人周围的环境,以及识别人的姿态。深度感知的摄像头现在相对便宜,而且体积较小。

但 Wetzstein 认为,Magic Leap 很可能需要在可穿戴设备的计算机视觉软件上作出重大突破,进而足够感知周围世界,实现非常丰富的增强现实体验。他认为,“ Magic Leap 的头戴式显示器将需要非常强大的 3D 图像识别技术。”

该公司正在招募芯片设计和制造领域的专家,该举显然是为了开发专门处理图像数据的定制芯片。专用芯片可以让显示器更加节能,这一点对于可穿戴设备而言尤其重要。

Wetzstein 透露,Magic Leap 雇佣了计算机视觉研究与软件的先驱加里·布拉德斯基(Gary Bradski)。

Magic Leap 还在寻求多个领域的人才,包括激光、移动和无线电子学、摄像头、制造供应链管理、3D感知、人工智能和视频游戏开发。 实现高度逼真的增强现实需要 Magic Leap 整合各个领域的技术,包括光学,电子,算法以及人工视觉系统等。这些技术之前已经有过,只是还没有人将他们进行整合。这也是 Magic Leap 所面临的重要挑战。

(文章部分编译自 technologyreview

Google增强虚拟现实
关注极客公园公众号
反馈