「极客公开课·Live」5 分钟带你复习动作捕捉让人成为交互的核心

「极客公开课·Live」5 分钟带你复习动作捕捉让人成为交互的核心

此公开课为极客公园策划的「极客公开课·Live」第十期。诺亦腾 CTO&联合创始人戴若犁博士为大家介绍动作捕捉技术原理和应用,动捕技术如何让「人」成为了 VR 交互的核心,演示 Project Alice 多人大空间 VR 交互体验中的虚实物体交互,光混动捕配件丰富 VR 交互体验(介绍 Hi5 VR 手套的技术原理和产品特性,现场演示:Hi5 VR 手套的动作捕捉性能)。

什么是「极客公开课」?

1 位技术产品大牛和 10 位优秀技术产品人围绕技术产品相关话题,面对面深度分享和讨论,共同创造更优的知识与更高的学习效率。

而现在,这种深度的交流方式属于每一个人,知乎 Live 同步线上实时问答,随时随地参与提问互动,与数百人共创一本知乎 live 版的「课堂笔记」

每周 1 次,全年 50 场,极客公开课,推动产品人的自我迭代

以下为本期课堂笔记精华摘要:

幻灯片01.jpg


首先我给大家讲一下今天公开课的流程,有三个大的部分。

第一部分,跟我们讲一些跟技术相关的东西,跟大家拆解一下动作捕捉,可能很多人不太熟悉,但是又听过的,到底里面有什么技术手段,用在哪些行业领域。

第二部分,比较 focus 在虚拟现实,在虚拟现实这件事情当中,为什么动作捕捉、人的数字化这个概念是很重要的,这件事情我们会在第二部分集中的阐述。

第三部分,会更加核心地讲到一些跟输入设备、人机交互、数字手套相关的东西。

幻灯片02.jpg

光学动捕原理

幻灯片06.jpg

光学动作捕捉最为成熟,好莱坞用得最多,造价相对昂贵,而且需要搭建一个完整追踪的区域,才能够捕捉到人的动作和被追踪物体的空间位置和姿态,这个相对来说缺点,就是稍微贵一点、麻烦一点。

光学动作捕捉,顾名思义用的是光学原理,摄像头,用的是视频去捕捉,高帧率的以摄像头去捕捉,一些位置的反算它的位置信息和姿态信息。

惯性动作捕捉为什么叫惯性?是因为用的传感器是加速度的传感器(accelerometer),陀螺仪传感器(gyroscope),磁力计(magnetometer),前两个最主要的传感器,加速度计和陀螺仪传感器都是基于压电材料、惯性原理去测量角速度和加速度的,所以说才会有人把它统称成惯性传感器,惯性(inertia),这个是名词解释。更多演示与讲解,请见知乎 Live

幻灯片08.jpg

很有意思,很多人用动作捕捉的东西做了大量的应用,回到刚才的问题,光学动作姿态捕捉和惯性动作姿态捕捉之间有一个区别是,贵和便宜,不太方便和方便。刚才看到的作品,除了有两个是大的 studia,其他全是小的,或者是个人。他们可以有能力用 motion capture 去做很多事情,这个其实也是我们一直想要达到的目的,我们希望能够让更多的人用起来。

更多的人他们用到哪些场景呢?给大家稍微介绍一下,有一个是一会儿会用重大的篇幅介绍虚拟现实交互的场景。简单地说,就是把人变成虚拟现实体验的一个载体或者是核心,而不是旁观者。另外一个是影视特效制作,包括像最新的《狼人》、《权利的游戏》、《寻龙诀》,很多的电影里面都用到了我们的技术。医疗诊断与康复非常显而易见了,在骨科的康复、在复健体育运动创伤的康复、测量、诊断上有很大的用处。我们有一个产品叫关节博士,也是用同样的惯性动作姿态捕捉的技术去做这样的康复。所以,回到技术本源,如果我们有一种方式,能够把人的动作数字化,那么这件事情是功德无量的,或者是应用的潜在场景非常多的。更多演示与讲解,请见知乎 Live

这个是动作捕捉为什么我们觉得重要,为什么今天有这场知乎 Live,有极客公开课,跟大家分享这些知识,探讨这件事情。

我们 focus,把我们的应用领域回归到一个我比较熟悉的行业,就是虚拟现实。刚才已经讲到了,我一直都这样认为,虚拟现实是一个以人物为核心、主体的应用领域,我们不可以脱离你自己这件事情,去玩体验应用虚拟现实。

我跟大家讲一件事情,我相信大家会有共鸣。在座的也许大家都戴过虚拟现实的头戴式显示器,应该用过类似于 HTC Vive、PSVR 这样的一些设备,包括用我们的设备也是一样。当你戴上头戴式显示器是用虚拟现实的时候,我们会发现一件通常大家都看见的一件事情,就是人变得非常犹豫,人的动作非常慢,你去触碰东西,或者是迈出第一步走出去,人会非常犹豫。

这件事情其实从认知学上来说,是因为没有所谓的身体的感知,你看不到自己,不知道你在哪里,你只是在一个陌生的环境,这件事情会导致大家做事情的效率、舒适度。个人东西会发生非常大的障碍。甚至有一些科学家他们有论文、写文章,他们表示出来他们认为人不可以或者是无法在现实中待超过 25 分钟,是由于没有身体感知的原因,如果有一个非常正确、迅捷、舒适的身体感知,人除了眼睛不舒服之外,是有希望在 VR 虚拟的环境中待更长时间。所以人在虚拟现实当中非常重要,除了可以给我们一个 input device,可以做人机交互之外,另外就是提供感知,你能让大家看到自己,就已经很有用了。

人的感知

我们展开来讲,在虚拟现实当中我们抛开人这件事情,虚拟现实我们需要给人提供各种各样的感知。

  • 第一,视野的感知。
  • 第二,身体的感知。
  • 第三,环境的感知。

先说视野的感知。我们第一轮虚拟现实的设备,或者是说现在相对来说比较便宜的虚拟现实的设备,包括 Daydream 这些东西,人机交互相对比较简单,至少他们提供了第一步,就是视野的感知,给人一个完全纯净化的视觉。但是要跟大家说的一点,这个其实又跟动作捕捉相关了,或者是跟追踪相关了。当我们的沉浸度越高,所谓的视野、FOV 越大的时候,人对于我整个头部动作甚至于在更高阶的 VR 产品,有头部位移的追踪,会更加敏感,对追踪的精准程度、迅捷程度会更加敏感。

我说得更加深入一点,我拿一个头戴显示器给大家做一个简单的示范。我手里拿着一个非常典型的头戴显示器,当我戴上头,我需要看到里面东西的时候,其实我们需要有一件事情是匹配,当我往左看、往右看、抬头、低头的时候,视野是追随的我的动作运动的,这个是三个转角:俯仰角(pitch)、横滚角(row)、航向角(yaw),我需要旋转上的三个 X、Y、Z。当我平移的时候,有 X、Y、Z 方向的平移。更多演示与讲解,请见知乎 Live

以上就是本次公开课的关键内容,更多演示请点击「极客公开课·Live」第十期或扫描下方二维码查看获取:

诺亦腾知乎二维码.png

关注极客公园公众号
反馈