VR 技术的下一破局点有哪些？

以下内容根据英伟达全球副总裁兼中国区总经理张建中及青瞳视觉联合创始人祖厚超在极客公园 2016 奇点·创新者峰会「What's next about VR 」闭门论坛上的演讲整理而成。更多相关信息请关注：singularity.geekpark.net。

英伟达：把下一代 GPU 的性能提升三倍

我觉得很多人都认为是 VR 是很新的技术，大家都认为 2015 年是 VR 的元年。其实我认为 VR 这个技术大家把它看的太新了，其实 VR 是一个很古老的技术，它从我们很多人没有出生之前，60 年前，VR 就已经开始有人尝试了。要一个大型的设备把人装进去，感觉或者模拟，所以说 VR 本身不是一个新科技是一个古老的技术，但是在这个过程当中有许多的科研工作者花很多时间来让 VR 技术进步。

事实上，每隔 10 年、20 年，VR 技术都有不同的变化。在这些变化当中，我们看到大概在 1968 年的时候就有人把 VR 戴在头上移动了，跟现在我们形式上类似了。

大家认为 2015 年 VR 元年的时候，这个时候才开始有第一代的头盔，大家体验的时候觉得一下子很震撼，觉得 VR 科技有很大的飞跃。如果跟历史比较一下，是什么原因导致 2015 年头盔能够给消费者带来第一次震撼的效果，而不是像 60 年的 VR 只能在实验室里面让专家模拟，就是因为我们在 2015 年的时候发布了新的 GPU。

我们准备在下一代把它整体性能提升三倍。在不停的变化当中，VR 真正能够进入消费、进入实用阶段，GPU 的性能是要有很大很强的计算能力的提升，才能满足我们用户的需要。

10 年前我们可能还没有 GPU，GPU 时间很短，这几年发展很块，带来是整个计算能力的提升，我们今天最好的 VR 头盔，你去看的时候，你发现很多 VR 的体验都让人不尽如人意，觉得分辨率不够高。当我们每个人的手机有了视网膜屏之后，当你看到点再也看不出来之后，那个精度就能满足我们用户的需要。今天带上头盔你会发现每张图片像素是很粗的，直到有一天像素很细之后，你的眼睛不用挑剔图象质量的时候，那时候 VR 的品质就会跟今天很不一样。

在 VR 世界中有很多应用，我们在开发的时候需要很多的现实模拟，你一定要有很好的方法去模拟真实的世界，要有工具帮助我们开发者开发出更好的内容。

每个人都知道，人跟机器的交互最简单的还是靠人自己。你会看到很多用户体验方面一定会有很多公司研发更好更新的科技进行人机交互，我们今天看到很多合作伙伴在不同阶段开发出很多有趣的设备，这些不同的设备在几个月当中会迭代得非常快。我知道有很多公司开发的人机交互在多人互动的 VR 交互方面已经非常成熟了，其中最好的方法还是一个人机友好的交互方式。

没有好的内容技术的应用是不会成熟的，内容驱动技术发展，技术发展也带动了内容的进步，在 VR 系统当中内容的开发商才是核心的关键。VR 的引擎和内容是非常重要的。

这几个点结合起来可以把整个 VR 行业从传统带向新的阶段，就可以在整个内容方面有一个很大的提升，但是这些提升需要一个强大的 GPU 性能去驱动。去年的产品已经是世界最快的，但是只能达到 60 帧。我们放大成两个左右眼睛渲染的时候，假设分辨率是 3000×1680，计算能力需要 450MP/S，基本上你要扩大 7 倍的渲染能力，你的 GPU 计算能力要有 7 倍，但是知道这个是非常困难的。

这是我们今年发布的产品，这也是在所有的网站跟销售当中卖的最好的显卡，GTX 1080，只有它才可以满足 HTC Vive。提升的 7 倍的渲染力，我们在 1080 的显卡上做到了。在整个 GPU 性能提升之外，我们在里面加了很多 VRWorks 套件的技术。在这个里面我们把它增加了一个新的渲染引擎，在 GPU 渲染的同时，不只是渲染眼睛看到的部分，它把你的左右方向全部渲染完了，当你的头左右移动的时候就不需要再做一次工作了。如果 GPU 在渲染一个 360 度镜像的时候一次性渲染完，你在头盔移动的时候就不需要再计算了。这种方法可以把整个看到的面或者你的眼睛能看到的视角范围内的画面全部渲染完。这样的方式在 GPU 能力不够的时候，就可以达到很好的性能，你的头左右移动的时候不需要再渲染一遍。

我们把眼睛看到的画面折射成你的眼球的曲面，用这样的方式把 GPU 的图形图象渲染能力提升 7 倍，这样的好处可以让所有的计算当中减少了很多计算量，你会看到 VR 的性能在 1080 显卡当中比 GTX960 提升了 7 倍。可以让 HTC Vive 达到 140 帧。

我们都知道在 VR 的世界当中不只是眼睛去看，所以我们要看到你的视觉、听觉、触觉等各个方面模拟出自然世界当中各种各样的效果。我们利用人的五官，眼睛、耳朵、手、皮肤我们把这些感觉增加进去，专门做了一套 VRWorks 套件，实实在在模拟现实中的一切，物体跟物体之间的碰撞，物体跟物体之间的轨迹，都可以根据重力加速度模拟。

同时我们也做了非常好的一些开发工具，这些开发工具当中包括了很多物理模拟的 SDK，其中有 PHYSX，拆分成小颗粒做很多分子运动的模拟，也可以做很多流体的模拟，可以做很多细搭的建筑物，精细到每个细小的小块，让它产生实际的效果。可以看到很多战争的场面，破碎的物体。

怎么样体现这个，我们为了让很多开发者学会使用这些新的 SDK，我们做了一款游戏叫 FUNHOUSE，建议每个人欣赏体验一下 FUNHOUSE 带来的效果，我们打算把源代码开放在网上，让所有的开发者自己下载。我们也打算跟国内的游戏开发社区，给大家提供相应的技术支持，教会每一个开发者有能力开发出更加逼真的自然的游戏效果。

这个效果到底怎么样，我建议每个人找到设备去体验，这个模型做的很简单，简单的物理特效模拟游乐场，所有的运动轨迹是一样的，如果篮球可以产生重力加速度，反弹和碰撞产生的结果都是非常真实，气球破碎之后粒子的状况，如果游戏开发的好，可以开发的很细，如果开发的很细对于我们的 GPU 就会很麻烦，你会很快秒杀我们的 1080，有的人可能会买 4 块，也是促进我们尽快研发下一代 GPU。其实很多人玩家觉得这个显卡太慢，这也是 GPU 为什么这几年加速发展的过程。

为了让这些东西做的很好，AUDIO 是非常重要的一点，为了把这个做好，这个也是非常简单就是声音的折射和反射，对于 GPU 来说非常容易，因为在 GPU 有一个引擎专门做光线追踪，如果有到声音里面更加容易，声音源没有那么，反而光源会很多，我们把这个算法加进 VRWorks 套件里面。当然我们每个人都会迫切需要 Volta 尽快上市，好消息是它会很快，坏消息是还要等两年。

今年如果我们是投资人你会发现投资的两大科技点一个就是 AI，一个就是 VR，所有这一切就是基于 GPU，如果一个企业不懂 GPU 研发，你投资给它是有点浪费的，因为它很难找到技术源泉驱动他的应用。

总结一下 VR 里面，我相信 VR 当中对于我们整个生态系统来讲，无论是做 HMD、引擎还是游戏公园，大家如果有什么技术帮助可以找我们 NVIDIA，我们也愿意跟所有的同行，所有的生态系统的合作伙伴共同把 VR 推向一个新的高度，这个点是非常好的点，全球的投资和全球的开发点，起步点是一样的，没有先后，中国绝对有机会超过全球其它国家，我们也希望中国的开发者能成为全球最的开发者，谢谢大家！

青瞳视觉：深挖单一技术才能成功

现在交互对虚拟现实来说越来越重要，在 2014 年头盔越来越廉价，很多人用得起，效果越来越好，2014、2015 年大家关注点可能在头盔领域。我们在做青瞳之前不是结合头盔在用，它的领域非常多，我们更多的结合的是投影机、机器人领域做一些尝试，但是每个尝试没有得到很好的市场反馈。

后面我们探索了很长时间，就选了虚拟现实主题公园这个方向，在 2015 年的时候，很多人介入到虚拟现实领域都是为了掘金，中间有一个很有趣的故事，当时厨师协会的会长跑进来做 VR 做了一段时间跟他想的不一样，他坚持了半年投入了 60 多万，结果跟自己想的不一样，发现坑太深。

追踪系统本身作为交互技术，可以跟 VR、AR、无人机结合都可以。所以现在追踪在这块，远比我们想像的多，而且交互在后面的发展包括像现在主题公园，我们现在接触了非常多的做主题乐园，包括做交互的，大家对交互意识重要性越来越大，他会测试帧速够不够，精度够不够。

我先说一下目前的当时在确定下来做追踪市场的话，当时研究了几项，包括在 Xbox、PS 等方面。在 PS 追踪系统跟游戏结合互动，大家觉得坐在那儿玩不够爽，青瞳的定位就是做大产品的追踪，不做小的。我可能做一个桌面级的，PS 马上能把我取代掉。我们后来定位就是参考了国外的模式，做 VR 的主题乐园。

这个是我们当时在分析的时候看每个板块，这个也是国外的一些信息，大家可以看到每一个领域都需要追踪。我最早做虚拟现实的教育领域，大家需要追踪，或者模拟训练，后面大家意识到模拟越来越重要。

这是当时做的几个对比，因为一直在做这一块，所以很多时候会被别人问到你们的差异在那儿，比如说 Kinect 是微软的配件，价值非常便宜，用途也是最广的，但是 Kinect 很难结合 VR 的做一些优秀的内容出来。Kinect 只有 30 帧的帧速，所以画面有明显的延迟。如果结合 VR 做一些深度的互动，我在里面可能还有道具和产品结合，Kinect 没有办法支撑。

比如做 VR 体验的时候，规定只是人进去或者只是头盔进去，我希望周边的道具进去，把红外点粘到枪上，枪可以是木头枪，在虚拟现实里面可以办成很酷的枪，沉浸感会把你带进去。

还有一个激光发射基站是 HTC 现在在做的，用的最广的。SLAM，现在非常红，大家都在追着去用，因为现在大部分的追踪方案对于空间产品的限制比较大，大家希望我的摄像机在头盔上可以摆脱所有的束缚，用 SLAM 方式去做。但是它的数据非常大，包括延迟，离真正的商用还是有一段距离。

激光雷达我在所有的国内的线下的 VR 体验基本上没有见到过，激光雷达成本高。比如我在红外的点上，贴到这个点可以定一个序号，比如这个序号是 1，但是激光雷达做不到，第二个也会有一些干扰因素。

这个是我们现在给自己的定位：卖最好的追踪产品。第一个本身团队的性质决定的，我们整个团队 90% 偏研发，而且又是专门专攻追踪这块，基于这样的情况我们专门做追踪产品。我们自己的盈利模式、变现渠道都比较清晰。

这个是我们在做 VR 的主题公园整个的架构，在整个虚拟现实体验，这里面最大的一块在追踪系统，现在很多虚拟现实的体验，比如说我在上海某一个商场做一下，但是效率非常低，一个小时只能体验一两个人，这块我们现在更多的是倾向和别人合作。我们跟米粒合作，它电影宣发要找亮点，而且它有自己的 IP 和内容。

最上面的部分是 Cameras，我们对于可见光、对红外有一定的过滤。一般对于这样的场地，对于光线有一定的要求，比如说 Cameras 上面有强电从旁边经过，这种 Cameras 追踪系统都不会特别稳定，细节的东西我们实践的时候，发现很多东西远比自己想的多。

这是应用结合比较紧的方向，第一个是线下体验，我们现在做的 VR 主题乐园方面，线下体验这种方式北京、上海和广州都有一些示范的点出来，都能看到，而且基本上三个月迭代一次。

教育这块，更多的是作为培训，对互动的要求比较高，希望通过这种方式培养学生，通过虚拟的环境进行一些操作，可以得到一些学习的经验。

军事这块，需求比较大，但是门槛比较高，军工部分有保密机制，所以做市场化的公司没有技术，没有这个资质是不能直接做的，而且周期是比较长的，不一定适合我们现在做。

影视动画，在影视动画里面，我们跟影视基地合作，我们解决的是技术端的事情，具体的应用的东西他们通过他们实践的方式反馈回来，通过他们的反馈再去迭代。