周杰伦和邓丽君如何同台竞技?

摘要

如何实现周杰伦和邓丽君同台合唱?运用好莱坞电影中常见的 3D 虚拟形象建模技术和名为 Pepper’s Ghost 的光学现象,可以实现以假乱真的虚拟演出。

编辑注记:9 月 6 日,周杰伦“摩天伦”世界巡演台北站现场实现了“虚拟邓丽君”与周杰伦同台对唱的表演。极客公园根据知乎的两位作者的相关回答以及南方都市报对此的报道整理出这篇文章。

幕后公司和技术挑战

实现虚拟邓丽君形象的幕后公司名叫 Digital Domain近期热门科幻大片的特效制作都可以看到它的身影。而其在去年就完成了过世的美国说唱歌手 2Pac 的虚拟演唱

对知乎上周杰伦演唱会中和邓丽君的合唱是如何做到的?这个问题得票最多的作者关雅荻表示虚拟 3D 投影技术已经是获得广泛使用的技术,但要虚拟邓丽君这样的真人,最大的挑战在于“在于对人面部形象和肢体的完美还原呈现,其中最难的还是面部表情”。然而他由于也是负责 Digital Domain(北京)相关事务,并没有吐露具体的实现技术。

逼真的虚拟邓丽君

南都的采访则为我们带来还原邓丽君形象的一些细节。

虚拟邓丽君是由 45 名特技师工作 3 个月的结果。对这些外国特技师而言,陌生的中文给虚拟人物的嘴形同步和对照带来挑战。而对邓丽君的脸部建模,需要参考相关的老照片、演出 DVD、不全面的身体数据等。由于邓丽君还是上个世纪的人物,照片质量也会成为障碍。

这些都还只是复原表面工作。要让虚拟邓丽君传神,特效师们还反复观察邓丽君演唱的细节,比如演唱时常常露出美丽的牙齿,唱到高音时喉咙会有颤动等。

制作虚拟人物的头发也是一个挑战,尤其是头发还要模仿人物的动态。而为了让这个上个世纪的著名歌手贴近现代观众,虚拟邓丽君的妆发改得更贴近现在流行的风潮,但又通过其演出常穿的旗袍来传达人物古典韵味。

至于虚拟邓丽君的声音,虽然 Digital Domain 作为商业机密不愿透露,但现在语音合成不算什么新花样。

对于 Digital Domain 而言,这次虚拟邓丽君和周杰伦的同台演出,只是为明年邓丽君个人虚拟演唱会做铺垫。可以期待明年会有更接近真人的效果。

虚拟投影的原理

上面的内容只解释了邓丽君的虚拟形象是如何制作的,还没有解释如何将其搬上舞台。

尤雨溪对这个问题的回答则解释了让虚拟邓丽君登台演出的投影技术原理,利用了 佩珀尔幻象(Pepper’s Ghost) 的光学现象。

概括来说,就是当光线在 45 度角的透光平面反射后进入人眼,而反射面的背景相对昏暗的情况下,会形成一种光源和背景叠加的错觉。如果光源是纯黑背景的人像投影,就会产生人站立在背景前的错觉。也可以是真人站在暗处,然后打强光反射。因为光源一般的情况下最后成像有一种模糊飘渺的感觉,所以这个 trick 在鬼屋中常常用到。

YouTube 上有许多关于 Pepper’s Ghost 的教学视频,自己制作出这种效果并不是什么难事。但具体到舞台上就有了技术门槛:

需要高亮度、高色彩还原的投影仪一台,严格控制的舞台光源(背景要足够暗),地面反射毯一块,以及最关键的特制透光反射膜一块。这块反射膜需要完美地拉伸到平整,让肉眼看不出它的存在。在大舞台上安装有相当的难度,同时这膜的制作方法以及整套设置是申请了专利的,总的来说还是有一定的技术壁垒。

把虚拟2Pac换成虚拟邓丽君,Snoop Dogg换成周杰伦

虚拟人物和虚拟投影的运用未来

使用Musion Eyeliner投影屏的舞台,配图:http://www.endelrivers.com/scarab1a.html

虽然现在这些舞台上的 3D 投影和真正的全息投影还存在差距,更别提《Star Trek》中全息甲板了,但还是存在广泛的商业用途。为虚拟 2Pac 演出布景的 Musion 公司就将基于 Pepper’s Ghost 的舞台投影技术运用到许多商业领域。这种虚拟投影技术可以为演讲提供 3D 幻灯片,实现跨地域同步演出,或者通过虚拟 3D 模型教学。

使过世的艺人能再次复活演出,是一件足够使其粉丝兴奋的事。由于毕竟是假人,我们也不必担心会贬低真人演出的价值。而像《黑镜》中那样通过人们留在社交网络以及其它数字资料复活仿生人的技术,现在还并没有实现,我们也不必过多担忧。

新的科技使电影散发光彩,也许这种 3D 虚拟投影的广泛运用也会使舞台表演更加夺目。

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。