全景视频已不新鲜,全景声却没跟上,时代拓灵想这样解决问题

全景视频已不新鲜,全景声却没跟上,时代拓灵想这样解决问题

2016 年 11 月 23 日,全景声方案商时代拓灵正式召开发布会,发布了一整套全景声解决方案:

  • 硬件:面向 B 端的便携式全景声录制机 Twirling720,以及面向 C 端的手机全景声录音外设 Twirling720 Lite;
  • 软件:全景声播放器 SDK, 以及全景声制作引擎 TwirlingWorks;
  • 内容:TwirlingAmbis 全景声素材库。

屏幕快照 2016-11-23 10.35.56.png

纵观 2016 年,全景视频内容增多的同时,不少创作者都意识到了声音的重要性:传统的 2D 音效已经不能满足沉浸式虚拟环境的需要。全景声具备更多空间感和互动性,其声场能根据用户头部的转动和位置移动发生变化,更加贴近现实生活中的声音体验,补上了当前 VR 内容的一块短板。

在发布会前的一次专访中,时代拓灵 CEO 孙学京对极客公园表示:

我们认识到音频在传递最佳 VR 体验上扮演一个极为重要的角色,大概要占整个体验的 50%。

更易用、更具性价比的 Twirling720

不过,全景声录制设备可不便宜。以 Jaunt 为例,使用的 Tetra Mic 仅麦克风就要 1000 美金,还要额外购买线缆和专用录音设备。使用起来门槛也高,需要经过专业培训。

时代拓灵的全景声解决方案正是从低成本、易使用切入。硬件方面,时代拓灵主打面向 B 端的全景声录制设备 Twirling720,其最大特点是一体化程度高、便携易用,体积与传统的收音设备相当。顶部的 360° 收音球集成了 4 轨麦克风阵列,可以直接录制 3D 声场。

屏幕快照 2016-11-21 15.21.01.png

Twirling720 理论上可以适配市面上所有的全景相机,只有原生支持录制全景声的 OZO 除外。设备底部和背部都有 1/4 通用螺口,以适用不同的全景相机组装形式。

音频格式上,Twirling720 原生支持 First Order Ambisonic(一阶环绕声,以下简称 FOA)。FOA 是当前最通用的两种 3D 声场格式之一,另一种是 Quad Binaural。

「FOA 在音频行业已经存在很长时间了,因为其数学上的一些特性,和 VR 结合是自然而然的。」孙学京告诉极客公园,

2016 年 8 月,Google 公布了一个跨浏览器支持的开源空间音频渲染器 Omnitone,旨在实现普通耳机在 VR 环境中的 3D 全景音效。Omnitone 采用的音频格式正是 FOA。在此之前,YouTube app 也推荐全景音频采用 FOA 格式。

「因为有 Google 这样的大公司参与推动,我们整套解决方案都是基于 FOA 制作的,包括全景声制作引擎和播放器」孙学京透露。

虽然力挺 FOA 格式,但 Twirling720 同时支持多种数据格式输出(如杜比 5.1、7.1 和 2D 音频),最高支持 24bit/96kHz 的无损 HD 音频格式。同时增加了基于麦克风阵列的降噪处理,让音质更纯粹干净。

「这只是 Twirling720 的第一版,只具备了基础的拍摄和实时监听功能。第二版将加入通讯模块,应用场景可扩展至沉浸式会议和全景直播。」孙学京告诉极客公园。目前,Twirling720 已经在时代拓灵官网启动预售,市场价为 3999 元。

(Twirling720 使用演示)

除了面向 B 端的 Twirling720 之外,时代拓灵今天还公布了一款直接面向消费者的设备——Twirling720 Lite。这款全景声录制设备搭配手机就可以使用,非常方便,但仍处于概念阶段。

屏幕快照 2016-11-23 10.41.28.png

软件和内容库

作为一个方案商,时代拓灵同时还自主研发了一个跨 Mac 和 Windows 平台的全景声后期制作引擎 TwirlingWorks。

屏幕快照 2016-11-23 11.54.54.png

在 TwirlingWorks 里面,创作者可以实时编辑和预览全景声效果,设计每个音轨所代表声源的位置、距离、大小、运动轨迹等。TwirlingWorks 最多支持 128 条音轨,能一键输出所设计和制作的全景声音频文件,支持各种全景声格式,包括 Ambisonic, Quad Binaural, 和 Twirling Format(无损object audio)。

此外,TwirlingWorks 支持主流的音频插件格式 VST 和 AAX,从而兼容在主流音频工作站上使用,比如 Protools 和 Cubase 等。

在播放端,Twirling Audio SDK 已面向合作伙伴推出,跨 Android、iOS、Windows、Mac OS 及 Unity3D 平台,支持目前常见的多种声场录制,自定义音频对象格式,同时提供对传统立体声和 5.1/7.1VR 化。

孙学京特别强调:「无论是在服务器端还是移动端,Twirling Audio SDK 可以在低功耗下高效驱动复杂声场渲染。」

为了更好地服务全景声音视频创作者,时代拓灵还打造了一个 Ambisonic 全景声素材库,方便各界的音频制作从业者以及爱好者上传、下载、体验和交流。

商业与推广

商业模式方面,时代拓灵主要面向 B 端销售和租赁 Twirling720,同时也面向专业录音师售卖高级软件插件。在这个大多数全景视频团队刚刚意识到全景声重要性的阶段,时代拓灵更倾向于通过资源置换来出售 Twirling720。

在产品推广上,时代拓灵一方面一对一地和全景视频团队进行沟通,另一方面也借助一些大平台的力量触及更多海外团队,比如 Twirling720 于 2016 年 10 月底上线了 IndieGoGo 进行众筹。

孙学京透露:「尽管 Twirling 720 不像耳机这种大众消费品能够吸引广泛的关注,但我们在 IndieGoGo 上的众筹金额还是超过了预期。」

从整个行业的发展轨迹来看,孙学京认为:「伴随着今年 VR 热的潮涨潮落,全景声开始被越来越多的全景视频团队所认知、接受,但格式标准的缺失大大阻碍了发展。」

对于时代拓灵这么一个创业团队来说,他们一方面用自己的产品来站边 FOA 格式,一方面寄希望于 Google Daydream, YouTube 和 Facebook 等大平台对 FOA 的支持能让其迅速成为标准。


P.S. 时代拓灵的全景声 Demo 可以在他们 YouTube 账号上听到,链接点这里

(编辑:Rubberso)

栏目二维码
Twirling VR
关注极客公园公众号
反馈