天猫双 11狂欢夜是如何变成一场未来晚会的?

摘要

AR+VR、瞬时穿越、机器人主持……揭秘天猫双 11狂欢夜如何带来「好莱坞+硅谷」感官

「今年我们不仅要解决晚会怎么样更好玩的问题,还要解决史上地域跨度最大的全程实时互动导播挑战,不过我们已经准备好了。」还有一周,vivo2017 天猫双 11 狂欢夜即将正式开幕,晚会技术负责人蔡建平(花名:崔西)面对记者表示:「我们是按二十年后的晚会形态在尝试这些新技术。」

首次同时采用 AR +VR,把明星送到你家

每一年的天猫双 11 狂欢夜都是明星云集,今年当然也不例外,大半个娱乐圈都来了:章子怡、吴亦凡、李宇春、王嘉尔、莫文蔚、郎朗、刘涛、「小猎豹」郑恺、林更新、张杰、迪玛希、关晓彤等明星都出现在了今年天猫双 11 晚会明星名单中,还有好莱坞巨星、超级体育大咖等尚未公布的神秘国际明星天团。

但是,如果明星们只是一如既往地呆在电视机里,那就太没有新意了。能不能让电视机里的明星走下舞台,甚至是进到每一个观众的家里去,和观众实现零距离互动呢?这是蔡建平和他的团队面临的难题,也是他们率先尝试的一大创新。

「我们首次把真人三维建模和动作捕捉技术运用到了国内的手机平台,把明星的动作甚至表情细节都进行了逼真的还原,再通过特殊加密算法将模型文件压缩在 20M 左右,同时巧妙地将 AR 技术与 VR 全景技术结合,实现了用技术将明星通过 AR 技术投射到真实场景,达到和观众面对面、多角度、零距离接触的效果。」蔡建平介绍:「到时候,观众只要在手机上点一下按钮,就能把明星请到自己家里拍照、互动」。

AR+VR,听上去很酷炫,但如此复杂的算法是否会导致中低端手机无法适配呢?据悉,为了满足绝大多数的用户体验,在 AR 算法方面,除了新版 iPhone 采用 ARkit 算法之外,剩下的机型全部采用了阿里人工智能实验室自研的 slam 算法。这种业界领先水平,让几乎所有机型用户都能拥有良好的 AR 体验。

任意门截图

蔡建平表示:「11 月 4 日上线的晚会任意门,用户可以穿越去大张伟、郑恺等明星那里探班;而晚会当天,很多人心目中的女神将能借助这个技术,『瞬时穿越』到每个人家中,非常值得期待!」

在虚拟观众席看直播,人工智能陪伴左右

除了把明星送到你家来,今年的天猫双 11 狂欢夜还要把你接到晚会现场去,还有 AI 助手全程陪伴。

原来,今年晚会现场专门开辟了虚拟观众席位,打开手淘就可以随时看晚会直播,还能享受到由 CG 动画+AR 虚拟技术实现的专属开幕式收看视角以及真实的入场仪式,仿若置身晚会现场。

虚拟观众席示意图

不仅如此,虚拟观众还可以走出观众席,随时到后台捕捉「野生」爱豆。蔡建平介绍,今年的天猫双 11 狂欢夜在手淘设置了 6 个直播窗口,除了主直播窗口和虚拟观众席窗口之外,还有活捉野生爱豆窗口、解密导播间窗口、蹲守野生爱豆窗口以及清空购物车窗口。每个直播窗口,都有「天猫精灵」随时候命,只要点击「天猫精灵」发送文字或语音,就可以随时调用你喜爱的明星画面,还可以让它推荐个性化的商品。「我们的目标是让『天猫精灵』成为你的贾维斯,随时为你服务。」蔡建平表示。

天猫精灵机器人跨界做主持,跳舞卖萌都是强项

此前有消息爆料称,今年的天猫双 11 晚会将由华少、张星月,悦悦将综艺明星主持担当团,另外,还将有神秘机器人加盟主持,还要当场「开撩」女明星。

蔡建平向我们揭晓了谜底,原来这位「与众不同」的神秘主持竟然是由阿里人工智能实验室和阿里鱼联合打造的「天猫精灵机器人」!据了解,这台「天猫精灵机器人」身高在 1 米左右,可以实现语音交互、肢体互动、主动识别、环境监测等功能,它会根据人体姿态、说话语气、来预期用户的行为、口令,并对用户交谈内容作出反馈。除了对话聊天,还可以识别用户的声纹,比如是男生还是女生,是主人还是陌生人等等,这些功能使其具备了主持人的「上岗资格」。

「天猫精灵」机器人

「天猫精灵机器人」还有人形机器人能具有的基本肢体互动能力,比如它的四肢装有不同数量的舵机,可以满足基本的关节驱动等。此外,它还有一双「大眼睛」,依靠猫头上方的摄像头,「天猫精灵机器人」可以捕捉图像、解析图像、感知管线等等,「大眼睛」还可以根据不同对话内容和情绪,呈现出不同的表情,比如心心眼、晕晕表情等等。可以说,跳舞、卖萌都不是问题,跨界主持才艺多多。

首创同步码,实现史上地域跨度最大的互动导播

除了在手淘和优酷直播之外,今年 vivo2017 天猫双 11 狂欢夜会还会在北京卫视、浙江卫视、深圳卫视三台联播,互动导播技术也面临了史上地域跨度最大的挑战。

经过半年多的技术开发,蔡建平团队首创了远程同步码技术。届时,阿里将会在三家电视台的演播间直接部署设备,晚会当天,现场的互联网导播中心将实时将互动指令下发到各家演播间,对电视信号进行特殊的同步码植入。用户在观看晚会时,只要摇一摇手机淘宝,就会自动检测电视信号中是否存在同步码,一旦识别到指定互动环节对应的同步码,手机淘宝将会自动打开对应的互动内容。

蔡建平表示:「天猫双 11 狂欢夜已经是全球最具影响力的商业名片,我们希望它同时也是一场向全世界秀出中国互联网技术肌肉的晚会。未来,天猫双 11 狂欢夜还会加速推动科技、商业、娱乐三者的融合,不断释放全球影响力。」

打开极客公园App阅读更多内容

最新文章

极客公园

用极客视角,追踪你最不可错过的科技圈。

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

顶楼

关注前沿科技,发表最具科技的商业洞见。