10 月 24 日, 腾讯音乐娱乐集团 (TME) 打造的第二届 TechME 技术周盛大开幕, 此次技术周采用虚拟与现实结合的方式, 将在腾讯音乐虚拟社交平台 TMELAND 中同时举办, 由技术「大咖」们陆续分享前沿的音乐技术成果、未来的音乐技术布局。
10 月 24 日, 腾讯音乐娱乐集团 (TME) 打造的第二届 TechME 技术周盛大开幕, 此次技术周采用虚拟与现实结合的方式, 将在腾讯音乐虚拟社交平台 TMELAND 中同时举办, 由技术「大咖」们陆续分享前沿的音乐技术成果、未来的音乐技术布局。同时, 来自 TME 旗下首个音视频实验室——天琴实验室也正式发布了首位虚拟人——「小琴」, 这是一位来自天琴座织女星的「少女」, 她以多变的舞姿与青春的音色闻名星系。一头清爽短发的「小琴」身着潮酷卫衣和运动鞋, 浑身洋溢着元气满满、青春逼人的气息, 她擅长流行、R&B、国风等多个流派的音乐, 音域极广, 嗓音清亮萌动。她跟很多年轻人一样热爱舞蹈, 还拥有「荧光转动」的特有服饰能力, 带给人们快乐是她的使命。未来, 虚拟人「小琴」将成为展现天琴实验室创新技术的重要载体, 同时也有望出现在腾讯音乐旗下多家音娱 APP 的更多活动场景中, 进一步拉进与用户的距离。
青春靓丽、多才多艺的虚拟人「小琴」能够流畅娴熟地说和唱, 她不仅具备了中、英、粤三种语言能力, 输入歌词后, 她即可自动识别主动唱出来, 更为「神奇」的是, 小琴还可以根据音频生成仿真口型, 并根据歌声自动生成唱歌动作和表情, 极为自然、真实、生动。这一「魔法」背后, 是完全借助 AI 技术实现的, 在经典歌声合成模型的基础上进行优化和改进, 形成自研模型 lyraSinger;构建了自有数据, 并借助于 NLP 中台的觅词系统实现算法改词;旋律来自提升提取与曲谱预测相结合的新方法, 并运用自有领先的算法对时间戳进行对齐和矫正;音效则是来自全民 K 歌智能调音台算法, 采用 AI 加人工联合方法实现混音效果。
作为一个「全能唱跳」少女, 自然不会仅仅局限于说唱技能。天琴实验室在音乐驱动领域推出的 Music XR Maker 系统, 基于腾讯音乐长期以来建立的对音乐信息的强大理解能力, 通过音乐, 用 AI 的方式, 可生成虚拟世界的各项基础元素。例如「小琴」擅长舞蹈, 她不但可以根据一段旋律任意生成舞蹈, 随着流行、芭蕾、爵士等音乐翩翩起舞, 还可以通过整合最先进的手势和动作识别算法, 精准捕捉身体及手部动作, 甚至手势的细微变化, 从而复刻一段舞蹈;可更换各种各样的服饰, 大大提升了虚拟人「小琴」的趣味性, 仅仅需要一张图片, 即可生成相应服饰, 极大丰富了「小琴」的「衣柜」, 同时还支持 2D 和 3D 算法, 兼容不同人体姿态, 可适配到多种场景。过往的虚拟人大多只能基于自身做一些外形和技能的设定, 而 Music XR Maker 系统开创性地加入了场景生成能力, 基于「小琴」的预设动作以及通过算法自动生成的动作序列, 同时匹配歌曲的曲风、情感、节奏等, 即可为虚拟场景批量生成可媲美专业灯光师的炫酷灯光秀, 再加上结合音乐节奏和舞蹈动作自动匹配生成的运镜效果, 让「小琴」的歌舞 MV 锦上添花, 堪比歌舞大片。
作为腾讯音乐首个音视频实验室, 天琴实验室汇聚了清华大学等国内外顶尖高校机构 AI 顶尖人才, 与西工大、中科大等高校达成科研合作, 其在音频、视频、音效等领域的专利技术达 384 个, 曾先后荣获了含 MIREX 音频指纹比赛冠军、听歌识曲技术突破奖、深圳科技专利奖、中国专利优秀奖等大量海内外重量奖项。天琴实验室的各项黑科技已化身各种实用功能, 应用在腾讯音乐旗下的各个平台中。例如去年 99 公益日,QQ 音乐推出了国内首张低频公益专辑——《听见「听不见」的音乐》, 正是运用天琴实验室的「声伴分离、音乐生成、伴奏改编」等智能化音频技术制作而成。而让更多用户熟知且受益的则是 QQ 音乐「听歌识曲」功能, 这已成为广大乐迷找寻陌生好歌的"必备神器", 这项技术早在 2019 国际音频检索评测大赛 (MIREX) 上就一举夺得世界冠军, 至今仍是行业领先水平。此外, 还有如智能修音、智能美肤、AI 语音朗读、智能音效、视频歌单、扫一扫 MV 识别等大量实用技术已大量应用于 QQ 音乐、全民 K 歌等腾讯音乐各类音娱 APP 中。
此次全新虚拟人「小琴」的推出, 既是天琴实验室各种「黑科技」的一个集中展现, 同时也体现了其揭开神秘面纱, 以更亲和的姿态拥抱用户的坚定决心。而腾讯音乐也将持续在技术创新驱动下, 将以科技赋能音乐的产品理念延伸到更多场景当中, 为用户创造更多元的音娱体验, 让科技在音乐中更具人性化, 释放更多温暖和乐趣。
来源：互联网
