虎牙展位亮相ICCV 成AI领域活跃直播企业

又是一年ICCV。

10月27日至11月2日，全球计算机视觉领域的顶尖专家们齐聚韩国首尔COEX会议中心，参加颇具盛名的ICCV2019。包括微软、谷歌、华为、清华大学等国际知名科技公司及科研机构竞相登场，向全世界展示了计算机视觉领域的最新研究成果。

I CCV2019 虎牙展位

ICCV全称为IEEE International Conference on Computer Vision，即国际计算机视觉大会，由IEEE举办，与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议，每两年举行一次。本届ICCV据统计共有7500多人参加，比上一届增长了2.4倍，其中中国参会者多达1254人。

除了上述ICCV的老面孔外，国内直播企业虎牙也首次参加了此次大会。近期加盟虎牙AI团队的成员韩欣彤于此前提交的2篇论文成功被录取。据悉，ICCV2019一共接收的投稿数量高达4328篇，与上一届2143篇相比，数量多出了将近一倍，但仅有1077篇论文被接收，接收率仅为25%，Oral接收率4.6%。韩欣彤博士论文的录取，充分展现了其在相关技术研究水平。不难看出，在吸收了包括ICCV录取论文作者在内的大批优秀研究人员后，虎牙AI团队在基础技术领域的研究能力非常强劲。

韩昕彤博士的第一篇论文以Oral(口头报告)形式发表，名为《兼容且多样性的时尚图片补全》。他表示：“这是一个两阶段基于变分自编码器的生成网络，可以具有多样性和兼容性地来填充图像中缺失的时尚商品。两个阶段中我们分别利用形状生成网络和外观生成网络来依次生成缺失衣服的形状和外观，从而FiNet可以在目标区域中修复出具有不同形状和外观的服装。此外，我们集成了一个兼容性模块，该模块将兼容性信息编码到网络中，使得生成衣服的形状和外观都是和其他衣服是兼容搭配的。”

而在另一篇论文《一个基于外观流的衣服生成模型》中，韩欣彤主要通过这个外观流，ClothFlow可以精准地估算源服装区域和目标服装区域的几何变换，并通过多个基于编码器-解码器的生成网络来自然地将一个图片中的服装渲染到另外一张图片上。

虎牙AI团队表示，这两项研究成果未来可以用于为主播自动生成搭配的潮流服装，省去买衣服的成本和换衣服的时间。而不同的观看用户也可以通过自己的喜好选择想让主播穿着的衣服观看直播。相关技术也不止应用在衣服上，可能还可以生成人脸、饰品等视频内容，共同丰富虎牙直播平台上的内容形态。

此外，在技术驱动内容多元化生产方面，虎牙AI团队还首次展示了多项基础技术应用，主要包括虚拟主播、虚拟直播间、人脸人体结构化和图像生成等相关技术，吸引了大量参观者的关注。

展示一：虚拟主播

现场展出的虎牙虚拟主播技术

虚拟主播，即主播不露脸，选择虚拟卡通角色，(2D/3D)摄像头抓取主播表情动作，再反映到虚拟主播上，用虚拟的形式开播。其技术原理主要是通过对人脸关键点进行跟踪和识别，来驱动虚拟主播脸上的表情。今年四月虎牙已经上线表情和脸部动作部分，未来还会有肢体的驱动。

展示二：虚拟直播间

现场展出的虎牙虚拟直播间“前景分割”技术

虚拟直播间主要运用到人像分割技术。通过该项技术将主播本人与背景进行分割，准确率高达95%以上。主播在这种环境下直播，可以增强沉浸感。之后会应用在主播之间的连麦，不同于现在的两个方框并立的情况，可以让主播连麦互动性更强。该项技术除了应用在虚拟直播间，也已经运用在了智能弹幕防遮挡上，让观众在观赏弹幕的同时也能看清主播。

展示三：人脸人体结构化

现场展出的虎牙人脸结构化技术

人脸人体结构化即通过AI技术对视频中的人物进行结构化识别和理解，包括检测人脸关键点，检测脸部区域和皮肤区域，重建3D脸部结构，识别肢体姿态等多个方面，进而驱动虚拟主播的表情身体姿态，展现丰富的才艺表演。

展示四：图像生成

虎牙AI Tech Lead韩欣彤博士进行技术演示

图像生成通过最新的深度学习技术，利用结构化的信息(如人脸人体关键点)，重新生成写实图像。我们的技术可以在保留真人主要特征的前提下，赋予真人更丰富的表情和动作，产生更有意思的视频内容。

作为以技术驱动娱乐为理念的科技企业，虎牙自创立以来就非常关注前沿技术与直播的结合，并参与了业内知名大会，同国际顶尖同行交流。除了本次参加ICCV 2019之外，虎牙的AI团队还于今年6月份参加了CVPR 2019，并且入围了今年的最佳论文候选(CVPR Best Paper Finalists)。下月初，虎牙还会举办直播产业首个技术者大会，届时，将会向外界展示更多相关技术的领先成果，大家拭目以待!

虎牙参展团队

来源：ups科技网