借助 AR 技术,迪士尼能帮你画只立体米老鼠了

借助 AR 技术,迪士尼能帮你画只立体米老鼠了

前言

如果问用什么能够更好的开发孩子的心智及审美的话,那必须是音乐和绘画了。对于绘画来说,它能够激发孩子们对色彩的辨识度及创作欲,可随着平板电脑,手机和各式各样的游戏机普及到我们生活之后,蜡笔和画纸已经很少在小孩儿们的手上见到了。

我们不能否认这些智能设备对我们生活的贡献,但是也不能忽视这些东西让孩子们忘记了「创作」是一件多么美好的事情。那么我们为什么不能将二者结合,让孩子们不仅能够重拾笔纸,更通过智能设备让效果更好呢?

现在 Disney ResearchHub 给了我们一套用 AR 将平面绘画生成立体图的方案,这将能够让孩子们笔下的卡通形象以立体的方式呈现在人们眼前。Snip20151020_4.png

概览

「利用增强现实技术增强彩绘的纹理效果」(原文:Live Texturing of Augmented Reality Characters from Colored Drawings)是 Disney ResearchHub 目前诸多的研究项目之一,此项目主要为笔下的绘画形象和立体效果搭建一个纽带,提高孩子们的绘画乐趣。

功能&特点

这款实验型 APP 可以安装在消费级的平板电脑或者手机上,通过监测和跟踪的手绘图像或者文字后生成手绘动画的视频流。当然,要能够实现这种方式并没有一句话那么容易。在 2D 效果中,文字只能在可见部位显示,但如果挪移到 3D 效果下,就必须要考虑被遮盖的地方以其他角度查看的话是否可测,并且应该有个什么样子。Snip20151020_2.png

其次,由于使用者需要从多角度查看,这就需要让图像实时更新。所以就需要时刻捕捉绘图者的绘画细节纹理,并且在有限的设备性能下完成,保证良好的用户体验。一般来讲我们在绘图时的纸张也会出现褶皱,这样,软件端的 APP 则需要跟踪算法和图像采集,并且有良好的反畸变能力。Snip20151020_3.png

在跟踪捕捉图像方面,面对一些可能不是那么规则的线条时采用帧对帧的追踪方式,它会在每一帧图像之间匹配并检测特征值,每 N 帧检索之前丢失的跟踪点,从而实现图像跟踪。之后将采集到的图像从 RGB 数据转换为 HSV 数据(将颜色数据以色调,饱和度及亮度三种参数表示)后进行一系列图像处理最后根据不同相机调整对应参数进行处理输出。

Snip20151020_8.png

这款增强现实的 APP 同样使用 Unity 引擎搭建交互式图像,支持在 Android 和 iOS 上运行。经用户调查,这款应用能够有效地调动起孩子们的绘画乐趣,并且通过智能设备查看的 3D 图像也能够更好地与动画人物建立联系。

点评

在初次见到这款 APP 时我第一个感受是:这不就跟年初那个 AR 卡片差不多嘛。

但当我看到视频中的 3D 视图能够按照笔迹出现对应纹理团,并且可以实时按照摄像头而转换角度后,我觉得如果它作为小孩子启蒙教育来用的话简直亏大了,虽然目前它是以「让小孩对画画感兴趣」为目的进行研究,但如果增加更多的互动之后,其中的实时图像捕捉方案和图像输出方案可能对 AR 今后的应用领域有着更大的贡献。

获取途径

此实验性项目的 APP 目前还不能下载,不过由诸多学者合力撰写的相关论文已经发布在 Disney ResearchHub 的网站上,对 AR 和图像处理技术感兴趣的朋友们快去看看吧~


图片来源:Disney ResearchHub 

如果你想了解、试用更多新鲜有趣的硬件产品,掌握最新的硬件行业动态,欢迎关注「极客之选」微信帐号。查看历史文章请点击:传送门

栏目二维码
增强现实AR迪士尼
关注极客公园公众号
反馈