「极客公开课·Live」5 分钟带你回顾 3D 视觉的兴起

摘要

3D 视觉在哪里有用?主要的应用场景是什么?

  • 3D 视觉在哪里有用?

  1. 更加正确的物体分割

在二维环境下,是可以解决一些物体分割、精度测量、立体建模以及智能识别的问题,但二维图像计算量太大,或者二维图像转成三维,这些精度无法达到我们预期的效果。因此相对 2D 图像,3D 视觉能够更加精确地完成物体的分割。

2.合适精度的三维测量

3D 整个是 XYZ 坐标轴构成的,平面中计算深度是根据在图像中的各种区域,以及图像下送下来的一个距离去估计,然后计算深度值。而 3D 类似 pointcloud 这些数据,给到的是真实物理坐标,比二维数据要直观。

3.三维数据的模型重建

因为本身就是一个三维立体的数据,只要完成前后帧的一些匹配以及最后进行的迭代计算,这样就能很快的完成整个的三维立体建模。

同时,当完成原始数据之后,除了原始的点云数据,会更加追求一些精度上的标准,所以,原始数据会更加的准确。在后面三维重建过程中,所需要的工作量主要是在一些点云的匹配上,以及拼接上,前期开发者可能极大减少精度验证的工作量。

4.智能视觉识别和分析

以前的传统二维视觉,只能把图像中所有物品的轮廓进行分割,但是三维不同,它可以进行一个区与块的分割。比如,你大概知道自己物体的形状,你可以很方便地跟你周围的一些环境隔离开。


  • 主要的应用场景

因为现在机器人行业的兴起,导航主要是 2D 层次的,国内这块已经比较成熟了,但是在一些应用场景中,大家都遇到一些问题,比如说桌子腿,它在二维平面中,其实只能看到大概只有 4 个点,机器就可能误判断这个区域是可通行的,但是真实环境中,比如说桌子的高度可能只有 50 厘米,但是你的车底盘只有 60 厘米,而你的二维的传感器安装离地大概是 30 厘米,这样就会误判桌子下面是可通行的,其实当 60 厘米的车通过 50 厘米高的桌子的时候,就会发生碰撞。

所以,这就出现了 3D 视觉(3D 避障)这个行业的兴起。

现在主要是把 3D 的一些点云数据硬生生地加载它的 2D 导航中,有一种做法就是把三维的 坐标信息整个降维投影到 XYZ,还有一种办法,就是把三维信息压缩成二维,这是有一些人的做法,但是有一部分人,直接从 XYZ 数据中去做处理,就是我会判断你 Z 的高度,以及 XY 我和正前方的一个距离,同时判断你这个物品 Z 方向的高度是否是我机器人可通过的。

然而根据应用场景和速度等要求,对传感器的精度要求也不一样。工业用途比如无人车车载的一些设备,必须要保证它的稳定性、实时性、可靠性,从验证、应用到量产还有比较长的路要走。


另外一个场景应用的话就是三维建模。国外一家企业已经把 2D 激光设备做到了手持阶段,他们根据物体移动速度,以及物体返回的距离值进行深度拼接。但是我们利用三维点云数据,对移动的信息再没那么苛刻。而且 3D 视觉传感器输出的就是三维点云数据,整个后面的算法拼接,对计算而言,要求可能是更低一些。还有一种三维建模应用领域,做的是室内的环境测绘,分两部分:一个是室内的三维立体模型,一个是室内二维图面的连续拼接。所以,像三维建模,一般在室内做建模的话,有两种图像输出,一个是整个 RGB 的三维立体的图,另一个是整个房间的点云图。

三维视觉在人脸识别上应用的比较大的优势就是能识别是图片还是真实的人体。iPhone 推出他们三维立体解决方案之后,使得三维识别市场趋于成熟。同时也推动国内整个摄像头市场的一个前进,从苹果开放了一些供应商列表来看,基本上它的摄像头模组都是国内几家公司制造的,说明国内摄像头技术模组已经达到一定水平。

【提问环节】

问题1

提问:一个比较细节的问题,TOF 商业化瓶颈,技术上需要多久?是否可以比结构光更适用于更多、更有意思的场景?

顾其洋:TOF 的话,技术 connect 是基于 TOF 这种原理,谁优谁劣,只能说我们这边可能用 HMAI 结构光的精度做的比较高,我们能做到毫米以下的精度,但 TOF 的话,我们在毫米以下的精度,可能压力有点大,但是 TOF 在一些娱乐中,或者交互类的一些场景中,它有他的优势的。

所以,我们也在考虑做这个,因为我目前还是想做一些高精度的产品,我觉得您说它的瓶颈吧,应该也没遇到,因为现在娱乐市场、交互市场还是比较大的,它的瓶颈实际上还算没有到吧。

问题2

提问:深度摄像头有硬件的技术壁垒吗?

顾其洋:其他深摄像头就是结构光,然后绘图相机,再有就是芯片的选择,硬件壁垒的话,我觉得国内的厂商完全可以避免,硬件壁垒应该不存在,国内的厂商制作的硬件已经完全可以了。

问题3

提问:还有哪些比较新奇的应用领域?

顾其洋:我们也在不断的探索、尝试,因为我们是做模组的厂商,我们也想让我们的客户更加的多维化,就是有机器人用户等等,就是我们的模组不是因为他们能决定的,我们觉得我们三维视觉的模组可以帮您解决您的刚需问题的话,我们是很愿意跟您合作的。

所以,应用场景的新奇的话,我们也在探索,也在跟我们的客户或者说,我们也在开发一些客户。暂时只能说是解决一些刚需吧。

提问:就是最适合应用场景的发明。

顾其洋:没有最适合,只有能解决一些痛点的问题,我觉得这个就是最适合的一个发明。

打开极客公园App阅读更多内容

最新文章

极客公园

用极客视角,追踪你最不可错过的科技圈。

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

顶楼

关注前沿科技,发表最具科技的商业洞见。