来自 科技 2019-03-26 08:36 的文章

云从科技3D人体重建技术获突破


 
云从科技3D人体重建技术获突破  
 

本报讯(记者赵广立)3月19日,记者从云从科技获悉,这家中科院旗下人工智能(AI)创企的3D人体重建技术同时在该领域三大权威数据集上取得新突破:将原有最低“误差”大幅降低30%,刷新了世界纪录。

3D重建领域通常以“误差”作为衡量算法能力的主要指标,这里的误差特指生成模型与实际图像的差别。显然,误差越低,精度越高,意味着技术性能越好。

据介绍,在该领域三大权威数据集Human3.6M、Surreal和UP-3D上,云从科技3D人体重建技术“全身精度误差”在Surreal上从75.4毫米降低到52.7毫米、“关节精度误差”从55.8毫米降低到40.1毫米,在Human3.6M上的关节精度误差从59.9毫米降低到46.7毫米。此外,技术的执行速度从之前的上百毫秒降低到只需5毫秒。

上述突破是如何实现的?云从科技技术团队成员、资深算法研究员吴凡介绍说,针对人体具有丰富多样的姿态和穿着的特点,他们提出了一套全新的基于人体3D纵深预测的3D信息表征方式。这种表征方式通过对三原色图像(RGB,不含深度信息)的分析来预测人体的3D形态和姿势,并用6万多个点完整描绘人体,从而在人体重建技术上取得速度与精度的双突破。

“(新算法下的)结果呈现出来的模型更精细,帧率更是高达200帧每秒,原本受实时显示限制而无法实现的应用可以一一实现。”吴凡说,这将极大地推动相关智能图像应用的落地。

记者了解到,传统的3D重建技术大多需要连续的或是多视角的图像,在硬件上一般需采用双目摄像机或结构光摄像机等设备,因此在手机等便携设备上尚难以实现;另一方面,专用设备还会增加部署成本,增加大规模普及3D重建技术的难度。

云从科技这一3D人体重建技术是基于单帧图像实现的。由于对输入图像的要求低,3D重建技术可以利用普通光学摄像头作为感知设备,进而将推动更多智能应用成为可能。比如,该技术将使美颜类App无需结构光摄像头也能具备高精准度的瘦身与动画合成功能等。

不过,吴凡也提出,基于单帧图像的3D重建技术对原始图像要求降低的同时,却对背后的技术提出了更高挑战,比如技术需要从单帧图像中推理出人体或人脸的3D形态,并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,才能得到人体的姿态或表情信息。

《中国科学报》 (2019-03-21 第7版 信息技术)