跳至主要内容
足部数据集生成

足部数据集生成

利用合成数据降低足部姿态估计神经网络的训练成本

footwearsynthetic-datamachine-learningaugmented-reality
Will Perkins
Will Perkins
2019年10月12日

业务挑战

在近期的一个增强现实应用中,Laan Labs 需要估计人脚的位置和朝向,以便在用户脚上显示逼真的鞋履。为了实时解决足部姿态估计这一计算机视觉问题,Laan Labs 采用了最先进的神经网络,这是一类用途广泛的机器学习模型,但有个不尽如人意的特点:需要大量训练样本。

图像数据的制作成本可能非常高,需要精心安排的拍摄、聘请演员以及租用冷门道具。图像数据标注需要耗费大量人力,而且容易出错。

Laan Labs 需要收集 10,000 多张带标注的图像,这些图像要能代表智能手机用户可能遇到的真实场景:各种相机角度、光照条件、鞋履和背景环境。


借助合成数据,可以用程序化方式渲染出无数种图像和标注的变体


方案

Laan Labs 的方案是利用合成数据,开发能够生成独一无二的照片级逼真图像并附带精确真值标注的软件。

我们将美术人员制作的和重建得到的 3D 足部模型结合起来,作为 3D 环境的基础。图像标注直接由 3D 场景计算得出。场景的多个方面被参数化,例如:相机角度、光照、背景图像、后期处理效果、足部姿态和鞋履。有了参数化的 3D 场景,就可以借助云计算,以程序化方式渲染出无数种图像和标注的变体。

足部渲染图 1足部渲染图 2

业务价值

通过利用合成数据,Laan Labs 无需采购成千上万双鞋,也省去了无数小时的拍摄。无需人工标注,可以节省数百个工时。此外,图像标注必然正确,也消除了整个项目中的一大错误来源。

Laan Labs 利用合成数据构建了图像数据集,节省了时间和成本。

所用技术

合成数据、计算机视觉、摄影测量、Unity、Houdini、Python

与 Laan Labs 合作

计算机视觉与 AI 开发

定制计算机视觉与机器学习,从概念验证到正式投产,支持设备端与云端。

下载本文

获取 Markdown 源文件,方便离线阅读