
增强现实中的机器人规划:对真实工作空间进行 3D 扫描
机器人仿真的好坏取决于其所在房间的模型。Laan Labs 为基于 Unity 的 AR 查看器加入了 3D 扫描功能,使仿真机械臂可以放置在真实工作空间的扫描结果中。
业务挑战
工业机器人是在仿真中规划的。工程师在任何设备安装之前很久,就在桌面软件中布置工作单元、为机械臂编程并检查其运动。增强现实查看器则将这一仿真带到现场:规划中的机器人以实际大小显示在手机或平板上,位于它将要安放的地面上。
机器人在其他设备之间的狭小空间中工作。照片:Clemenspool,Wikimedia Commons,CC0。仅作说明用途,并非来自本项目。
示意图:AR 查看器在机器人将要安放的位置显示规划中的机器人
仿真通常缺少的是现场本身。立柱、传送带、工作台和电缆桥架,要么不在模型中,要么是根据旧图纸绘制的,而在安装过程中才发现机械臂够不着或撞到东西,代价高昂。
一个真实的工作单元:传送带、防护装置、堆叠的货物和一根立柱,都在机器人的作业范围之内。照片:KUKA Roboter GmbH,Bachmann,Wikimedia Commons,public domain。仅作说明用途,并非来自本项目。
示意图:仿真的工作单元与真实现场很少吻合
一家机器人制造商希望在自己的 AR 查看器应用内弥合这一差距:让现场人员使用同一台设备扫描真实的周边环境,并将扫描结果作为几何体导入仿真。
具体要求如下:
| 要求 | 目标 |
|---|---|
| 集成 | 可内置到基于 Unity 的应用中的 3D 扫描库 |
| 设备 | 配备 LiDAR 的 iPhone 和 iPad(iPhone 12 Pro、iPad Pro 及更新机型) |
| 输出 | 带 MTL 材质和纹理的 Wavefront OBJ |
| 典型环境 | 宽 6 m、长 6 m、高 3 m |
| 网格分辨率 | 三角形边长平均约 30 mm |
| 比例精度 | 误差在 1% 以内:现场的一米在扫描中为 99 至 101 厘米 |
用手边的设备扫描真实工作空间,然后在其中规划机器人
方法
客户的 AR 查看器基于 Unity 构建。Laan Labs 提供了自己的移动 3D 扫描技术(即 3D Scanner App 背后的同一技术),作为可在 Unity 应用中运行的组件。
该集成涵盖从捕捉到可用几何体的完整路径:
- 捕捉。 用户手持 iPhone 或 iPad 在区域内走动。LiDAR 深度数据和相机图像实时融合为网格,网格随扫描增长而显示,用户可以看到已覆盖的范围。
- 设备端重建。 扫描在手机或平板上处理。不会上传任何内容,这在工厂车间尤为重要,因为生产设备的图像属于机密。
- 导出。 结果是 OBJ 格式的带纹理网格及其 MTL 材质文件,采用真实比例,并与 AR 会话处于同一坐标系,因此能与相机所见的画面对齐。
- 用于仿真。 扫描得到的工作空间会与仿真机械臂并排加载,既可在 AR 查看器中,也可在桌面仿真软件中,作为规划机器人所依据的周边环境。
示意图:以 3D 几何体捕捉的 6 m x 6 m 工作空间
Laan Labs 以源代码库的形式交付该扫描技术,并附带一个端到端展示集成方式的 Unity 示例应用,使客户的开发人员能够将其内置到自己的产品中并自行维护。
示意图:扫描结果作为仿真机器人周围的环境被加载
业务价值
有了仿真中的周边环境,过去要等到安装时才能回答的问题,在第一次现场勘查时就能得到解答:
- 放得下吗? 机器人、其底座和工作包络,是对照真实的地面空间而不是图纸来查看的。
- 够得着吗? 真实工作台和传送带上的取放位置,会对照机械臂的作业范围进行检查。
- 什么挡了路? CAD 模型中没有的立柱、防护装置和设备都在扫描中,因此可以据此检查规划的运动。
- 所有人都看得到吗? 在订购任何东西之前,操作人员、安全人员和客户看到的是同一个场景,无论是在现场通过 AR,还是远程查看。
示意图:对照扫描得到的周边环境检查规划的运动
由于扫描是用手机或平板完成的,捕捉成为日常现场勘查的一部分,不需要激光扫描仪,也不需要测量队伍。
是目标,而非测试结果
要求表中的数字是设计目标。本案例研究并未报告对照这些目标的实测结果。它们还描述了三件不同的事情,不应混为一谈:
- 网格分辨率(三角形边长约 30 mm)是对表面描述的精细程度,说明多小的特征会在网格中显现,而不是网格有多精确。
- 比例精度(1% 以内)是指扫描中的距离是否与现场距离相符。在 6 m 的房间里,1% 最多允许 6 cm 的误差。
- 间隙精度是指所报告的机器人与障碍物之间的间隙有多可信。它取决于比例、局部表面误差、网格分辨率,以及扫描与机器人底座的对齐程度,因此必须单独验证,不能由另外两项推知。
手机 LiDAR 在良好条件下,房间尺度上的精度通常可达约一厘米,适合布局和作业范围研究,以及对间隙的初步检查。若间隙很小,裕量应在现场确认。扫描不能取代机器人标定,也不能取代需要亚毫米级位置的计量测量。
下一步
同样的捕捉不仅能提供周边环境。一个自然的下一步是在扫描中自动识别机械臂和其他设备,从而识别出现有机器,并用它们的精确模型替换,而不是保留原始的扫描几何体。
关于本项目
Laan Labs 向希望在自己的产品中加入扫描功能的公司授权其 3D 捕捉技术,形式包括源代码、组件或完整的应用。请参阅 3D 捕捉与技术授权,以及 Laan Labs 如何与机器人与自动化行业合作。
如需探讨机器人或扫描项目,请联系我们或发送邮件至 labs@laan.com。
所用技术
LiDAR、ARKit、Unity、3D 重建、增强现实、OBJ 导出、设备端处理
与 Laan Labs 合作
3D 采集与技术授权
以 SDK、源代码或白标应用的形式,授权经过验证的移动端 3D 扫描、摄影测量和 Gaussian Splatting 技术流程。
下载本文
获取 Markdown 源文件,方便离线阅读






