跳至主要内容
增强现实中的机器人规划:对真实工作空间进行 3D 扫描

增强现实中的机器人规划:对真实工作空间进行 3D 扫描

机器人仿真的好坏取决于其所在房间的模型。Laan Labs 为基于 Unity 的 AR 查看器加入了 3D 扫描功能,使仿真机械臂可以放置在真实工作空间的扫描结果中。

roboticsaugmented-reality3d-scanningunity
Jason Laan
Jason Laan
2024年12月11日

业务挑战

工业机器人是在仿真中规划的。工程师在任何设备安装之前很久,就在桌面软件中布置工作单元、为机械臂编程并检查其运动。增强现实查看器则将这一仿真带到现场:规划中的机器人以实际大小显示在手机或平板上,位于它将要安放的地面上。

沿装配线工作的工业机械臂

机器人在其他设备之间的狭小空间中工作。照片:Clemenspool,Wikimedia Commons,CC0。仅作说明用途,并非来自本项目。

手机显示仿真机械臂位于真实房间中的相应位置

示意图:AR 查看器在机器人将要安放的位置显示规划中的机器人

仿真通常缺少的是现场本身。立柱、传送带、工作台和电缆桥架,要么不在模型中,要么是根据旧图纸绘制的,而在安装过程中才发现机械臂够不着或撞到东西,代价高昂。

带有两台机械臂、传送带、防护装置和一根建筑立柱的码垛工作单元

一个真实的工作单元:传送带、防护装置、堆叠的货物和一根立柱,都在机器人的作业范围之内。照片:KUKA Roboter GmbH,Bachmann,Wikimedia Commons,public domain。仅作说明用途,并非来自本项目。

仿真工作单元与真实现场的扫描结果并排,现场有一根模型中没有的立柱

示意图:仿真的工作单元与真实现场很少吻合

一家机器人制造商希望在自己的 AR 查看器应用内弥合这一差距:让现场人员使用同一台设备扫描真实的周边环境,并将扫描结果作为几何体导入仿真。

具体要求如下:

要求目标
集成可内置到基于 Unity 的应用中的 3D 扫描库
设备配备 LiDAR 的 iPhone 和 iPad(iPhone 12 Pro、iPad Pro 及更新机型)
输出带 MTL 材质和纹理的 Wavefront OBJ
典型环境宽 6 m、长 6 m、高 3 m
网格分辨率三角形边长平均约 30 mm
比例精度误差在 1% 以内:现场的一米在扫描中为 99 至 101 厘米

用手边的设备扫描真实工作空间,然后在其中规划机器人


方法

客户的 AR 查看器基于 Unity 构建。Laan Labs 提供了自己的移动 3D 扫描技术(即 3D Scanner App 背后的同一技术),作为可在 Unity 应用中运行的组件。

该集成涵盖从捕捉到可用几何体的完整路径:

  • 捕捉。 用户手持 iPhone 或 iPad 在区域内走动。LiDAR 深度数据和相机图像实时融合为网格,网格随扫描增长而显示,用户可以看到已覆盖的范围。
  • 设备端重建。 扫描在手机或平板上处理。不会上传任何内容,这在工厂车间尤为重要,因为生产设备的图像属于机密。
  • 导出。 结果是 OBJ 格式的带纹理网格及其 MTL 材质文件,采用真实比例,并与 AR 会话处于同一坐标系,因此能与相机所见的画面对齐。
  • 用于仿真。 扫描得到的工作空间会与仿真机械臂并排加载,既可在 AR 查看器中,也可在桌面仿真软件中,作为规划机器人所依据的周边环境。
扫描得到的工作空间:地面、墙壁、一根立柱、一条传送带和一张工作台

示意图:以 3D 几何体捕捉的 6 m x 6 m 工作空间

Laan Labs 以源代码库的形式交付该扫描技术,并附带一个端到端展示集成方式的 Unity 示例应用,使客户的开发人员能够将其内置到自己的产品中并自行维护。

仿真软件中,扫描结果作为仿真机械臂周围的环境被加载

示意图:扫描结果作为仿真机器人周围的环境被加载

业务价值

有了仿真中的周边环境,过去要等到安装时才能回答的问题,在第一次现场勘查时就能得到解答:

  • 放得下吗? 机器人、其底座和工作包络,是对照真实的地面空间而不是图纸来查看的。
  • 够得着吗? 真实工作台和传送带上的取放位置,会对照机械臂的作业范围进行检查。
  • 什么挡了路? CAD 模型中没有的立柱、防护装置和设备都在扫描中,因此可以据此检查规划的运动。
  • 所有人都看得到吗? 在订购任何东西之前,操作人员、安全人员和客户看到的是同一个场景,无论是在现场通过 AR,还是远程查看。
对照扫描结果检查规划的运动,并突出显示与立柱的碰撞

示意图:对照扫描得到的周边环境检查规划的运动

由于扫描是用手机或平板完成的,捕捉成为日常现场勘查的一部分,不需要激光扫描仪,也不需要测量队伍。

是目标,而非测试结果

要求表中的数字是设计目标。本案例研究并未报告对照这些目标的实测结果。它们还描述了三件不同的事情,不应混为一谈:

  • 网格分辨率(三角形边长约 30 mm)是对表面描述的精细程度,说明多小的特征会在网格中显现,而不是网格有多精确。
  • 比例精度(1% 以内)是指扫描中的距离是否与现场距离相符。在 6 m 的房间里,1% 最多允许 6 cm 的误差。
  • 间隙精度是指所报告的机器人与障碍物之间的间隙有多可信。它取决于比例、局部表面误差、网格分辨率,以及扫描与机器人底座的对齐程度,因此必须单独验证,不能由另外两项推知。

手机 LiDAR 在良好条件下,房间尺度上的精度通常可达约一厘米,适合布局和作业范围研究,以及对间隙的初步检查。若间隙很小,裕量应在现场确认。扫描不能取代机器人标定,也不能取代需要亚毫米级位置的计量测量。

下一步

同样的捕捉不仅能提供周边环境。一个自然的下一步是在扫描中自动识别机械臂和其他设备,从而识别出现有机器,并用它们的精确模型替换,而不是保留原始的扫描几何体。

关于本项目

Laan Labs 向希望在自己的产品中加入扫描功能的公司授权其 3D 捕捉技术,形式包括源代码、组件或完整的应用。请参阅 3D 捕捉与技术授权,以及 Laan Labs 如何与机器人与自动化行业合作。

如需探讨机器人或扫描项目,请联系我们或发送邮件至 labs@laan.com。

所用技术

LiDAR、ARKit、Unity、3D 重建、增强现实、OBJ 导出、设备端处理

与 Laan Labs 合作

3D 采集与技术授权

以 SDK、源代码或白标应用的形式,授权经过验证的移动端 3D 扫描、摄影测量和 Gaussian Splatting 技术流程。

下载本文

获取 Markdown 源文件,方便离线阅读