跳至主要内容
使用 Apple RoomPlan 实现实时 3D 房间扫描与语义几何采集

使用 Apple RoomPlan 实现实时 3D 房间扫描与语义几何采集

Jason Laan
作者:
Jason Laan
3D Scanning
2022年9月16日

背景

用移动设备采集空间的尺寸和几何结构,正变得越来越常见。了解房间和空间的布局、尺寸以及其中有什么,对房地产、设计、建筑、施工、购物,甚至 AR/VR 娱乐等各个方面都很有用。

近年来,手机深度传感器(如 LiDAR)和摄影测量技术的进步,让采集房间中的空间点以创建点云或网格成为一项常规流程。但是,这种 3D 网格并不是结构化数据,必须从中提取关键的尺寸要素以及所采集元素的元信息。

网格与语义几何

语义几何

在上面的例子中可以看到,网格是没有结构的。而语义几何则提取出了关键的尺寸要素,以及所采集元素的元信息。

语义几何采集

通常,要获得空间的几何结构和测量数据,需要先采集网格或点云,再通过各种算法和机器学习技术来确定这些信息。这是 Laan Labs(以及许许多多其他团队)一直在攻克的问题。

寻找平面

为什么 2D 和 3D 空间几何采集很重要?

  • 虚拟空间 - 设计、施工和其他流程如今都依赖空间的数字孪生。
  • 游戏 / 娱乐 - 要把真实的房间带入 VR/AR 体验,必须准确采集该空间。这样,游戏中的一张桌子就是房间里的那张桌子。
  • 房地产 - 展示户型图和尺寸并不是这个行业的默认做法。
  • 工业应用 - 规划和制造需要对布局和资产进行管理。
  • 还有更多……
户型图

出处:@GregMadison

迄今为止是怎么做的?

AR 标记方法

在 AR 会话中,用户沿地平面手动标记墙角,以创建墙体。

户型图 AR 标记

左:Floor Plan App | 右:出处 @pixelplacement

扫描与描绘

采集完成后,通过提取平面视图切片,以半手动的方式提取几何结构。其过程是先完成各个房间的扫描,再通过一些手动和自动的对齐(ICP)把它们合并到同一个视图中。然后从上方查看完整的扫描结果,并在其上描绘出户型图。某些几何体(例如墙体)可以自动提取,以辅助这个过程。

扫描与描绘

机器学习(ML)技术

通过云端处理,由机器学习算法自动分析扫描得到的网格并提取户型图。

ML 3D 户型图ML 户型图

左:经 ML 处理的 3D 户型图 | 右:由 ML 得到的房间户型轮廓

实时 3D 语义几何采集登场:Apple 的 RoomPlan

Apple 全新的 RoomPlan 功能在 iOS 16 中为搭载 LiDAR 的设备引入了实时几何采集。这种“第一性原理”式的方法,目标是创建空间的几何表示,而不是采集纹理和网格。欢迎体验 3D Scanner App 中的 RoomPlan 模式。

RoomPlan SDK 让应用可以很方便地快速加入这项功能。下面是一些很棒的演示:

左:出处 Shopify(Russ Maschmeyer @StrangeNative) | 右:出处 @planner5d

3D Scanner App 中的 RoomPlan 模式

Laan Labs 非常兴奋地为 3D Scanner App 添加了 RoomPlan 模式,与我们现有的 LiDAR、TrueDepth 和摄影测量采集模式相互补充。

新功能:

  • RoomPlan + 纹理 - 在 3D Scanner App 中,几何体可以贴上纹理,从而更好地呈现空间
  • 自动尺寸 - 可以自动计算空间的测量数据。
  • 360 照片 - 借助重定位,RoomPlan 采集完成后,可以为扫描添加 360 照片。

仍有很长的路要走

虽然 RoomPlan 令人印象深刻,但它(目前还)非常基础。显然这是第一个版本,而 Apple 拥有雄厚的资源和才华横溢的开发者,因此可以期待它不断改进。截至 2022 年 9 月,主要问题有:

  • 精度 - 虽然非常精确,但与传统扫描相比,它可能会抓取到引入误差的几何结构。
  • 异形空间 - RoomPlan 在方正的空间中效果最好。拱形天花板和形状怪异的房间可能会带来问题。
  • 仅有概略信息 - 没有典型户型图中的细节,比如门的开启方向等
  • 对象层级与连接关系 - 目前墙体之间没有以典型户型图所需的方式连接起来。

右:出处 vid2cad

总结

总的来说,像 RoomPlan 这样的实时采集,正为用户在各种工作流中与 3D 数据交互开辟出惊人的可能性。如果你想了解 Apple RoomPlan 这类 3D 语义几何采集方面的进展如何帮助你的用例,欢迎随时联系我们。

与 Laan Labs 合作

空间计算:AR、VR 与头显开发

能够理解并渲染物理世界的应用,覆盖 Apple Vision Pro、Meta Quest、Android XR、智能眼镜、手机和网页。

下载本文

获取 Markdown 源文件,方便离线阅读