
使用 Apple RoomPlan 实现实时 3D 房间扫描与语义几何采集
背景
用移动设备采集空间的尺寸和几何结构,正变得越来越常见。了解房间和空间的布局、尺寸以及其中有什么,对房地产、设计、建筑、施工、购物,甚至 AR/VR 娱乐等各个方面都很有用。
近年来,手机深度传感器(如 LiDAR)和摄影测量技术的进步,让采集房间中的空间点以创建点云或网格成为一项常规流程。但是,这种 3D 网格并不是结构化数据,必须从中提取关键的尺寸要素以及所采集元素的元信息。
网格与语义几何
在上面的例子中可以看到,网格是没有结构的。而语义几何则提取出了关键的尺寸要素,以及所采集元素的元信息。
语义几何采集
通常,要获得空间的几何结构和测量数据,需要先采集网格或点云,再通过各种算法和机器学习技术来确定这些信息。这是 Laan Labs(以及许许多多其他团队)一直在攻克的问题。
为什么 2D 和 3D 空间几何采集很重要?
- 虚拟空间 - 设计、施工和其他流程如今都依赖空间的数字孪生。
- 游戏 / 娱乐 - 要把真实的房间带入 VR/AR 体验,必须准确采集该空间。这样,游戏中的一张桌子就是房间里的那张桌子。
- 房地产 - 展示户型图和尺寸并不是这个行业的默认做法。
- 工业应用 - 规划和制造需要对布局和资产进行管理。
- 还有更多……
出处:@GregMadison
迄今为止是怎么做的?
AR 标记方法
在 AR 会话中,用户沿地平面手动标记墙角,以创建墙体。
左:Floor Plan App | 右:出处 @pixelplacement
扫描与描绘
采集完成后,通过提取平面视图切片,以半手动的方式提取几何结构。其过程是先完成各个房间的扫描,再通过一些手动和自动的对齐(ICP)把它们合并到同一个视图中。然后从上方查看完整的扫描结果,并在其上描绘出户型图。某些几何体(例如墙体)可以自动提取,以辅助这个过程。
机器学习(ML)技术
通过云端处理,由机器学习算法自动分析扫描得到的网格并提取户型图。
左:经 ML 处理的 3D 户型图 | 右:由 ML 得到的房间户型轮廓
实时 3D 语义几何采集登场:Apple 的 RoomPlan
Apple 全新的 RoomPlan 功能在 iOS 16 中为搭载 LiDAR 的设备引入了实时几何采集。这种“第一性原理”式的方法,目标是创建空间的几何表示,而不是采集纹理和网格。欢迎体验 3D Scanner App 中的 RoomPlan 模式。
RoomPlan SDK 让应用可以很方便地快速加入这项功能。下面是一些很棒的演示:
左:出处 Shopify(Russ Maschmeyer @StrangeNative) | 右:出处 @planner5d
3D Scanner App 中的 RoomPlan 模式
Laan Labs 非常兴奋地为 3D Scanner App 添加了 RoomPlan 模式,与我们现有的 LiDAR、TrueDepth 和摄影测量采集模式相互补充。
新功能:
- RoomPlan + 纹理 - 在 3D Scanner App 中,几何体可以贴上纹理,从而更好地呈现空间
- 自动尺寸 - 可以自动计算空间的测量数据。
- 360 照片 - 借助重定位,RoomPlan 采集完成后,可以为扫描添加 360 照片。
仍有很长的路要走
虽然 RoomPlan 令人印象深刻,但它(目前还)非常基础。显然这是第一个版本,而 Apple 拥有雄厚的资源和才华横溢的开发者,因此可以期待它不断改进。截至 2022 年 9 月,主要问题有:
- 精度 - 虽然非常精确,但与传统扫描相比,它可能会抓取到引入误差的几何结构。
- 异形空间 - RoomPlan 在方正的空间中效果最好。拱形天花板和形状怪异的房间可能会带来问题。
- 仅有概略信息 - 没有典型户型图中的细节,比如门的开启方向等
- 对象层级与连接关系 - 目前墙体之间没有以典型户型图所需的方式连接起来。
右:出处 vid2cad
总结
总的来说,像 RoomPlan 这样的实时采集,正为用户在各种工作流中与 3D 数据交互开辟出惊人的可能性。如果你想了解 Apple RoomPlan 这类 3D 语义几何采集方面的进展如何帮助你的用例,欢迎随时联系我们。
与 Laan Labs 合作
空间计算:AR、VR 与头显开发
能够理解并渲染物理世界的应用,覆盖 Apple Vision Pro、Meta Quest、Android XR、智能眼镜、手机和网页。
下载本文
获取 Markdown 源文件,方便离线阅读






