
InfraTech 案例研究:多种 3D 可视化与重建技术对比,包括 NeRF、高斯泼溅、网格等
工作流程概览:如何用手机采集并生成 NeRF 和高斯泼溅(Gaussian Splat)等多种 3D 表示,用于管理 InfraTech 资产。
业务挑战
一家电信公司需要一套方案来管理通信基站和通信枢纽站的资产。出于成本效益以及城市地区对无人机的限制,现场采集需要通过移动设备完成。该方案需要协助完成:
- 资产核验
- 部件清点
- 状况记录
- 工单管理
简而言之: Laan Labs 开发了一套移动采集与渲染工作流,帮助电信机构通过 LIDAR 网格获取所需的测量数据,并通过图像标注、360 照片以及 NeRF 和高斯泼溅获取视觉信息。
概述
Laan Labs 的一位电信基础设施客户,一直在现场资产管理的业务流程中成功使用 3D Scanner App 的定制授权版本。他们面临若干关键挑战,Laan Labs 通过添加扫描照片标注帮助其解决了这些问题:用户在扫描过程中可以定义一个 3D 点,并在关键资产部件上添加带备注的照片标注。由于目视评估是整个流程中至关重要的一环,工作流中还加入了 360 照片采集。随后,随着 NeRF(神经辐射场)和高斯泼溅的最新进展,二者也被作为输出加入,使远程用户能够更好地检查资产,因为在显示反光表面、背景和精细细节方面,这些技术比传统的摄影测量技术更有优势。
方案
Laan Labs 结合这家电信公司的业务流程,开发了一套工作流,涵盖采集、网格的设备端处理,以及将数据集上传到云端,以便用于其他渲染展示并持续进行数据管理。下方的工作流图给出了该流程的总体概览:
总体思路是由 iOS 设备完成采集,并生成一个“真值”(Ground Truth)数据集。该数据集存储在云端,因此随着技术的进步,也可以用来重新处理生成 3D 表示。
- 照片集 - 带位姿数据的 RGB 图像
- 深度数据、LiDAR 置信度
- 元信息 - GPS、日期、用户等
- 标注 – 关键图像、现场备注、文字、条形码/二维码等
评估
为了评估各种输出,我们使用同一份采集数据集进行对比,以便每种输出都能用于最适合它的资产管理场景。
| 类型 | 指标 |
|---|---|
| • 点云 • 网格 -(设备端、摄影测量后处理) • 360 照片 / 虚拟漫游 • 语义几何(例如 RoomPlan) • NeRF • 高斯泼溅 • 数字孪生 - 合成 | • 处理时间 / 成本 • 维度准确性(即能否测量) • 视觉清晰度 • 损失指标(留出图像) |
各类输出的实现
点云
使用 3D 点的点云渲染是许多行业专业人士熟悉的格式,其中的 RGB 信息也能为所采集的资产提供一定的视觉参考。这种表示方式之所以常受青睐,是因为它呈现出“原始”数据的观感与表达,没有任何后处理或视图合成扭曲所采集的数据。这种表示适合管理资产的尺寸特性。采集过程中拍摄的图像可供查阅,以获取更多信息。
LiDAR 网格
采集后处理得到的网格是一种很好的输出,能提供资产的尺寸以及大体形状和结构(例如用于测量等)。网格化过程常常会丢失精细细节处的网格,对反光表面的处理也不理想。此外,在合成并融合表面纹理时,可能出现各种问题,使纹理图像失真,导致无法辨认精细细节和文字。
摄影测量
仅凭 RGB 图像、不借助任何深度数据来创建网格。由于许多移动设备不具备 LiDAR 或类似的深度信息,这是一种很好的备选方法,与设备无关。与无人机采集类似,要获得准确的尺度,需要使用标记。这种处理通常在云端完成,设备端的 LiDAR 采集数据也可以在云端进行后处理,通常能提高纹理分辨率。
360 照片 / 虚拟漫游 / 带标注的图像
在需要最高视觉保真度的场合,会使用 360 照片和带标注的图像。360 度照片的生成方式是:在采集过程中,要求用户站在原地旋转一周。这些图像常用于虚拟漫游。需要近距离细节时,用户可以在扫描过程中点击目标物体,创建 3D 标注图像。这通常是采集清晰文字的最佳方法,便于后续进行 OCR 或条形码/二维码检测。
语义几何
语义几何会在采集过程中提取带尺寸的几何形状并识别物体,得到的结果是 3D CAD 文件,而不是网格或点云。虽然本项目的资产中并未实现,但这项技术进步很快,Apple 的 RoomPlan 就是例证。该技术目前针对室内采集做了优化,但在室外及其他内容类型方面正在迅速改进。
NeRF(神经辐射场)
NeRF,即神经辐射场,是一种基于神经网络、用于合成 3D 场景的新型模型。这种方法的优点在于能够为复杂场景生成高度精细、照片级逼真的渲染效果。不过,它的维度准确性较差(即不太适合测量,尽管这方面已有不错的进展),而且目前在云端处理时间和费用方面成本较高。随着 instant NGP 等工作流的出现,这些成本正在迅速变化,应该很快就会与摄影测量持平。
高斯泼溅(Gaussian Splatting)
高斯泼溅就像是把一堆点用软刷模糊地融合在一起,让画面更平滑、不那么断断续续。这是 3D 图形和其他技术领域中一个很巧妙的做法,用来填补空隙,让一切看起来更自然。它比 NeRF 的成本效益高得多,生成速度也更快,但无法用于测量,因为所有信息实际上只是被投影到二维平面上。这一点可能会改变,因为在网格与泼溅的对齐方面已有不错的研究。
高斯泼溅就像用数字喷枪把零散的点混合成一幅平滑的画面,非常适合让 3D 图形看起来不那么生硬。而 NeRF 则像是教计算机根据普通照片创建超逼真的 3D 场景,捕捉所有细微的细节和光照效果。
数字孪生 - 合成
3D CAD 或合成数字孪生是最干净的视觉表示,可与 Revit 等 CAD 软件配合使用。虽然它并不反映资产的实际状况,但由于互操作性好,是许多工程师更愿意使用的格式。这种输出通常不是自动生成的,一般需要 3D 工程师基于点云或网格,在 Revit、SketchUp 或类似的 CAD 程序中重新创建该资产。下图与本资产无关,之所以要提到它,是因为相对于其他输出而言,这家电信公司的工作流程中也会用到它。
结论
Laan Labs 以授权版 3D Scanner App 作为基础工具集,开发了高度定制的工作流,成功实施了这一方案。该系统与客户通过无人机和高精度 LiDAR 扫描仪进行的其他采集方式配合良好。如有任何疑问,欢迎通过 labs@laan.com 与我们联系
所用技术
计算机视觉、神经网络、云服务、NeRF、Gaussian Splatting
与 Laan Labs 合作
Gaussian Splatting 与辐射场
基于照片和视频的照片级真实感 3D 采集,从采集规范、训练到在浏览器或设备上交付。
下载本文
获取 Markdown 源文件,方便离线阅读






