
Gaussian Splatting 与辐射场
基于照片和视频的照片级真实感 3D 采集,从采集规范、训练到在浏览器或设备上交付。
Laan Labs 专注于 Gaussian Splatting 以及更广泛的辐射场技术,这些技术可将普通照片或视频转化为照片级真实感的 3D 场景。自神经辐射场(NeRF)刚开始变得实用时,团队就已在使用这些技术,当时用 15 台同步的 iPhone 录制了体积式“子弹时间”视频;如今团队端到端地构建 Gaussian Splatting 工具和流程:3D Splat App 是基于 Laan Labs 自有 Metal 引擎构建的 Mac 原生训练与编辑器;RadianceView 将 splat 与 LiDAR 和摄影结合起来用于检测;此外还为基础设施、航空航天和房地产领域的客户提供从采集到交付的工作流程。
辐射场表示场景的方式,是描述光线如何从场景中每一个点射出,而不是用表面网格来表示,因此它能够还原反射、玻璃、枝叶、毛发,以及摄影测量难以处理的真实场所中种种杂乱的细节。NeRF 证明了这样的质量是可以实现的;Gaussian Splatting 将场景表示为数百万个经过优化、与照片相匹配的小而柔和的 3D 斑点,使其速度快到可以在消费级硬件上实时查看。Laan Labs 在其 InfraTech 案例研究中,对同样的资产比较了 NeRF、splat 和网格,目前大多数可视化工作都使用 splat,在需要测量的地方则搭配 LiDAR 和摄影测量。
这项工作的与众不同之处,在于对整条流程的深入掌握。Laan Labs 并不只是运行开源训练器:它把最先进的 CUDA splat 训练器移植到了 Metal,使训练可以在 Apple Silicon 上原生运行而无需云端;编写了可在 Mac、iPhone、iPad 和 Apple Vision Pro 上显示数百万个 splat 的渲染器;并构建了编辑、压缩和导出工具,把原始的训练结果变成客户可以使用的成果。这次移植的故事见 在 Apple Silicon 上使用 Metal 进行 Gaussian Splat 训练。
我们的工作
- 采集工作流程设计
- 为手机、360° 相机和无人机制定采集规范,以可靠地重建房间、建筑、车辆、飞机和物体,包括为并非 3D 专家的现场团队提供遮罩、曝光和覆盖范围方面的指导。
- 本地与本地部署训练
- Gaussian splat 训练在 Mac 或客户自己的硬件上运行,而不是使用云服务,适用于涉密场所、大规模采集以及无法上传影像的工作流程。运动恢复结构、训练、清理和导出集于一条流程之中。
- 定制训练器与渲染器
- Laan Labs 维护自有的基于 Metal 的 splat 引擎,并在新论文发表后将最新研究成果引入其中,使客户无需等待供应商即可获得最新的质量和速度。渲染器可在 macOS、iOS、visionOS 和网页上运行。
- 混合采集:splat、LiDAR 与摄影测量
- 用 splat 表现外观,用 LiDAR 和摄影测量提供比例、测量和几何信息,并对齐为同一份记录。这是 RadianceView 的基础:检测人员可在扫描结果上测量,在照片中查看细节,所有内容都关联到同一位置。
- 编辑、压缩与交付
- 裁剪、清理、遮罩和变换;压缩为 SPZ 和 SOG 以实现快速加载;通过网页查看器、原生应用、RadianceView 和 Apple Vision Pro 交付,在 Apple Vision Pro 中可以按真实比例在 splat 场景中漫步。
- 动态与体积式采集
- 对运动主体进行多相机采集,从最初的 15 台 iPhone NeRF 子弹时间装置,到目前针对动态 splat 的工作,面向电影、体育和产品应用。
工作方式
辐射场项目通常从采集测试开始:Laan Labs 使用客户可能采用的设备扫描一个有代表性的资产,进行训练,并与客户一起查看结果,使采集方式、质量目标和交付格式的决策建立在真实输出而非演示之上。
此后,合作可以是构建并交付一套完整的工作流程、授权客户自行运行的流程,或提供持续的采集与处理服务。许多客户会将其与3D 采集技术授权或空间计算工作相结合,把成果呈现给自己的用户。
相关工作

InfraTech 3D 扫描
工作流程概览:如何用手机采集并生成 NeRF 和高斯泼溅(Gaussian Splat)等多种 3D 表示,用于管理 InfraTech 资产。

RadianceView 飞机记录
退役客机在拆解之前,其零部件需要有一份记录。本文介绍 RadianceView 与 iPhone 如何完成这项工作:整机机身以高斯泼溅呈现,细节以照片留存,每一项发现都与其所处位置相关联。

资产记录
Laan Labs 如何借助空间计算和 AI 的快速检测与记录(RID),改变各行业对关键资产进行记录、检测和协作的方式。

移动 LiDAR 工作流程
专业人士如何将移动 LiDAR 扫描融入日常业务

在 Mac 上用 Metal 训练 Gaussian Splat
大多数 Gaussian Splatting 训练器都基于面向 NVIDIA GPU 的 CUDA。我们把一个 CUDA splat 训练器移植到了 Metal,让它能在 Apple Silicon 上原生运行。成果就是 3D Splat App,一款在 Mac 本地训练 splat 的免费应用。

NeRF 子弹时间
我们如何用 15 部同步的 iPhone 和神经辐射场(NeRF)拍摄《黑客帝国》风格的“子弹时间”体积视频,把瞬间定格在 3D 空间中。
基于这项工作构建的产品
- 3D Splat App — 在 Mac 上训练、查看和编辑 Gaussian splat,免费
- RadianceView — 在一份检测记录中整合 splat、LiDAR 和照片
常见问题
Gaussian Splatting 比 NeRF 更好吗?
对于当今几乎所有的生产工作,答案是 Gaussian Splatting。它的图像质量可与最好的 NeRF 相媲美,训练只需几分钟,并能在普通硬件上实时渲染,使交互式查看器、检测和网页交付切实可行。NeRF 在研究和某些动态场景方法中仍然有用,Laan Labs 自 2022 年以来两者都有开发。
Gaussian splat 可以用于测量或检测吗?
splat 本身是一种视觉记录,而不是经过测绘的记录。Laan Labs 将 splat 与 LiDAR 或摄影测量配合使用,使场景具有真实比例和可测量的几何信息,并将高分辨率照片关联到场景中的位置。RadianceView 提供的正是这种组合,并已被用于记录整架飞机,以便进行零件再利用。
采集场景需要什么设备?
对于房间、物体和车辆,一部较新的 iPhone 就足够了。360° 相机可加快大型室内空间的采集,无人机可覆盖室外和场地,无反相机则能提供最高的质量。Laan Labs 会根据客户已有的设备以及成果所需的细节程度来设计采集规范。
训练是否需要把我们的影像发送到云端?
不需要。Laan Labs 在 Apple Silicon Mac 上本地训练 Gaussian splat,也可以搭建本地部署的处理环境,因此涉密场所、飞机、设施和产品都不会离开客户的掌控。3D Splat App 为个人用户提供了这样的能力;对于团队,Laan Labs 会把同样的流程构建到他们的工作流程中。
可以采集多大的场景?
从单个零件到整架客机或整栋建筑都可以。大型场景分段采集并对齐,以查看设备能够处理的分辨率进行训练,并压缩后交付。限制通常来自采集时间和查看设备的硬件,而不是技术本身。
splat 可以以哪些格式交付?
标准 PLY、压缩 PLY、SPZ 和 SOG,可在网页查看器和 SuperSplat 等工具中加载,通过插件在 Unity 和 Unreal 中使用,也可在 Laan Labs 为 Mac、iPhone、iPad 和 Apple Vision Pro 开发的自有查看器中使用。混合采集还可以标准格式导出网格、点云和照片。