跳至主要内容

Gaussian Splatting 与辐射场

基于照片和视频的照片级真实感 3D 采集,从采集规范、训练到在浏览器或设备上交付。

Laan Labs 专注于 Gaussian Splatting 以及更广泛的辐射场技术,这些技术可将普通照片或视频转化为照片级真实感的 3D 场景。自神经辐射场(NeRF)刚开始变得实用时,团队就已在使用这些技术,当时用 15 台同步的 iPhone 录制了体积式“子弹时间”视频;如今团队端到端地构建 Gaussian Splatting 工具和流程:3D Splat App 是基于 Laan Labs 自有 Metal 引擎构建的 Mac 原生训练与编辑器;RadianceView 将 splat 与 LiDAR 和摄影结合起来用于检测;此外还为基础设施、航空航天和房地产领域的客户提供从采集到交付的工作流程。

辐射场表示场景的方式,是描述光线如何从场景中每一个点射出,而不是用表面网格来表示,因此它能够还原反射、玻璃、枝叶、毛发,以及摄影测量难以处理的真实场所中种种杂乱的细节。NeRF 证明了这样的质量是可以实现的;Gaussian Splatting 将场景表示为数百万个经过优化、与照片相匹配的小而柔和的 3D 斑点,使其速度快到可以在消费级硬件上实时查看。Laan Labs 在其 InfraTech 案例研究中,对同样的资产比较了 NeRF、splat 和网格,目前大多数可视化工作都使用 splat,在需要测量的地方则搭配 LiDAR 和摄影测量。

这项工作的与众不同之处,在于对整条流程的深入掌握。Laan Labs 并不只是运行开源训练器:它把最先进的 CUDA splat 训练器移植到了 Metal,使训练可以在 Apple Silicon 上原生运行而无需云端;编写了可在 Mac、iPhone、iPad 和 Apple Vision Pro 上显示数百万个 splat 的渲染器;并构建了编辑、压缩和导出工具,把原始的训练结果变成客户可以使用的成果。这次移植的故事见 在 Apple Silicon 上使用 Metal 进行 Gaussian Splat 训练。

我们的工作

采集工作流程设计
为手机、360° 相机和无人机制定采集规范,以可靠地重建房间、建筑、车辆、飞机和物体,包括为并非 3D 专家的现场团队提供遮罩、曝光和覆盖范围方面的指导。
本地与本地部署训练
Gaussian splat 训练在 Mac 或客户自己的硬件上运行,而不是使用云服务,适用于涉密场所、大规模采集以及无法上传影像的工作流程。运动恢复结构、训练、清理和导出集于一条流程之中。
定制训练器与渲染器
Laan Labs 维护自有的基于 Metal 的 splat 引擎,并在新论文发表后将最新研究成果引入其中,使客户无需等待供应商即可获得最新的质量和速度。渲染器可在 macOS、iOS、visionOS 和网页上运行。
混合采集:splat、LiDAR 与摄影测量
用 splat 表现外观,用 LiDAR 和摄影测量提供比例、测量和几何信息,并对齐为同一份记录。这是 RadianceView 的基础:检测人员可在扫描结果上测量,在照片中查看细节,所有内容都关联到同一位置。
编辑、压缩与交付
裁剪、清理、遮罩和变换;压缩为 SPZ 和 SOG 以实现快速加载;通过网页查看器、原生应用、RadianceView 和 Apple Vision Pro 交付,在 Apple Vision Pro 中可以按真实比例在 splat 场景中漫步。
动态与体积式采集
对运动主体进行多相机采集,从最初的 15 台 iPhone NeRF 子弹时间装置,到目前针对动态 splat 的工作,面向电影、体育和产品应用。

工作方式

辐射场项目通常从采集测试开始:Laan Labs 使用客户可能采用的设备扫描一个有代表性的资产,进行训练,并与客户一起查看结果,使采集方式、质量目标和交付格式的决策建立在真实输出而非演示之上。

此后,合作可以是构建并交付一套完整的工作流程、授权客户自行运行的流程,或提供持续的采集与处理服务。许多客户会将其与3D 采集技术授权或空间计算工作相结合,把成果呈现给自己的用户。

基于这项工作构建的产品

  • 3D Splat App — 在 Mac 上训练、查看和编辑 Gaussian splat,免费
  • RadianceView — 在一份检测记录中整合 splat、LiDAR 和照片

常见问题

Gaussian Splatting 比 NeRF 更好吗?

对于当今几乎所有的生产工作,答案是 Gaussian Splatting。它的图像质量可与最好的 NeRF 相媲美,训练只需几分钟,并能在普通硬件上实时渲染,使交互式查看器、检测和网页交付切实可行。NeRF 在研究和某些动态场景方法中仍然有用,Laan Labs 自 2022 年以来两者都有开发。

Gaussian splat 可以用于测量或检测吗?

splat 本身是一种视觉记录,而不是经过测绘的记录。Laan Labs 将 splat 与 LiDAR 或摄影测量配合使用,使场景具有真实比例和可测量的几何信息,并将高分辨率照片关联到场景中的位置。RadianceView 提供的正是这种组合,并已被用于记录整架飞机,以便进行零件再利用。

采集场景需要什么设备?

对于房间、物体和车辆,一部较新的 iPhone 就足够了。360° 相机可加快大型室内空间的采集,无人机可覆盖室外和场地,无反相机则能提供最高的质量。Laan Labs 会根据客户已有的设备以及成果所需的细节程度来设计采集规范。

训练是否需要把我们的影像发送到云端?

不需要。Laan Labs 在 Apple Silicon Mac 上本地训练 Gaussian splat,也可以搭建本地部署的处理环境,因此涉密场所、飞机、设施和产品都不会离开客户的掌控。3D Splat App 为个人用户提供了这样的能力;对于团队,Laan Labs 会把同样的流程构建到他们的工作流程中。

可以采集多大的场景?

从单个零件到整架客机或整栋建筑都可以。大型场景分段采集并对齐,以查看设备能够处理的分辨率进行训练,并压缩后交付。限制通常来自采集时间和查看设备的硬件,而不是技术本身。

splat 可以以哪些格式交付?

标准 PLY、压缩 PLY、SPZ 和 SOG,可在网页查看器和 SuperSplat 等工具中加载,通过插件在 Unity 和 Unreal 中使用,也可在 Laan Labs 为 Mac、iPhone、iPad 和 Apple Vision Pro 开发的自有查看器中使用。混合采集还可以标准格式导出网格、点云和照片。

开始交流

请向我们介绍项目情况,创始人会亲自回复。请发送邮件至 labs@laan.com,或使用联系表单。

相关服务: 采集流程与检测, 空间计算、AR 与 VR, 3D 采集与授权

行业: 房地产, 公用事业与基础设施, 航空航天与 MRO, 施工与 AEC, 汽车, 媒体、视效与游戏, 艺术、博物馆与遗产