
在 Apple Silicon 上用 Metal 训练 Gaussian Splat
太长不看:我们把 Gaussian splat 训练从 CUDA 带到了 Metal。3D Splat App 可以在任何 Apple Silicon Mac 上本地训练 splat,而且免费。
Mac 版 3D Splat App
我们为什么要做它
几乎所有 Gaussian Splatting 研究代码都默认你有一块 NVIDIA GPU。最初的 3DGS 实现,以及随后出现的大多数更快的训练器,都是由 PyTorch 驱动的 CUDA kernel。如果你用的是 Mac,选择只有租用云 GPU、在桌子底下放一台 Linux 机器,或者使用 Brush 之类的跨平台训练器,它通过 WebGPU 在 Mac 上运行。我们想要一个直接构建在 Metal(Apple 自家的 GPU 框架)之上的训练器。
我们的 3D 采集工作大部分在 Apple 硬件上完成,所以希望整个流程都在一台机器上完成:放入照片,得到相机位姿,训练,查看结果,导出。无需上传,也不需要 Python 环境。
3D Splat App 就是这样诞生的。如果你对这项技术还不熟悉,我们写了一篇通俗易懂的入门文章:什么是 Gaussian Splatting?
使用 HD 预设训练一组 195 张图像的采集数据,实时显示 PSNR 和 loss
它能做什么
- 导入原始照片、COLMAP 数据集和 Nerfstudio 项目。对于原始照片,它会用内置的 COLMAP 运行 structure from motion(运动恢复结构)来恢复相机位姿。
- 使用本地 GPU 训练,提供 Fast、Medium 和 HD 三种预设,视场景和机器而定,大约分别需要 2 分钟、5 分钟和 10 到 20 分钟。
- 训练过程中实时显示 splat,并给出 PSNR 和 loss 曲线。
- 支持遮罩:PNG alpha 通道、独立的遮罩文件夹、内置的人物分割,以及可以逐帧绘制的遮罩编辑器。
- 导出 PLY、压缩 PLY、SPZ 和 SOG。
0.3 版有什么新功能
0.3 更新于 9 月中旬发布,是自上线以来最大的一次版本更新。简单来说:这款应用不再只是一个训练器。它现在也是 splat 的查看器和编辑器,无论 splat 是不是在这款应用里生成的。
0.3 版新功能:360° 导入、编辑工具和查看器更新
**Splat 编辑工具。**打开训练好的 splat,就地清理。可以用方框、球体或平面裁剪,保留内部或外部。可以涂抹选中 splat,删除漂浮物、雾状噪点,或者相机拍到的任何你不想要的东西。用变换控制器移动、旋转和缩放整个场景,让地面回到地面的位置,让模型朝向正确的方向。支持撤销,满意之后即可保存或导出结果。
**查看器模式。**现在你可以直接从访达打开 PLY、SPZ 和 SOG 文件,包括在其他地方训练的 splat,并对它们进行查看、编辑和重新导出。多个 splat 以标签页形式打开,还提供分屏视图,方便并排对比两个 splat。支持格式的快速查看(Quick Look)预览同样可用,所以 splat 文件在访达中的显示方式和图片一样。
**飞行漫游控制。**除了鼠标和触控板之外,在每个 splat 视图中还可以用 W、A、S、D 和 Q、E 移动相机,用方向键和 shift 调节速度。
**360° 视频导入。**初步支持 360° 相机拍摄的素材。应用会把等距柱状投影(equirectangular)视频转换成一组针孔视图,这样用 360° 相机边走边拍的素材就变成了普通的训练集。
**全面提速。**训练更快了。Structure from motion 也更快了,因为 COLMAP 的特征检测和匹配现在在 GPU 上运行。加载大型 splat 从要等上几秒变成几乎瞬间完成。而 SOG 导出过去在大场景上要花几分钟,现在只需几秒,质量还更好。
**渲染与视频。**查看器对 splat 的渲染比以前更准确,相机路径视频渲染器新增了外观面板,包含背景填充、景深和调色,还有一个控制整段视频的统一视场角设置。
Splat 训练器究竟是什么
先弄清楚究竟有哪些东西要在 GPU 上运行,会有帮助。训练 Gaussian splat 是一个优化循环。每一步,训练器都会从某个训练相机的视角渲染当前这组 gaussian,把渲染结果与真实照片比较,然后朝着减小误差的方向调整 gaussian 的位置、形状、不透明度和颜色。每隔一段时间,它还会在缺少细节的地方添加 gaussian,并删除那些没起什么作用的 gaussian。
渲染的那一半是一个基于 tile 的光栅化器:gaussian 被投影到屏幕上,按深度排序,分配到小的屏幕 tile 中,并在每个 tile 内从前到后进行 alpha 合成。训练的那一半则把同样的过程倒着运行,沿着合成顺序把逐像素的误差传回每一个触及该像素的 gaussian,然后执行一次优化器更新。
这些都不是标准的图形管线,通用的机器学习框架也很难胜任。高速训练器把整件事都实现为自定义的 GPU 计算 kernel,这正是对 CUDA 的依赖如此牢固的原因。
移植到 Metal
我们把一个现代的 CUDA splat 训练器移植到了 Metal。两个平台上的数学是一样的,不同的是围绕它的一切。CUDA 拥有十年积累的 GPU 原语、库和惯例,splat 训练器对它们依赖很深,而 Metal 几乎一样都没有,所以很大一部分工作是重建那些 CUDA 开发者可以直接拿来用的部件,再针对 Apple 的 GPU 进行调优。设计中依赖于 GPU 上线程如何协作的那些部分,恰好能很好地转换过来,这也是整个项目得以成立的原因。
另一半工作是摸清 Apple Silicon 希望被怎样驱动。Mac 的 GPU 与 CPU 共享内存,这消除了一整类拷贝,但也改变了哪些操作才是昂贵的。向 GPU 提交任务并等待结果的方式与 CUDA 差别很大,因此训练循环必须重新设计,而不是简单翻译。而且没有显存上限,意味着场景大小的实际限制就是 Mac 的统一内存,在配置不错的笔记本上,这比大多数独立 GPU 提供的显存还要多。
Structure from motion 也需要同样的处理。COLMAP 的 GPU 加速同样基于 CUDA,所以我们为 macOS 构建了它,并把它的特征提取和匹配也迁移到了 Metal 上。
最终得到的训练器完全用 C++ 和 Metal 编写,应用中没有任何 PyTorch,也没有任何 autograd。Swift 只出现在 UI 中。
验证移植结果
这样的移植很容易出现细微的错误,而 splat 训练器会悄悄地收敛到一个稍差的结果,却不告诉你。所以我们对引擎设定了严格的标准:在对光栅化器做任何修改之前和之后,固定场景必须渲染出逐字节完全一致的图像;性能优化也必须让短时间训练的各项指标保持完全一致。应用中的每一项优化都必须通过这道门槛。
查看器中一个包含 650 万个 splat 的场景
Gaussian Splatting 简介
如果上面几节假设了太多背景知识,这里是对 Gaussian Splatting 是什么、以及人们为何为之兴奋的简短介绍。详细版本在 3D Splat App 网站上:什么是 Gaussian Splatting?
一个个 splat 逐渐累积成一张脸。每一团模糊的斑点就是一个 Gaussian,它们合在一起便构成了逼真的图像。
什么是 splat
想象一下用乐高积木重建一个房间:成千上万块坚硬、不透明的积木拼在一起,直到形状大致吻合。现在换成用数百万团微小的半透明色彩云雾来做同样的事。每团云雾的边缘都是柔和的,有各自的色调和透明度,并与相邻的云雾重叠。从远处看,它们融合成的东西几乎与照片无异。
这就是 Gaussian splat。场景不是由多边形构成的表面,而是由大量细小、模糊的 3D 斑点组成的集合,每个斑点存储着位置、大小和形状、朝向、颜色和不透明度。一个完成的场景可能包含几十万到几百万个这样的斑点。名称中的“Gaussian”指的是统计学中的钟形曲线,它描述了每个斑点如何从密集的中心渐变到柔和的边缘。“Splatting”则是它们的绘制方式:每个 3D 斑点被压平投影到屏幕上,就像雪球砸在窗户上,所有重叠的 splat 混合在一起,形成最终的图像。
它是三维的,你可以环绕观察,也可以在其中穿行,但它不是传统意义上的 3D 模型。它没有多边形,没有 UV 贴图,也没有纹理文件。它更像一个非常密集、非常聪明的点云,知道如何在采集所覆盖的视角下呈现出逼真的效果。而且,虽然训练用到了与机器学习相近的优化技术,但它不是生成式模型:场景是根据输入照片重建出来的,而不是凭空创造的。因此质量取决于覆盖程度。只从少数几个角度拍摄、或者完全没有拍到的区域,可能出现模糊或漂浮的伪影。
工作原理
整个过程不断重复问同一个问题:如果从与原始照片相同的相机角度渲染这个场景,它看起来和照片像不像?
- **采集。**从多个角度拍摄照片或视频,保证足够的重叠,让场景的每个部分都出现在多个视图中。通常缓慢拍摄的手机视频就足够了,不需要 LiDAR。
- **估计相机位置。**软件在多张图像中找到相同的角点、边缘和纹理,并利用它们的位移来推算每张照片是从哪里拍摄的,以及各物体在空间中大致的位置。这就是 structure from motion,也是 3D Splat App 内置的 COLMAP 所做的事。
- **训练。**训练器从这组稀疏的点出发,反复从已知的相机位置渲染场景,把每次渲染结果与真实照片比较,并微调每个 Gaussian 以减小差异。斑点会移动、变大、缩小、拉伸、改变颜色和不透明度,而场景会在学到哪里需要细节的过程中添加和删除斑点。
- **查看。**结果的渲染速度足够快,可以交互式地浏览:环绕观察一个物体,穿行一个房间,或者设置一条相机路径来做飞行漫游。
Splat 与网格对比
网格描述表面,splat 描述外观。多边形网格有干净的几何结构、明确的边缘以及包裹在上面的纹理,每个三角形都可以移动、平滑或删除。Splat 没有这些结构,这恰恰是它能够捕捉网格难以处理的东西的原因:反光、玻璃、植被、毛发、细电线,以及真实世界里种种杂乱的细节。
同一个对象分别以 Gaussian splat(左)和多边形网格(右)呈现,从完整场景逐步放大到单个图元
一个有用的经验法则:网格适用于你想操控的东西,splat 适用于你想游览的地方。如果目标是编辑、动画、仿真或 3D 打印,你仍然需要网格。如果目标是捕捉某样东西的外观并让人们去探索它,splat 很难被超越。
它为何一夜走红
在 2023 年之前,要从照片得到逼真的 3D,需要在两种都不完美的方案之间取舍。摄影测量(photogrammetry)能生成可编辑的网格,但对光亮表面、细小结构和精细细节力不从心。早期的神经辐射场(NeRF)能渲染出漂亮的新视角,但训练要花几个小时,显示一帧要几秒。后来的工作,尤其是 NVIDIA 在 2022 年推出的 Instant NGP,把训练缩短到几分钟,不过要流畅渲染仍然需要一块强大的 GPU。Gaussian Splatting 在视觉质量上追平了最好的 NeRF,同时能实时渲染,在消费级硬件上也足够快,可以交互。正是这种组合让人们眼前一亮。
实时渲染把一项研究成果变成了可以实际使用的东西:任何人都能拖动浏览的网页查看器,用采集到的环境构建的 VR 和 AR,以及让艺术家像使用视频片段一样用采集到的场景进行创作的工具。而且采集端非常平常:就是你已有的相机,按你一贯的拍摄方式。
人们用它做什么
- **房间与室内:**家居参观、工作室、画廊、房产房源和建筑竣工记录。室内空间是最适合新手的拍摄对象:光线稳定,没有东西在移动,拿着手机慢慢走一圈即可。
- **物体与产品:**电商旋转展示、收藏品、手工制品、雕塑,以及任何会让摄影测量栽跟头的反光或精细的物体。
- **户外空间:**花园、建筑立面、公园、纪念碑和施工进度。树木、碎石和长满苔藓的石头,正是旧方法容易出错的表面。
- **创意与视效工作:**拍摄用的虚拟场地、音乐视频背景、视效素材、游戏场景和数字艺术。
- **研究与记录:**文化遗产遗址、实验室布置,以及任何你想忠实记录某个地方原貌的场合。
几条采集小贴士
移动要慢,以避免运动模糊。重叠要充足,让拍摄对象的每个部分都以略微不同的角度出现在多帧中。拍摄物体时,以几个不同的高度环绕拍摄,包括从上方拍。在户外,如果可以的话,尽量选在阴天并快速拍摄,因为风、流动的云和路人都会不利于采集。还要让拍摄对象始终在画面内;训练器只能重建相机真正看到的东西。
下载
3D Splat App 在 Mac App Store 上免费提供。需要 M1 或更新的芯片,以及 macOS 15.6 或更高版本。
与 Laan Labs 合作
Gaussian Splatting 与辐射场
基于照片和视频的照片级真实感 3D 采集,从采集规范、训练到在浏览器或设备上交付。
下载本文
获取 Markdown 源文件,方便离线阅读


