Zum Hauptinhalt springen
Gaussian-Splat-Training auf Apple Silicon mit Metal

Gaussian-Splat-Training auf Apple Silicon mit Metal

Chris Laan
Verfasst von
Chris Laan
gaussian splatting, metal, apple silicon, cuda
30. September 2026 · Aktualisiert am 4. Oktober 2026

TLDR: Wir haben das Gaussian-Splat-Training von CUDA nach Metal gebracht. 3D Splat App trainiert Splats lokal auf jedem Apple-Silicon-Mac, und die App ist kostenlos.

3D Splat App für den Mac

Warum wir sie gebaut haben

Fast der gesamte Forschungscode zu Gaussian Splatting setzt eine NVIDIA-GPU voraus. Die ursprüngliche 3DGS-Implementierung und die meisten schnelleren Trainer, die ihr folgten, sind CUDA-Kernel, die aus PyTorch heraus angesteuert werden. Wer auf einem Mac arbeitet, hatte bisher die Wahl: eine Cloud-GPU mieten, einen Linux-Rechner unter den Schreibtisch stellen oder einen der plattformübergreifenden Trainer wie Brush nutzen, der über WebGPU auf Macs läuft. Wir wollten einen Trainer, der direkt auf Metal aufbaut, Apples eigenem GPU-Framework.

Den Großteil unserer 3D-Erfassung machen wir auf Apple-Hardware, daher wollten wir den gesamten Ablauf auf einem Rechner haben: Fotos hineinziehen, Kameraposen berechnen, trainieren, das Ergebnis ansehen, exportieren. Ohne Uploads und ohne Python-Umgebung.

3D Splat App ist das Ergebnis. Wenn Ihnen die Technik neu ist, haben wir eine allgemeinverständliche Einführung geschrieben: Was ist Gaussian Splatting?

Training eines Splats in 3D Splat App

Training einer Aufnahme mit 195 Bildern im HD-Preset, mit Live-PSNR und Loss

Was sie kann

  • Importiert Rohfotos, COLMAP-Datensätze und Nerfstudio-Projekte. Bei Rohfotos führt sie mit einem integrierten COLMAP Structure from Motion aus, um die Kameraposen zu ermitteln.
  • Trainiert auf der lokalen GPU mit den Presets Fast, Medium und HD und braucht je nach Szene und Rechner etwa 2, 5 bzw. 10 bis 20 Minuten.
  • Zeigt den Splat während des Trainings an, zusammen mit PSNR- und Loss-Kurven.
  • Unterstützt Masken: PNG-Alpha, separate Maskenordner, integrierte Personensegmentierung und einen Masken-Editor zum Malen Bild für Bild.
  • Exportiert PLY, komprimiertes PLY, SPZ und SOG.

Neu in Version 0.3

Das Update 0.3 erschien Mitte September und ist das größte Release seit dem Start. Kurz gesagt: Die App ist nicht mehr nur ein Trainer. Sie ist jetzt auch ein Viewer und Editor für Splats, unabhängig davon, ob Sie diese in der App erstellt haben.

Neu in 0.3: 360°-Import, Bearbeitungswerkzeuge und Viewer-Updates

Splat-Bearbeitungswerkzeuge. Öffnen Sie einen trainierten Splat und bereinigen Sie ihn an Ort und Stelle. Schneiden Sie mit einer Box, Kugel oder Ebene zu und behalten Sie wahlweise das Innere oder das Äußere. Übermalen Sie Splats, um sie auszuwählen und Floater, Dunst oder alles andere zu löschen, was die Kamera erfasst hat und Sie nicht haben möchten. Verschieben, drehen und skalieren Sie die gesamte Szene mit einem Transform-Gizmo, damit der Boden der Boden ist und das Modell in die richtige Richtung zeigt. Rückgängig machen ist möglich, und wenn Sie zufrieden sind, speichern oder exportieren Sie das Ergebnis.

Viewer-Modus. Sie können jetzt PLY-, SPZ- und SOG-Dateien direkt aus dem Finder öffnen, auch Splats, die anderswo trainiert wurden, und sie ansehen, bearbeiten und erneut exportieren. Mehrere Splats öffnen sich in Tabs, und eine geteilte Ansicht ermöglicht den direkten Vergleich zweier Splats nebeneinander. Quick-Look-Vorschauen funktionieren für die unterstützten Formate, sodass eine Splat-Datei im Finder genauso erscheint wie ein Bild.

Steuerung für Flüge durch die Szene. Mit W, A, S, D sowie Q, E bewegen Sie die Kamera in jeder Splat-Ansicht, mit den Pfeiltasten und der Umschalttaste für die Geschwindigkeit, zusätzlich zu Maus und Trackpad.

360°-Video-Import. Erste Unterstützung für Aufnahmen von 360°-Kameras. Die App wandelt ein equirektangulares Video in eine Reihe von Lochkamera-Ansichten um, sodass ein Rundgang mit einer 360°-Kamera zu einem normalen Trainingsdatensatz wird.

Überall schneller. Das Training ist schneller. Structure from Motion ist schneller, da die Feature-Erkennung und das Matching von COLMAP jetzt auf der GPU laufen. Das Laden eines großen Splats dauerte früher Sekunden und geschieht jetzt nahezu sofort. Und der SOG-Export, der bei großen Szenen früher Minuten brauchte, dauert jetzt Sekunden, bei besserer Qualität.

Rendering und Video. Der Viewer rendert Splats genauer als zuvor, und der Video-Renderer für Kamerapfade hat ein Look-Panel mit Hintergrundfüllung, Tiefenschärfe und Farbkorrektur erhalten, dazu eine einzige Steuerung für das Sichtfeld des gesamten Clips.

Was ein Splat-Trainer eigentlich ist

Es hilft, sich klarzumachen, was auf der GPU laufen muss. Das Training eines Gaussian Splats ist eine Optimierungsschleife. In jedem Schritt rendert der Trainer die aktuelle Menge an Gaußschen Verteilungen (Gaussians) aus einer der Trainingskameras, vergleicht dieses Rendering mit dem echten Foto und verschiebt Positionen, Formen, Deckkraft und Farben der Gaussians in die Richtung, die den Fehler verringert. In regelmäßigen Abständen fügt er außerdem Gaussians hinzu, wo Details fehlen, und entfernt solche, die nichts Nennenswertes beitragen.

Die Rendering-Hälfte ist ein kachelbasierter Rasterizer: Gaussians werden auf den Bildschirm projiziert, nach Tiefe sortiert, in kleine Bildschirmkacheln einsortiert und innerhalb jeder Kachel von vorn nach hinten per Alpha-Compositing zusammengesetzt. Die Trainingshälfte lässt denselben Prozess rückwärts laufen, trägt den Fehler pro Pixel entlang der Compositing-Reihenfolge zurück zu jedem Gaussian, der das Pixel berührt hat, und wendet dann ein Optimizer-Update an.

Nichts davon ist eine Standard-Grafikpipeline, und nichts davon wird von einem universellen Machine-Learning-Framework gut bedient. Schnelle Trainer setzen das Ganze als eigene GPU-Compute-Kernel um, und genau das macht die CUDA-Abhängigkeit so hartnäckig.

Der Umzug nach Metal

Wir haben einen modernen CUDA-Splat-Trainer nach Metal portiert. Die Mathematik ist auf beiden Plattformen dieselbe; anders ist alles, was sie umgibt. CUDA bietet ein Jahrzehnt an GPU-Primitiven, Bibliotheken und Konventionen, auf die sich Splat-Trainer stützen, und Metal hat davon fast nichts. Ein großer Teil der Arbeit bestand also darin, Bausteine neu zu entwickeln, die CUDA-Entwickler geschenkt bekommen, und sie dann auf Apples GPUs abzustimmen. Die Teile des Designs, die davon abhängen, wie Threads auf der GPU zusammenarbeiten, ließen sich zum Glück gut übertragen, und das machte das Projekt überhaupt erst machbar.

Die andere Hälfte der Arbeit bestand darin zu lernen, wie Apple Silicon angesteuert werden will. Eine Mac-GPU teilt sich den Speicher mit der CPU, was eine ganze Kategorie von Kopiervorgängen überflüssig macht, aber auch verändert, welche Operationen teuer sind. Die Art, wie man der GPU Arbeit übergibt und auf Ergebnisse wartet, unterscheidet sich so stark von CUDA, dass die Trainingsschleife umstrukturiert und nicht einfach übersetzt werden musste. Und weil es keine VRAM-Obergrenze gibt, ist die praktische Grenze für die Szenengröße der Unified Memory des Macs, die bei einem gut ausgestatteten Laptop größer ist, als die meisten dedizierten GPUs bieten.

Structure from Motion brauchte dieselbe Behandlung. Die GPU-Beschleunigung von COLMAP ist ebenfalls CUDA, also haben wir es für macOS gebaut und dessen Feature-Extraktion und Matching ebenfalls auf Metal verlagert.

Das Ergebnis ist ein Trainer, der vollständig in C++ und Metal geschrieben ist, ohne PyTorch und ohne Autograd in der gesamten App. Swift kommt nur in der Benutzeroberfläche vor.

Den Port überprüfen

Bei einem solchen Port schleichen sich leicht subtile Fehler ein, und ein Splat-Trainer konvergiert gern zu einem etwas schlechteren Ergebnis, ohne es zu melden. Deshalb gilt für die Engine ein strenger Maßstab: Feste Szenen müssen vor und nach jeder Änderung am Rasterizer byte-identische Bilder rendern, und Performance-Arbeit muss bei kurzen Trainingsläufen identische Metriken hinterlassen. Jede Optimierung, die in die App eingeflossen ist, musste diese Hürde nehmen.

6,5 Millionen Splats im Viewer

Eine Szene mit 6,5 Millionen Splats im Viewer

Eine kurze Einführung in Gaussian Splatting

Falls die obigen Abschnitte zu viel vorausgesetzt haben, hier die Kurzfassung: was Gaussian Splatting ist und warum die Leute davon begeistert sind. Die lange Fassung finden Sie auf der Website von 3D Splat App: Was ist Gaussian Splatting?

Einzelne Splats, die sich zu einem Gesicht anhäufen. Jeder unscharfe Fleck ist ein Gaussian; zusammen bilden sie ein fotorealistisches Bild.

Was ein Splat ist

Stellen Sie sich vor, Sie bauen einen Raum aus Lego-Steinen nach: Tausende harte, undurchsichtige Blöcke, die zusammengesteckt werden, bis die Form ungefähr stimmt. Machen Sie nun dasselbe mit Millionen winziger, durchscheinender Farbwolken. Jede Wolke ist an den Rändern weich, hat ihre eigene Tönung und Transparenz und überlappt mit ihren Nachbarn. Aus der Ferne verschmelzen sie zu etwas, das sich von einem Foto kaum unterscheiden lässt.

Das ist ein Gaussian Splat. Die Szene ist keine Oberfläche aus Polygonen, sondern eine riesige Sammlung kleiner, unscharfer 3D-Flecken, die jeweils Position, Größe und Form, Ausrichtung, Farbe und Deckkraft speichern. Eine fertige Szene kann zwischen einigen Hunderttausend und mehreren Millionen davon enthalten. Das „Gaussian“ im Namen ist die Glockenkurve aus der Statistik, die beschreibt, wie jeder Fleck von seinem dichten Zentrum zu seinem weichen Rand abklingt. „Splatting“ beschreibt, wie sie gezeichnet werden: Jeder 3D-Fleck wird flach auf den Bildschirm projiziert, wie ein Schneeball, der ein Fenster trifft, und alle überlappenden Splats verschmelzen zum endgültigen Bild.

Sie ist dreidimensional, insofern man sie umkreisen und durch sie hindurchfliegen kann, aber sie ist kein klassisches 3D-Modell. Es gibt keine Polygone, keine UV-Maps und keine Texturdateien. Es ist eher eine sehr dichte, sehr clevere Punktwolke, die weiß, wie sie aus den von der Aufnahme abgedeckten Blickwinkeln fotorealistisch aussieht. Und obwohl das Training Optimierungsverfahren aus dem Umfeld des Machine Learning nutzt, ist es kein generatives Modell: Die Szene wird aus den Eingabefotos rekonstruiert und nicht erfunden. Die Qualität hängt daher von der Abdeckung ab. Bereiche, die nur aus wenigen Winkeln oder gar nicht fotografiert wurden, können Unschärfe oder schwebende Artefakte zeigen.

Wie es funktioniert

Der ganze Prozess stellt immer wieder dieselbe Frage: Sieht die Szene, wenn wir sie aus denselben Kamerawinkeln wie die Originalfotos rendern, so aus wie die Fotos?

  1. Aufnahme. Fotografieren oder filmen Sie das Motiv aus vielen Winkeln, mit reichlich Überlappung, damit jeder Teil der Szene in mehreren Ansichten erscheint. Ein langsames Handyvideo genügt meist. LiDAR ist nicht erforderlich.
  2. Kamerapositionen schätzen. Die Software findet dieselben Ecken, Kanten und Texturen in vielen Bildern und berechnet aus deren Verschiebung, von wo aus jedes Foto aufgenommen wurde und wo die Dinge ungefähr im Raum liegen. Das ist Structure from Motion, und genau das erledigt das integrierte COLMAP in 3D Splat App.
  3. Trainieren. Ausgehend von dieser dünnen Punktmenge rendert der Trainer die Szene wiederholt aus den bekannten Kamerapositionen, vergleicht jedes Rendering mit dem echten Foto und verändert jeden Gaussian so, dass der Unterschied kleiner wird. Flecken wandern, wachsen, schrumpfen, strecken sich, ändern Farbe und Deckkraft, und die Szene fügt Flecken hinzu und entfernt welche, während sie lernt, wo Details nötig sind.
  4. Betrachten. Das Ergebnis lässt sich schnell genug rendern, um es interaktiv zu erkunden: ein Objekt umkreisen, durch einen Raum gehen oder einen Kamerapfad für einen Flug durch die Szene anlegen.

Splats im Vergleich zu Meshes

Meshes beschreiben Oberflächen. Splats beschreiben Erscheinung. Ein Polygon-Mesh hat saubere Geometrie, definierte Kanten und darüber gespannte Texturen, und jedes Dreieck lässt sich verschieben, glätten oder löschen. Ein Splat hat nichts davon, und genau deshalb kann er Dinge erfassen, mit denen ein Mesh Schwierigkeiten hat: Reflexionen, Glas, Laub, Haare, dünne Drähte und das allgemeine Durcheinander der realen Welt.

Splat im Vergleich zum Mesh

Dasselbe Motiv als Gaussian Splat (links) und als Polygon-Mesh (rechts), mit Zoom von der gesamten Szene bis zu den einzelnen Primitiven

Eine nützliche Faustregel: Meshes sind für Dinge, die Sie bearbeiten möchten, Splats für Orte, die Sie besuchen möchten. Wenn das Ziel darin besteht, zu bearbeiten, zu animieren, zu simulieren oder 3D-zu-drucken, brauchen Sie weiterhin ein Mesh. Wenn das Ziel darin besteht, festzuhalten, wie etwas aussieht, und andere es erkunden zu lassen, sind Splats kaum zu schlagen.

Warum es durchgestartet ist

Vor 2023 bedeutete fotorealistisches 3D aus Fotos, zwischen zwei unvollkommenen Optionen zu wählen. Photogrammetrie lieferte bearbeitbare Meshes, hatte aber Probleme mit glänzenden Oberflächen, dünnen Strukturen und feinen Details. Frühe Neural Radiance Fields (NeRFs) rendeten wunderschöne neue Ansichten, brauchten aber Stunden zum Trainieren und Sekunden pro Bild zur Darstellung. Spätere Arbeiten, insbesondere NVIDIAs Instant NGP im Jahr 2022, senkten das Training auf Minuten, doch für flüssiges Rendering war weiterhin eine leistungsstarke GPU nötig. Gaussian Splatting erreichte die visuelle Qualität der besten NeRFs und rendert dabei in Echtzeit, schnell genug, um auf Consumer-Hardware interaktiv zu sein. Diese Kombination hat die Leute aufhorchen lassen.

Echtzeit-Rendering macht aus einem Forschungsergebnis etwas Nutzbares: Web-Viewer, die jeder herumziehen kann, VR und AR aus erfassten Umgebungen, kreative Werkzeuge, mit denen Künstler Szenen aus Aufnahmen komponieren wie mit Videoclips. Und die Aufnahme selbst ist alltäglich. Die Kamera, die Sie schon besitzen, und Sie filmen so, wie Sie es ohnehin tun.

Was Menschen damit machen

  • Räume und Innenräume: Hausrundgänge, Studios, Galerien, Immobilienangebote und Bestandsdokumentation von Architektur. Innenräume sind das einsteigerfreundlichste Motiv: gleichmäßiges Licht, nichts bewegt sich, ein langsamer Gang mit dem Handy.
  • Objekte und Produkte: Drehansichten für den E-Commerce, Sammlerstücke, Handgemachtes, Skulpturen und alles Spiegelnde oder fein Detaillierte, an dem Photogrammetrie scheitert.
  • Außenräume: Gärten, Fassaden, Parks, Denkmäler und Baufortschritt. Bäume, Kies und moosbewachsener Stein sind genau die Oberflächen, bei denen ältere Methoden danebenlagen.
  • Kreative Arbeit und VFX: virtuelle Drehorte, Hintergründe für Musikvideos, VFX-Plates, Spielumgebungen und digitale Kunst.
  • Forschung und Dokumentation: Kulturerbestätten, Laboraufbauten und überall dort, wo Sie eine getreue Aufzeichnung davon möchten, wie ein Ort aussah.

Ein paar Tipps zur Aufnahme

Bewegen Sie sich langsam, um Bewegungsunschärfe zu vermeiden. Überlappen Sie großzügig, damit jeder Teil des Motivs in mehreren Bildern aus leicht unterschiedlichen Winkeln auftaucht. Umkreisen Sie Objekte in mehreren Höhen, auch von oben. Im Freien filmen Sie zügig und wenn möglich bei bedecktem Himmel, denn Wind, ziehende Wolken und Passanten arbeiten gegen Sie. Und halten Sie das Motiv im Bild; der Trainer kann nur rekonstruieren, was die Kamera tatsächlich gesehen hat.

Download

3D Splat App ist kostenlos im Mac App Store erhältlich. Sie benötigt einen M1 oder neuer und macOS 15.6 oder neuer.

3D Splat App auf 3dsplatapp.com herunterladen

Zusammenarbeit mit Laan Labs

Gaussian Splatting & Radiance Fields

Fotorealistische 3D-Erfassung aus Fotos und Video, vom Erfassungsprotokoll über das Training bis zur Auslieferung im Browser oder auf einem Gerät.

Diesen Artikel herunterladen

Markdown-Quelltext zum Offline-Lesen herunterladen