Zum Hauptinhalt springen

Gaussian Splatting & Radiance Fields

Fotorealistische 3D-Erfassung aus Fotos und Video, vom Erfassungsprotokoll über das Training bis zur Auslieferung im Browser oder auf einem Gerät.

Laan Labs ist auf Gaussian Splatting und die breitere Familie der Radiance-Field-Verfahren spezialisiert, die gewöhnliche Fotos oder Videos in fotorealistische 3D-Szenen verwandeln. Das Team arbeitet damit, seit Neural Radiance Fields (NeRFs) praxistauglich wurden, als es volumetrische „Bullet-Time“-Videos mit 15 synchronisierten iPhones aufnahm, und entwickelt heute Gaussian-Splatting-Werkzeuge und -Pipelines durchgängig: 3D Splat App, ein nativer Mac-Trainer und -Editor auf Basis der eigenen Metal-Engine von Laan Labs; RadianceView, das Splats mit LiDAR und Fotografie für die Inspektion kombiniert; sowie Workflows von der Erfassung bis zur Auslieferung für Kunden aus Infrastruktur, Luftfahrt und Immobilien.

Ein Radiance Field beschreibt eine Szene danach, wie Licht jeden Punkt in ihr verlässt, und nicht über ein Oberflächen-Mesh. Deshalb gibt es Reflexionen, Glas, Laub, Haare und das allgemeine Durcheinander realer Orte wieder, mit dem die Photogrammetrie Schwierigkeiten hat. NeRFs haben gezeigt, dass diese Qualität möglich ist; Gaussian Splatting, das die Szene als Millionen kleiner, weicher 3D-Blobs darstellt, die darauf optimiert werden, zu den Fotos zu passen, machte sie schnell genug, um sie auf Consumer-Hardware in Echtzeit anzusehen. Laan Labs hat NeRFs, Splats und Meshes an denselben Objekten in seiner Fallstudie zu InfraTech verglichen und setzt heute für die meisten Visualisierungsarbeiten Splats ein, ergänzt um LiDAR und Photogrammetrie, wo gemessen werden muss.

Das Besondere an der Arbeit ist die Tiefe über die gesamte Pipeline. Laan Labs führt nicht einfach einen Open-Source-Trainer aus: Es hat einen modernen CUDA-Splat-Trainer nach Metal portiert, sodass das Training nativ auf Apple Silicon ohne Cloud läuft, die Renderer geschrieben, die Millionen von Splats auf Mac, iPhone, iPad und Apple Vision Pro darstellen, und die Werkzeuge für Bearbeitung, Komprimierung und Export entwickelt, die aus einem rohen Trainingsergebnis etwas für den Kunden Nutzbares machen. Die Geschichte dieser Portierung steht in Gaussian-Splat-Training auf Apple Silicon mit Metal.

Was wir tun

Entwurf von Erfassungs-Workflows
Protokolle für Smartphones, 360°-Kameras und Drohnen, die zuverlässige Rekonstruktionen von Räumen, Gebäuden, Fahrzeugen, Flugzeugen und Objekten liefern, einschließlich Anleitungen zu Maskierung, Belichtung und Abdeckung für Feldteams, die keine 3D-Spezialisten sind.
Lokales und Vor-Ort-Training
Gaussian-Splat-Training, das auf einem Mac oder der eigenen Hardware des Kunden statt in einem Cloud-Dienst läuft, für vertrauliche Standorte, große Erfassungen und Workflows, bei denen kein Bildmaterial hochgeladen werden darf. Structure from Motion, Training, Bereinigung und Export in einer Pipeline.
Eigene Trainer und Renderer
Laan Labs pflegt eine eigene Splat-Engine auf Metal-Basis und bringt neue Forschungsergebnisse ein, sobald Paper erscheinen, sodass Kunden aktuelle Qualität und Geschwindigkeit erhalten, ohne auf einen Anbieter zu warten. Die Renderer laufen unter macOS, iOS, visionOS und im Web.
Hybride Erfassung: Splats, LiDAR und Photogrammetrie
Splats für das Erscheinungsbild, LiDAR und Photogrammetrie für Maßstab, Vermessung und Geometrie, zu einem Datensatz ausgerichtet. Das ist die Grundlage von RadianceView, wo ein Prüfer im Scan misst und Details in den Fotografien liest, alles an denselben Ort gebunden.
Bearbeitung, Komprimierung und Auslieferung
Zuschneiden, Bereinigen, Maskieren und Transformationen; Komprimierung nach SPZ und SOG für schnelles Laden; Auslieferung in Web-Viewern, nativen Apps, RadianceView und auf Apple Vision Pro, wo sich eine Splat-Szene im Maßstab 1:1 durchschreiten lässt.
Dynamische und volumetrische Erfassung
Mehrkamera-Erfassung bewegter Motive, vom ursprünglichen NeRF-Bullet-Time-Aufbau mit 15 iPhones bis zu aktuellen Arbeiten an dynamischen Splats, für Film, Sport und Produktanwendungen.

Wie wir arbeiten

Radiance-Field-Projekte beginnen meist mit einem Erfassungstest: Laan Labs scannt ein repräsentatives Objekt mit der voraussichtlichen Ausrüstung des Kunden, trainiert es und bespricht das Ergebnis gemeinsam, sodass Entscheidungen zu Erfassungsmethode, Qualitätszielen und Auslieferungsformat auf echten Ergebnissen statt auf Demos beruhen.

Danach kann das Projekt aus einem vollständigen, aufgebauten und übergebenen Workflow bestehen, aus einer lizenzierten Pipeline, die der Kunde selbst betreibt, oder aus fortlaufender Erfassung und Verarbeitung als Dienstleistung. Viele Kunden kombinieren dies mit der Lizenzierung von 3D-Erfassungstechnologie oder mit Spatial-Computing-Arbeiten, um die Ergebnisse den eigenen Nutzern zu präsentieren.

Produkte, die mit dieser Arbeit entstanden sind

  • 3D Splat App — Gaussian Splats auf dem Mac trainieren, ansehen und bearbeiten, kostenlos
  • RadianceView — Splats, LiDAR und Fotografien in einem Inspektionsdatensatz

Häufige Fragen

Ist Gaussian Splatting besser als NeRFs?

Für fast alle Produktionsarbeiten heute ja. Es erreicht die Bildqualität der besten NeRFs, trainiert in Minuten und rendert in Echtzeit auf gewöhnlicher Hardware, was interaktive Viewer, Inspektion und Auslieferung im Web praktikabel macht. NeRFs bleiben für Forschung und einige Methoden für dynamische Szenen nützlich, und Laan Labs arbeitet seit 2022 mit beiden.

Kann ein Gaussian Splat vermessen oder für Inspektionen genutzt werden?

Für sich genommen ist ein Splat eine visuelle, keine vermessene Dokumentation. Laan Labs kombiniert Splats mit LiDAR oder Photogrammetrie, damit die Szene einen echten Maßstab und messbare Geometrie hat, und verknüpft hochauflösende Fotografien mit Orten in der Szene. Genau das leistet RadianceView, und es wurde eingesetzt, um ganze Flugzeuge für die Teilewiederverwendung zu dokumentieren.

Welche Ausrüstung brauchen wir, um eine Szene zu erfassen?

Ein aktuelles iPhone reicht für Räume, Objekte und Fahrzeuge. 360°-Kameras beschleunigen große Innenräume, Drohnen decken Außenbereiche und Gelände ab, und spiegellose Kameras liefern die höchste Qualität. Laan Labs entwirft das Erfassungsprotokoll passend zur Ausrüstung, die ein Kunde bereits hat, und zum Detailgrad, den das Ergebnis braucht.

Erfordert das Training, unser Bildmaterial in die Cloud zu senden?

Nein. Laan Labs trainiert Gaussian Splats lokal auf Macs mit Apple Silicon und kann eine Verarbeitung vor Ort einrichten, sodass vertrauliche Standorte, Flugzeuge, Anlagen und Produkte die Kontrolle des Kunden nie verlassen. 3D Splat App leistet dies für einzelne Nutzer; für Teams baut Laan Labs dieselbe Pipeline in deren Workflow ein.

Wie groß darf eine erfasste Szene sein?

Von einem einzelnen Bauteil bis zu einem ganzen Verkehrsflugzeug oder Gebäude. Große Szenen werden abschnittsweise erfasst und ausgerichtet, in Auflösungen trainiert, die das Wiedergabegerät bewältigen kann, und für die Auslieferung komprimiert. Die Grenze liegt meist bei der Erfassungszeit und der Hardware zur Anzeige, nicht beim Verfahren.

In welchen Formaten können Splats ausgeliefert werden?

Standard-PLY, komprimiertes PLY, SPZ und SOG, die sich in Web-Viewern und Werkzeugen wie SuperSplat, in Unity und Unreal über Plugins sowie in den eigenen Viewern von Laan Labs für Mac, iPhone, iPad und Apple Vision Pro laden lassen. Hybride Erfassungen exportieren außerdem Meshes, Punktwolken und Fotografien in Standardformaten.

Sprechen wir miteinander

Erzählen Sie uns von dem Projekt, und einer der Gründer antwortet Ihnen. Schreiben Sie an labs@laan.com oder nutzen Sie das Kontaktformular.

Verwandte Leistungen: Erfassungs-Pipelines & Inspektion, Spatial Computing, AR & VR, 3D-Erfassung & Lizenzierung

Branchen: Immobilien, Versorger & Infrastruktur, Luft- und Raumfahrt & MRO, Bauwesen & AEC, Automobil, Medien, VFX & Games, Kunst, Museen & Kulturerbe