
InfraTech-Fallstudie: Vergleich mehrerer 3D-Visualisierungs- und Rekonstruktionstechnologien – NeRFs, Splats, Meshes und mehr.
Überblick über den Workflow, mit dem Mobiltelefone zur Erfassung und Erstellung verschiedener 3D-Darstellungen wie NeRFs und Gaussian Splats für die Verwaltung von InfraTech-Anlagen eingesetzt werden.
Geschäftliche Herausforderung
Ein Telekommunikationsunternehmen suchte eine Lösung zur Verwaltung von Mobilfunkmasten und Kommunikationsknotenstationen. Die Erfassung vor Ort musste aus Kostengründen und wegen Drohnenbeschränkungen in städtischen Gebieten mit einem mobilen Gerät erfolgen. Die Lösung sollte Folgendes unterstützen:
- Anlagenverifizierung
- Komponenteninventar
- Zustandsdokumentation
- Arbeitsauftragsverwaltung
Kurzfassung: Laan Labs entwickelt einen mobilen Erfassungs- und Rendering-Workflow, der einem Telekommunikationsunternehmen hilft, die benötigten Messdaten über LiDAR-Meshes und visuelle Informationen über Bildannotationen, 360-Grad-Fotos sowie NeRFs und Gaussian Splatting zu erheben.
Zusammenfassung
Ein Kunde von Laan Labs aus der Telekommunikationsinfrastruktur nutzte bereits erfolgreich eine individuell lizenzierte Version der 3D Scanner App in seinen Geschäftsprozessen für die Anlagenverwaltung im Feld. Einige zentrale Herausforderungen blieben jedoch, bei deren Bewältigung Laan Labs half: Annotationen für Scanfotos, bei denen der Nutzer während des Scanvorgangs einen 3D-Punkt festlegen und eine Fotoannotation mit Notizen zu wichtigen Anlagenteilen anlegen kann. Da die visuelle Beurteilung ein so wesentlicher Teil des Prozesses war, wurde dem Workflow außerdem die Aufnahme von 360-Grad-Fotos hinzugefügt. Mit den jüngsten Fortschritten bei NeRFs (Neural Radiance Fields) und Gaussian Splatting kamen schließlich auch diese als Ausgabeformate hinzu, damit Nutzer aus der Ferne Anlagen besser begutachten können, denn diese Technologien haben gegenüber klassischen Photogrammetrieverfahren Vorteile bei der Darstellung reflektierender Oberflächen, von Hintergründen und feinen Details.
Vorgehen
Laan Labs arbeitete mit dem Geschäftsprozess des Telekommunikationsunternehmens und entwickelte einen Workflow für die Erfassung, die Verarbeitung der Meshes auf dem Gerät und das Hochladen der Datensätze in die Cloud für weitere Darstellungsformen im Rahmen der fortlaufenden Datenverwaltung. Einen allgemeinen Überblick über den Ablauf bietet der folgende Workflow:
Der allgemeine Ansatz sieht vor, dass das iOS-Gerät eine Erfassung abschließt und einen „Ground-Truth“-Datensatz erstellt. Dieser Datensatz würde in der Cloud gespeichert, sodass er auch genutzt werden kann, um 3D-Darstellungen mit verbesserten Technologien neu zu berechnen.
- Fotosatz – RGB-Bilder mit Posendaten
- Tiefendaten, LiDAR-Konfidenz
- Metainformationen – GPS, Datum, Nutzer usw.
- Annotationen – Schlüsselbilder, Standortnotizen, Text, Bar-/QR-Codes usw.
Bewertung
Zur Bewertung der verschiedenen Ausgabeformate wurden Vergleiche mit demselben Erfassungsdatensatz durchgeführt, damit jedes Ausgabeformat für das eingesetzt werden kann, wofür es sich bei der Verwaltung der Anlage am besten eignet.
| Typen | Metriken |
|---|---|
| • Punktwolke • Mesh – (auf dem Gerät, Photogrammetrie-Nachbearbeitung) • 360-Grad-Foto / virtuelle Tour • Semantische Geometrie (z. B. RoomPlan) • NeRF • Gaussian Splatting • Digitaler Zwilling – synthetisch | • Verarbeitungszeit / Kosten • Dimensionalität (d. h. ist Messen möglich) • Detailschärfe • Verlustmetriken (Holdout-Bilder) |
Umsetzung der Ausgabeformate
Punktwolke
Die Darstellung von 3D-Punkten als Punktwolke ist ein Format, mit dem viele Fachleute der Branche vertraut sind, und die RGB-Informationen liefern einen gewissen visuellen Einblick in die erfassten Anlagen. Diese Darstellung wird oft bevorzugt, weil sie die Daten in ihrer „rohen“ Anmutung und Form zeigt: Keine Nachbearbeitung und keine View-Synthese hat die erhobenen Daten verfälscht. Sie eignet sich gut, um die dimensionalen Eigenschaften der Anlagen zu verwalten. Für zusätzliche Informationen lassen sich die bei der Erfassung aufgenommenen Bilder heranziehen.
LiDAR-Mesh
Ein aus einer Erfassung berechnetes Mesh ist ein gutes Ausgabeformat, das die Abmessungen der Anlage sowie ihre allgemeine Form und Struktur liefert (z. B. zum Messen). Beim Vernetzen können feine Details als Mesh verloren gehen, und reflektierende Oberflächen werden schlecht verarbeitet. Beim Synthetisieren und Überblenden von Oberflächentexturen können außerdem verschiedene Probleme auftreten, die die Texturabbildung verzerren, sodass feine Details und Text nicht mehr lesbar sind.
Photogrammetrie
Hierbei wird allein aus RGB-Bildern ein Mesh erstellt, ohne Tiefendaten. Da viele Mobilgeräte weder LiDAR noch ähnliche Tiefeninformationen besitzen, ist dies eine gute geräteunabhängige Ausweichmethode. Ähnlich wie bei der Drohnenerfassung müssen Marker verwendet werden, um einen guten Maßstab zu erhalten. Die Verarbeitung erfolgt in der Regel in der Cloud, und LiDAR-Aufnahmen vom Gerät lassen sich in der Cloud nachbearbeiten, wodurch sich häufig die Texturauflösung verbessert.
360-Grad-Foto / virtuelle Tour / annotierte Bilder
Wo die höchste visuelle Detailtreue gefragt ist, kommen 360-Grad-Fotos und annotierte Bilder zum Einsatz. 360-Grad-Fotos entstehen, indem der Nutzer während der Erfassung an einem festen Punkt stehend eine volle Drehung ausführt. Diese Bilder werden oft in virtuellen Touren verwendet. Wenn Nahaufnahmen von Details nötig sind, kann der Nutzer während eines Scans durch Anklicken eines Zielobjekts ein 3D-Annotationsbild erstellen. Das ist in der Regel die beste Methode, um klaren Text für eine spätere OCR oder die Erkennung von Bar- und QR-Codes zu erfassen.
Semantische Geometrie
Die semantische Geometrie extrahiert die bemaßte Geometrie und erkennt Objekte bereits während der Erfassung, sodass das Ergebnis eine 3D-CAD-Datei statt eines Meshes oder einer Punktwolke ist. Bei dieser Anlage wurde sie nicht eingesetzt, doch die Technologie entwickelt sich rasch weiter, wie Apples RoomPlan zeigt. Sie ist derzeit für Innenraumaufnahmen optimiert, wird aber für Außenbereiche und andere Inhaltstypen schnell besser.
NeRF (Neural Radiance Fields)
NeRF, kurz für Neural Radiance Fields, bezeichnet einen neuartigen Typ neuronaler Netzmodelle zur Synthese von 3D-Szenen. Der Ansatz ist nützlich, weil er hochdetaillierte, fotorealistische Darstellungen komplexer Szenen erzeugen kann. Allerdings ist die Dimensionalität schwach (d. h. zum Messen ist er nicht am besten geeignet, auch wenn es hier gute Fortschritte gibt), und er verursacht derzeit hohe Kosten bei Cloud-Rechenzeit und Aufwand. Diese Kosten ändern sich mit Workflows wie instant NGP rasch und dürften bald auf dem Niveau der Photogrammetrie liegen.
Gaussian Splatting oder Gaussian Splats
Gaussian Splatting ist, als würde man eine Menge Punkte nehmen und mit einem weichen Pinsel ineinander verwischen, damit das Bild glatter und weniger abgehackt wirkt. Es ist ein cleverer Kniff in der 3D-Grafik und anderen technischen Bereichen, um Lücken zu füllen und alles natürlicher aussehen zu lassen. Es ist deutlich kostengünstiger und schneller zu erzeugen als ein NeRF, lässt sich aber nicht zum Messen verwenden, da alle Informationen im Grunde nur auf eine 2D-Ebene projiziert werden. Das könnte sich ändern, denn es gibt gute Forschung zur Ausrichtung von Meshes und Splats.
Gaussian Splatting ist, als würde man mit einer digitalen Airbrush verstreute Punkte zu einem glatten Bild verschmelzen, ideal, damit 3D-Grafiken weniger blockig aussehen. NeRFs hingegen sind, als würde man einem Computer beibringen, aus gewöhnlichen Fotos extrem realistische 3D-Szenen zu erzeugen, die alle kleinen Details und Lichteffekte erfassen.
Digitaler Zwilling – synthetisch
Ein 3D-CAD- oder synthetischer digitaler Zwilling ist die sauberste visuelle Darstellung und funktioniert mit CAD-Software wie Revit usw. Er bildet zwar den Zustand nicht exakt ab, ist aber ein Format, mit dem viele Ingenieure wegen seiner Interoperabilität gern arbeiten. Dieses Ausgabeformat wird in der Regel nicht automatisch erzeugt, sondern meist von einem 3D-Ingenieur erstellt, der anhand einer Punktwolke oder eines Meshes die Anlage in einem CAD-Programm wie Revit, SketchUp oder Ähnlichem nachbildet. Die folgende Zeichnung gehört nicht zu dieser Anlage; sie ist im Zusammenhang mit den anderen Ausgabeformaten erwähnenswert, da sie im Workflow dieses Telekommunikationsunternehmens verwendet wird.
Fazit
Laan Labs konnte eine erfolgreiche Lösung umsetzen und einen stark angepassten Workflow entwickeln, mit einer lizenzierten Version der 3D Scanner App als Basis-Toolset. Das System arbeitet gut mit den anderen Erfassungsmethoden des Kunden zusammen, von Drohnen bis zu hochpräzisen LiDAR-Scannern. Bei Fragen zögern Sie nicht, sich unter labs@laan.com zu melden
Eingesetzte Technologien
Computer Vision, Neuronale Netze, Cloud-Dienste, NeRF, Gaussian Splatting
Zusammenarbeit mit Laan Labs
Gaussian Splatting & Radiance Fields
Fotorealistische 3D-Erfassung aus Fotos und Video, vom Erfassungsprotokoll über das Training bis zur Auslieferung im Browser oder auf einem Gerät.
Diesen Artikel herunterladen
Markdown-Quelltext zum Offline-Lesen herunterladen






