
3D-Raumscanning in Echtzeit und semantische Geometrieerfassung mit Apples RoomPlan
Hintergrund
Die Maße und die Geometrie eines Raums mit einem mobilen Gerät zu erfassen, wird zu einer immer häufigeren Aufgabe. Zu wissen, wie Räume mit ihren Abmessungen aufgebaut sind und was sie enthalten, ist nützlich für alles von Immobilien, Design, Architektur und Bau über Shopping bis hin zu AR/VR-Unterhaltung.
Fortschritte bei den Tiefensensoren in Mobiltelefonen, wie LiDAR, und bei photogrammetrischen Verfahren haben es in den letzten Jahren zu einem Routinevorgang gemacht, die Punkte eines Raums im Raum zu erfassen und daraus eine Punktwolke oder ein Mesh zu erstellen. Dieses 3D-Mesh ist jedoch keine strukturierte Datenmenge, und die Geometrie muss erst in Form wichtiger Maßelemente und Metainformationen zu den erfassten Elementen extrahiert werden.
Mesh vs. semantische Geometrie
In den obigen Beispielen sehen wir, dass das Mesh unstrukturiert ist. Die semantische Geometrie dagegen hat wichtige Maßelemente und Metainformationen zu den erfassten Elementen extrahiert.
Erfassung semantischer Geometrie
Um Geometrie und Maße eines Raums zu erhalten, wurde typischerweise zuerst ein Mesh oder eine Punktwolke erfasst. Anschließend wurden die Informationen mit verschiedenen Algorithmen und ML-Techniken ermittelt. Ein Problem, an dem Laan Labs (und sehr, sehr viele andere) gearbeitet haben.
Warum ist die Erfassung der 2D- und 3D-Raumgeometrie wichtig?
- Virtuelle Räume - Design, Bau und andere Prozesse stützen sich inzwischen auf digitale Doppelgänger von Räumen.
- Gaming / Unterhaltung - Einen echten Raum in ein VR-/AR-Erlebnis zu holen, erfordert, dass der Raum genau erfasst wird. So ist ein Tisch im Spiel ein Tisch im Raum.
- Immobilien - Grundrisse und Maße zu zeigen ist in dieser Branche längst selbstverständlich.
- Industrielle Anwendungen - Planung und Fertigung erfordern ein Management von Layout-Assets.
- Und viele mehr…
QUELLE: @GregMadison
Wie wurde das bisher gemacht?
AR-Tagging-Ansatz
In einer AR-Sitzung markiert ein Nutzer manuell Ecken entlang der Bodenebene, um Wände zu erzeugen.
Links: Floor Plan App | Rechts: QUELLE @pixelplacement
Scannen und Nachzeichnen
Die Geometrie wird nach Abschluss einer Aufnahme halbmanuell extrahiert, indem ein Schnitt in der Draufsicht erstellt wird. Dabei werden zunächst die Scans einzelner Räume abgeschlossen und dann mit manueller und automatisierter Ausrichtung (ICP) in einer einzigen Ansicht zusammengeführt. Anschließend wird der vollständige Scan von oben betrachtet, um darüber einen Grundriss nachzuzeichnen. Einige Geometrien wie Wände lassen sich automatisch extrahieren, um den Prozess zu unterstützen.
ML-Techniken (Machine Learning)
Cloud-Verarbeitung, bei der ML-Algorithmen das gescannte Mesh automatisch analysieren und Grundrisse extrahieren.
Links: per ML verarbeiteter 3D-Grundriss | Rechts: per ML erzeugte Raumkontur
Echtzeit-Erfassung semantischer 3D-Geometrie: Apples RoomPlan
Apples neue Funktion RoomPlan bringt in iOS 16 die Geometrieerfassung in Echtzeit auf LiDAR-Geräte. Dieser „First-Principles“-Ansatz zielt darauf ab, eine geometrische Darstellung eines Raums zu erzeugen, statt Texturen und Meshes zu erfassen. Probieren Sie den RoomPlan-Modus in 3D Scanner App aus.
Das RoomPlan SDK macht es leicht, die Funktion schnell in Apps einzubauen. Einige großartige Demos:
Links: QUELLE Shopify (Russ Maschmeyer @StrangeNative) | Rechts: QUELLE @planner5d
RoomPlan-Modus in 3D Scanner App
Laan Labs war begeistert, 3D Scanner App um einen RoomPlan-Modus zu erweitern, der unsere anderen Erfassungsmodi LiDAR, TrueDepth und Photogrammetrie ergänzt.
Neue Funktionen:
- RoomPlan + Textur - In 3D Scanner App lassen sich die Geometrien texturieren, um den Raum besser darzustellen
- Automatische Abmessungen - Die Maße eines Raums können automatisch berechnet werden.
- 360-Fotos - Mit Relokalisierung können Sie nach Abschluss einer RoomPlan-Aufnahme 360-Fotos zu einem Scan hinzufügen.
Noch ein weiter Weg
RoomPlan ist zwar sehr beeindruckend, aber (noch?) sehr einfach. Es ist offensichtlich die erste Version, und Apple verfügt über große Ressourcen und talentierte Entwickler, sodass man mit Verbesserungen rechnen kann. Die wichtigsten Probleme Stand September 2022:
- Genauigkeit - Obwohl sehr genau, kann es Geometrie aufgreifen, die im Vergleich zu einem herkömmlichen Scan Ungenauigkeiten verursacht.
- Ungewöhnliche Formen - RoomPlan funktioniert am besten in rechteckigen Räumen. Gewölbte Decken und ungewöhnlich geformte Räume können Probleme verursachen.
- Nur allgemeine Informationen - Details, wie sie in einem typischen Grundriss stehen, etwa Türanschläge, fehlen
- Objekthierarchie und Verbindungen - Wände sind derzeit nicht so verbunden, wie es bei typischen Grundrissen üblich ist.
Rechts: Quelle vid2cad
Fazit
Insgesamt eröffnet Echtzeit-Erfassung wie RoomPlan erstaunliche Möglichkeiten dafür, wie Nutzer in verschiedenen Workflows mit 3D-Daten interagieren können. Wenn Sie sehen möchten, wie Fortschritte bei der Erfassung semantischer 3D-Geometrie wie Apples RoomPlan bei Ihrem Anwendungsfall helfen können, kontaktieren Sie uns gern.
Zusammenarbeit mit Laan Labs
Spatial Computing: AR-, VR- & Headset-Entwicklung
Apps, die die physische Welt verstehen und darstellen, auf Apple Vision Pro, Meta Quest, Android XR, Smartglasses, Smartphones und im Web.
Diesen Artikel herunterladen
Markdown-Quelltext zum Offline-Lesen herunterladen






