Zum Hauptinhalt springen
Roboterplanung in Augmented Reality: Den realen Arbeitsbereich per 3D-Scan erfassen

Roboterplanung in Augmented Reality: Den realen Arbeitsbereich per 3D-Scan erfassen

Eine Robotersimulation ist nur so gut wie das Modell des Raums, in dem sie läuft. Laan Labs hat einen Unity-basierten AR-Viewer um 3D-Scanning erweitert, sodass ein simulierter Roboterarm in einen Scan des realen Arbeitsbereichs platziert werden kann.

roboticsaugmented-reality3d-scanningunity
Jason Laan
Jason Laan
11. Dezember 2024

Geschäftliche Herausforderung

Industrieroboter werden in der Simulation geplant. Ein Ingenieur legt die Zelle aus, programmiert den Arm und prüft seine Bewegung in Desktop-Software, lange bevor etwas installiert wird. Ein Augmented-Reality- Viewer bringt diese Simulation an den Einsatzort: Der geplante Roboter wird auf einem Smartphone oder Tablet in Originalgröße auf dem Boden gezeigt, auf dem er später stehen wird.

Industrieroboterarme arbeiten entlang einer Montagelinie

Roboter arbeiten auf engem Raum zwischen anderen Anlagen. Foto: Clemenspool, Wikimedia Commons, CC0. Zur Veranschaulichung gezeigt; nicht aus diesem Projekt.

Ein Smartphone zeigt einen simulierten Roboterarm an seinem Platz in einem realen Raum

Illustration: Ein AR-Viewer zeigt den geplanten Roboter dort, wo er stehen wird

Der Simulation fehlt meist der Einsatzort selbst. Die Säule, das Förderband, die Werkbank und die Kabeltrasse fehlen entweder im Modell oder sind nach alten Plänen gezeichnet, und erst bei der Installation festzustellen, dass der Arm nicht heranreicht oder irgendwo anstößt, ist teuer.

Eine Palettierzelle mit zwei Roboterarmen, Förderbändern, Schutzeinrichtungen und einer Gebäudesäule

Eine reale Zelle: Förderbänder, Schutzeinrichtungen, gestapelte Waren und eine Säule, alles in Reichweite der Roboter. Foto: KUKA Roboter GmbH, Bachmann, Wikimedia Commons, public domain. Zur Veranschaulichung gezeigt; nicht aus diesem Projekt.

Die simulierte Zelle neben einem Scan des realen Einsatzorts, der eine Säule enthält, die im Modell fehlt

Illustration: Die simulierte Zelle und der reale Einsatzort stimmen selten überein

Ein Roboterhersteller wollte diese Lücke in seiner eigenen AR-Viewer-App schließen: Die Person vor Ort sollte die reale Umgebung mit demselben Gerät scannen und diesen Scan als Geometrie in die Simulation übernehmen können.

Die Anforderungen waren konkret:

AnforderungZielwert
IntegrationEine 3D-Scanning-Bibliothek, die sich in eine Unity-basierte App einbauen lässt
GeräteiPhone und iPad mit LiDAR (iPhone 12 Pro, iPad Pro und neuer)
AusgabeWavefront OBJ mit MTL-Material und Textur
Typische Umgebung6 m breit, 6 m lang, 3 m hoch
Mesh-AuflösungDreieckskantenlänge von durchschnittlich etwa 30 mm
MaßstabsgenauigkeitInnerhalb von 1 %: ein Meter vor Ort misst im Scan 99 bis 101 cm

Den realen Arbeitsbereich mit dem Gerät scannen, das man ohnehin in der Hand hat, und darin den Roboter planen


Vorgehen

Der AR-Viewer des Kunden ist in Unity gebaut. Laan Labs stellte seine mobile 3D-Scanning-Technologie, dieselbe Technologie wie in der 3D Scanner App, als Komponente bereit, die innerhalb einer Unity-Anwendung funktioniert.

Die Integration deckt den gesamten Weg von der Erfassung bis zur nutzbaren Geometrie ab:

  • Erfassung. Der Nutzer geht den Bereich mit einem iPhone oder iPad ab. LiDAR-Tiefendaten und Kamerabilder werden in Echtzeit zu einem Mesh verschmolzen, und das Mesh wird beim Wachsen angezeigt, sodass der Nutzer sehen kann, was bereits erfasst ist.
  • Rekonstruktion auf dem Gerät. Der Scan wird auf dem Smartphone oder Tablet verarbeitet. Es wird nichts hochgeladen, was in Fabrikhallen wichtig ist, wo Bilder von Produktionsanlagen vertraulich sind.
  • Export. Das Ergebnis ist ein texturiertes Mesh im OBJ-Format mit seiner MTL-Materialdatei, in echtem Maßstab und im selben Koordinatensystem wie die AR-Sitzung, sodass es mit dem übereinstimmt, was die Kamera sieht.
  • Einsatz in der Simulation. Der gescannte Arbeitsbereich wird neben dem simulierten Roboterarm geladen, sowohl im AR-Viewer als auch in der Desktop-Simulationssoftware, wo er als Umgebung dient, gegen die der Roboter geplant wird.
Ein gescannter Arbeitsbereich: Boden, Wände, eine Säule, ein Förderband und eine Werkbank

Illustration: Ein Arbeitsbereich von 6 m mal 6 m, als 3D-Geometrie erfasst

Laan Labs lieferte die Scanning-Technologie als Quellcode-Bibliothek zusammen mit einer Unity-Beispiel-App, die die Integration durchgängig zeigt, sodass die Entwickler des Kunden sie in ihr Produkt einbauen und selbst pflegen konnten.

Simulationssoftware mit einem Scan als Umgebung um einen simulierten Roboterarm

Illustration: Der Scan, geladen als Umgebung um den simulierten Roboter

Geschäftlicher Nutzen

Mit der Umgebung in der Simulation lassen sich Fragen, die bisher bis zur Installation warten mussten, schon beim ersten Besuch vor Ort beantworten:

  • Passt er hin? Der Roboter, sein Sockel und sein Arbeitsraum werden vor dem realen Hallenboden gesehen und nicht vor einer Zeichnung.
  • Kommt er heran? Greif- und Ablagepositionen an realen Werkbänken und Förderbändern werden an der Reichweite des Arms geprüft.
  • Was steht im Weg? Säulen, Schutzeinrichtungen und Anlagen, die nicht im CAD-Modell enthalten sind, sind im Scan vorhanden, sodass eine geplante Bewegung daran geprüft werden kann.
  • Kann es jeder sehen? Bediener, Sicherheitspersonal und Kunden sehen dieselbe Szene, vor Ort in AR oder aus der Ferne, bevor etwas bestellt wird.
Eine geplante Bewegung, am Scan geprüft, mit hervorgehobener Kollision an einer Säule

Illustration: Eine geplante Bewegung, an der gescannten Umgebung geprüft

Da der Scan mit einem Smartphone oder Tablet erstellt wird, ist die Erfassung Teil eines gewöhnlichen Besuchs vor Ort und erfordert weder einen Laserscanner noch ein Vermessungsteam.

Zielwerte, keine Testergebnisse

Die Zahlen in der Anforderungstabelle sind Entwurfsziele. Diese Fallstudie berichtet keine gemessenen Ergebnisse dazu. Außerdem beschreiben sie drei verschiedene Dinge, die nicht als eines gelesen werden sollten:

  • Mesh-Auflösung (Dreieckskanten von etwa 30 mm) beschreibt, wie fein die Oberfläche abgebildet wird. Sie sagt, wie kleine Merkmale im Mesh noch erscheinen, nicht, wie genau das Mesh ist.
  • Maßstabsgenauigkeit (innerhalb von 1 %) besagt, ob Abstände im Scan mit Abständen vor Ort übereinstimmen. Über einen Raum von 6 m erlaubt 1 % bis zu 6 cm.
  • Abstandsgenauigkeit gibt an, wie weit man einem angegebenen Abstand zwischen Roboter und Hindernis vertrauen kann. Sie hängt vom Maßstab, vom lokalen Oberflächenfehler, von der Mesh-Auflösung und davon ab, wie gut der Scan an der Basis des Roboters ausgerichtet ist. Sie muss daher gesondert validiert werden und ergibt sich nicht aus den beiden anderen.

LiDAR im Smartphone ist im Raummaßstab unter guten Bedingungen im Allgemeinen auf etwa einen Zentimeter genau, was für Layout- und Reichweitenstudien sowie eine erste Prüfung der Abstände geeignet ist. Wo ein Abstand knapp ist, sollte die Reserve vor Ort bestätigt werden. Ein Scan ersetzt weder die Roboterkalibrierung noch Messtechnik, wo Positionen im Submillimeterbereich erforderlich sind.

Wie es weitergeht

Dieselbe Erfassung kann mehr leisten, als nur eine Umgebung zu liefern. Ein naheliegender nächster Schritt ist die automatische Erkennung von Roboter- armen und anderen Anlagen im Scan, sodass vorhandene Maschinen identifiziert und durch ihre exakten Modelle ersetzt werden, statt als rohe gescannte Geometrie zu verbleiben.

Über dieses Projekt

Laan Labs lizenziert seine 3D-Erfassungstechnologie an Unternehmen, die Scanning in ihren eigenen Produkten wünschen, als Quellcode, als Komponenten oder als vollständige App. Lesen Sie mehr zu 3D-Erfassung und Technologielizenzierung und dazu, wie Laan Labs mit Robotik und Automatisierung arbeitet.

Um über ein Robotik- oder Scanning-Projekt zu sprechen, kontaktieren Sie uns oder schreiben Sie an labs@laan.com.

Eingesetzte Technologien

LiDAR, ARKit, Unity, 3D-Rekonstruktion, Augmented Reality, OBJ-Export, Verarbeitung auf dem Gerät

Zusammenarbeit mit Laan Labs

3D-Erfassung & Technologielizenzierung

Lizenzieren Sie bewährte mobile 3D-Scanning-, Photogrammetrie- und Gaussian-Splatting-Pipelines als SDKs, Quellcode oder White-Label-Apps.

Diesen Artikel herunterladen

Markdown-Quelltext zum Offline-Lesen herunterladen