
So bauen Sie einen günstigen* ARKit-Heimroboter
Der ARKit-Heimroboter in Aktion
Hier eine kurze Beschreibung der Schritte, um einen günstigen AR-Heimroboter zu bauen. „Günstig“ ist vielleicht etwas übertrieben, da zwei iDevices benötigt werden. Wenn Sie aber zufällig ein überzähliges ARKit-fähiges iPhone herumliegen haben, kostet Sie die Roboterbasis je nach Verfügbarkeit nur etwa 40,00 $.
Robotergehäuse
Wir haben die großartige Roboterbasis „Romo“ von Romotive verwendet. Sie stecken einfach Ihr iPhone in den Roboter und können ihn per Code steuern.
„Romo“-iPhone-Roboter von Romotive
Leider hat die Firma den Betrieb eingestellt, sodass man ihn nur noch gebraucht kaufen kann. Derzeit gibt es auf Amazon einige: Amazon-Suche nach „Romotive“. Ich hatte Glück und habe meinen für 35,00 $ gefunden. Wenn jemand eine Bezugsquelle für diese Roboter kennt, lasst es uns in den Kommentaren wissen!
Da ARKit visuelle Informationen der Kamera nutzt, um die Position des Telefons zu verfolgen, haben wir einen Holzrahmen gebaut, der das Telefon anhebt, damit es einen besseren Blick auf die Umgebung hat. Mit der unveränderten Romo-Basis kommen Sie wahrscheinlich auch zurecht, aber in Bereichen Ihres Zuhauses mit wenigen visuellen Merkmalen kann ARKit Schwierigkeiten beim Tracking haben.
Den Roboter steuern
Bevor Romotive den Betrieb einstellte, hat die Firma freundlicherweise den gesamten Quellcode für den Roboter veröffentlicht. Das Repository wurde hier von Foti Dim geforkt und gut gepflegt: https://github.com/fotiDim/Romo. Nachdem ich den SDK-Code heruntergeladen hatte, habe ich mit dem Xcode-Projekt „HelloRMCore“ begonnen. Folgen Sie den Anweisungen in diesem GitHub-Repository, um ein neues Projekt mit dem Romo SDK anzulegen.
ARKit und Navigation
Roboter fährt durch Augmented-Reality-Wegpunkte
Mit ARKit erhalten wir ein hervorragendes 3D-Positions-Tracking des Roboters. Allein das ist schon eine ziemlich coole Ergänzung für iPhone-basierte Roboter. Der Roboter könnte zum Beispiel durch Ihr Haus navigieren und dabei Hindernissen ausweichen. Leider weiß der Roboter nicht, wo in Ihrem Haus er sich befindet, sondern nur, dass er sich 3,2 Meter von seinem Startpunkt entfernt hat. Dieses Problem lässt sich lösen, indem man den Roboter in einer bekannten Karte lokalisiert. Mehrere Unternehmen sind entstanden, um genau dieses Problem zu lösen, oft als „AR Cloud“ bezeichnet. Mehr zur AR Cloud können Sie hier nachlesen.
Mit einem AR-Cloud-SDK zusammen mit ARKit können der Roboter und andere Geräte in Echtzeit ein gemeinsames Koordinatensystem nutzen. Das bedeutet, der Roboter kann verstehen, wo in Ihrem Haus er sich befindet, und diese Position an andere Telefone weitergeben (die ihre eigene Position in dieser Karte ebenfalls kennen). Mit AR können wir den Standort des Roboters anzeigen und sogar Wegpunkte einzeichnen, zu denen der Roboter navigieren soll.
Wie der Roboter die Welt sieht (nicht wirklich)
Zur Lokalisierung des Roboters haben wir das praktische Placenote SDK von vertical.ai verwendet. Der erste Schritt besteht darin, mit dem SDK eine Karte von zum Beispiel Ihrer Küche zu erstellen. Sobald eine Karte vorliegt, kann sich das Telefon auf dem Roboter in dieser Karte lokalisieren und seine Position an andere Geräte weitergeben, die dieselbe Karte geladen haben. Bei „Karte“ denken Sie vielleicht an Google Maps, wo Straßen und Häuser für Menschen übersichtlich beschriftet sind. Die Karte zum Abgleich der Positionen enthält aber keine Beschriftungen wie „Küche“ oder „hier ist eine Wand“. Das heißt nicht, dass Sie solche Beschriftungen nicht selbst zur AR-Karte hinzufügen können.
Der letzte Schritt ist die Kommunikation zwischen Roboter und Steuergerät per WLAN. Dafür gibt es viele fertige Lösungen, wir haben das „Multipeer Connectivity Framework“ unter iOS verwendet. Hier gibt es ein nettes Tutorial mit Beispielcode: https://www.ralfebert.de/ios-examples/networking/multipeer-connectivity/
Schließlich haben wir mit etwas SceneKit-Code die Wegpunkte und den Pfad des Roboters angezeigt.
Was es noch zu tun gibt
Auch wenn dies ein schnelles „Wochenend-Hackprojekt“ war, steckt viel Potenzial darin, eine günstige Roboterbasis mit der sich ständig verbessernden Technik in unseren Handys zu kombinieren. Bessere Sensoren, Fortschritte bei SLAM, Computer Vision und 5G ergeben zusammen viele interessante Anwendungsfälle.
Hier ein paar Ideen, die mit diesem Aufbau und etwas Programmierung durchaus machbar sind:
Einfache Hindernisvermeidung
Mit den 3D-Feature-Points von ARKit ein Voxelgitter erzeugen, das der Roboter zur Pfadplanung nutzt, um Objekten auszuweichen.
Automatische Erstellung von Hausgrundrissen
Der Roboter fährt frei durchs Haus und erstellt dabei einen schönen Grundriss samt zusammengesetzten Panoramen.
Ist der Ofen an?
Sobald wir einen semantisch gelabelten Hausgrundriss samt Standorten von Möbeln und Geräten haben, schicken wir den Roboter zum Ofen und lassen uns ein Foto per E-Mail zurückschicken (oder besser noch mit einem neuronalen Netz AN/AUS klassifizieren)
Gesichtserkennung + Personenverfolgung
Wer ist in Ihrem Zuhause? Wo sind die Personen? Stellen Sie sich eine Nest-Türklingel vor, die sich bewegen kann.
Haustiere im Tagesverlauf verfolgen
Der Roboter verfolgt Ihr Haustier den ganzen Tag und erstellt einen 3D-Pfadverlauf: Wohin geht die Katze, während ich auf der Arbeit bin?
Video-Telepräsenz + 2D-Hauskarte
Sehen Sie, was der Roboter sieht, navigieren Sie aber durch Ihr Zuhause, indem Sie auf einen 2D-Grundriss tippen, um den Raum zu wechseln.
Den Code der App finden Sie hier: https://github.com/laanlabs/HomeRobot, er ist aber noch in Arbeit. Melden Sie sich bei uns, falls bei der Einrichtung Probleme auftreten.
Zusammenarbeit mit Laan Labs
Spatial Computing: AR-, VR- & Headset-Entwicklung
Apps, die die physische Welt verstehen und darstellen, auf Apple Vision Pro, Meta Quest, Android XR, Smartglasses, Smartphones und im Web.
Diesen Artikel herunterladen
Markdown-Quelltext zum Offline-Lesen herunterladen


