
Comment fabriquer un robot domestique ARKit pas cher*
Le robot domestique ARKit en action
Voici un court compte rendu des étapes pour fabriquer un robot domestique AR pas cher. « Pas cher » est peut-être exagéré, puisqu'il faut deux appareils iOS. Mais si vous avez par hasard un iPhone compatible ARKit qui traîne, la base du robot ne vous coûtera qu'environ 40 $, selon la disponibilité.
Le châssis du robot
Nous avons utilisé l'excellente base robotique « Romo » de Romotive. Il suffit de brancher votre iPhone sur le robot, et vous pouvez le piloter par code.
Le robot pour iPhone « Romo » de Romotive
Malheureusement, l'entreprise a fermé, et le seul moyen d'en obtenir un est de l'acheter d'occasion. Il y en a quelques-uns sur Amazon en ce moment : recherche Amazon pour « Romotive ». J'ai eu de la chance et j'ai trouvé le mien pour 35 $. Si quelqu'un connaît une source pour ces robots, dites-le-nous dans les commentaires !
Comme ARKit utilise les informations visuelles de la caméra pour suivre la position du téléphone, nous avons construit un support en bois pour surélever le téléphone afin qu'il ait une meilleure vue de l'environnement. Vous pouvez probablement vous en sortir avec la base Romo non modifiée, mais dans les zones de votre domicile pauvres en caractéristiques visuelles, ARKit risque d'avoir du mal à suivre le mouvement.
Piloter le robot
Avant de fermer, Romotive a gentiment publié tout le code source de son robot. Le dépôt a été forké et bien maintenu ici https://github.com/fotiDim/Romo par Foti Dim. Après avoir téléchargé le code du SDK, j'ai commencé avec le projet xcode « HelloRMCore ». Suivez les instructions de ce dépôt github pour créer un nouveau projet utilisant le SDK Romo.
ARKit et navigation
Le robot parcourant des points de passage en réalité augmentée
Avec ARKit, nous obtenons un suivi de position 3D remarquable du robot. Cela seul constitue déjà un ajout assez sympa pour les robots à base d'iPhone. Par exemple, le robot pourrait se déplacer dans votre maison en évitant les obstacles. Malheureusement, le robot ne sait pas où il se trouve dans votre maison, seulement qu'il s'est déplacé de 3,2 mètres depuis son point de départ. Ce problème se résout en localisant le robot dans une carte connue. Plusieurs entreprises sont apparues pour résoudre précisément ce problème, souvent désigné sous le nom d'« AR Cloud ». Vous pouvez en savoir plus sur l'AR Cloud ici.
Avec un SDK d'AR Cloud associé à ARKit, le robot et d'autres appareils peuvent partager en temps réel un même système de coordonnées. Concrètement, le robot peut comprendre où il se trouve dans votre maison et communiquer cette position à d'autres téléphones (qui connaissent aussi leur propre position dans cette carte). Grâce à la réalité augmentée, nous pouvons afficher l'emplacement du robot, et même tracer des points de passage vers lesquels il doit naviguer.
Comment le robot voit le monde (enfin, pas vraiment)
Pour localiser le robot, nous avons utilisé le sympathique SDK Placenote de vertical.ai. La première étape consiste à utiliser le SDK pour créer une carte, disons de votre cuisine. Une fois la carte créée, le téléphone placé sur le robot peut se localiser sur cette carte et communiquer sa position aux autres appareils qui ont chargé la même carte. « Carte » peut faire penser à Google Maps, où rues et maisons sont joliment étiquetées pour être lues par des humains. Mais la carte utilisée pour synchroniser les positions ne contient aucune étiquette comme « cuisine » ou « mur ici ». Cela ne veut pas dire que vous ne pouvez pas ajouter vous-même ces étiquettes à la carte AR.
La dernière étape consiste à faire communiquer le robot et la télécommande par WiFi. Il existe de nombreuses solutions toutes faites pour cela, mais nous avons utilisé le « Multipeer Connectivity framework » d'iOS. Voici un bon tutoriel avec un exemple de code : https://www.ralfebert.de/ios-examples/networking/multipeer-connectivity/
Enfin, un peu de code SceneKit a servi à afficher les points de passage et la trajectoire du robot.
À explorer
Même s'il s'agissait d'un rapide « projet bricolé en un week-end », il y a énormément de potentiel à combiner une base robotique bon marché avec la technologie toujours plus performante de nos téléphones. De meilleurs capteurs, les progrès du SLAM, la vision par ordinateur et la 5G se combinent pour ouvrir de nombreux cas d'usage intéressants.
Voici quelques idées tout à fait réalisables avec ce dispositif et un peu de code :
Évitement d'obstacles de base
À l'aide des points caractéristiques 3D d'ARKit, créer une grille de voxels que le robot peut utiliser pour planifier ses trajets tout en évitant les objets.
Création automatique du plan d'étage de la maison
Laisser le robot circuler librement tout en créant un joli plan d'étage de la maison, avec panoramas assemblés.
Le four est-il allumé ?
Une fois que nous disposons d'un plan d'étage de la maison annoté sémantiquement, avec l'emplacement des meubles et des appareils, dire au robot d'aller au four et de renvoyer une photo par e-mail (ou mieux, de classer ALLUMÉ/ÉTEINT avec un réseau de neurones)
Reconnaissance faciale + suivi de personnes
Qui est chez vous ? Où sont-ils ? Pensez à une sonnette Nest, mais capable de se déplacer.
Suivi d'un animal domestique tout au long de la journée
Régler le robot pour suivre votre animal tout au long de la journée et créer un historique de trajectoire 3D : où va ce chat pendant que je suis au travail ?
Télé-présence vidéo + plan 2D de la maison
Voir ce que voit le robot, mais naviguer dans la maison en touchant un plan d'étage 2D pour changer de pièce.
Le code de l'application est ici : https://github.com/laanlabs/HomeRobot, mais c'est un travail en cours ; dites-nous si vous rencontrez des problèmes lors de l'installation.
Travailler avec Laan Labs
Informatique spatiale : développement AR, VR et casques
Des applications qui comprennent et restituent le monde physique, sur Apple Vision Pro, Meta Quest, Android XR, lunettes connectées, téléphones et le web.
Télécharger cet article
Récupérez la source Markdown pour le lire hors ligne


