
Planification de robots en réalité augmentée : numériser en 3D l'espace de travail réel
Une simulation de robot ne vaut que ce que vaut le modèle de la pièce dans laquelle elle s'exécute. Laan Labs a ajouté la numérisation 3D à un visualiseur de RA basé sur Unity, afin qu'un bras robotisé simulé puisse être placé dans une numérisation de l'espace de travail réel.
Enjeu métier
Les robots industriels sont planifiés en simulation. Un ingénieur agence la cellule, programme le bras et vérifie son mouvement dans un logiciel de bureau bien avant toute installation. Un visualiseur de réalité augmentée amène cette simulation sur site : le robot prévu s'affiche sur un téléphone ou une tablette, à l'échelle réelle, à l'endroit du sol où il sera installé.
Les robots travaillent dans des espaces restreints, au milieu d'autres équipements. Photo : Clemenspool, Wikimedia Commons, CC0. Présentée à titre d'illustration ; ne provient pas de ce projet.
Illustration : un visualiseur de RA montre le robot prévu à l'endroit où il sera installé
Ce qui manque généralement à la simulation, c'est le site lui-même. La colonne, le convoyeur, l'établi et le chemin de câbles sont soit absents du modèle, soit dessinés d'après d'anciens plans, et découvrir pendant l'installation que le bras ne peut pas atteindre sa cible, ou qu'il heurte quelque chose, coûte cher.
Une cellule réelle : convoyeurs, protections, marchandises empilées et une colonne, le tout à portée des robots. Photo : KUKA Roboter GmbH, Bachmann, Wikimedia Commons, domaine public. Présentée à titre d'illustration ; ne provient pas de ce projet.
Illustration : la cellule simulée et le site réel concordent rarement
Un fabricant de robots souhaitait combler cet écart au sein de sa propre application de visualisation en RA : permettre à la personne présente sur site de numériser l'environnement réel avec le même appareil, et d'intégrer cette numérisation à la simulation sous forme de géométrie.
Les exigences étaient précises :
| Exigence | Cible |
|---|---|
| Intégration | Une bibliothèque de numérisation 3D pouvant être intégrée à une application basée sur Unity |
| Appareils | iPhone et iPad dotés du LiDAR (iPhone 12 Pro, iPad Pro et modèles ultérieurs) |
| Sortie | Wavefront OBJ avec matériau MTL et texture |
| Environnement type | 6 m de large, 6 m de long, 3 m de haut |
| Résolution du maillage | Longueur d'arête des triangles d'environ 30 mm en moyenne |
| Précision d'échelle | À 1 % près : un mètre sur site mesure de 99 à 101 cm dans la numérisation |
Numérisez l'espace de travail réel avec l'appareil que vous avez déjà en main, puis planifiez-y le robot
Approche
Le visualiseur de RA du client est développé sous Unity. Laan Labs a fourni sa technologie de numérisation 3D mobile, la même que celle de 3D Scanner App, sous la forme d'un composant fonctionnant au sein d'une application Unity.
L'intégration couvre tout le chemin, de la capture à la géométrie exploitable :
- Capture. L'utilisateur parcourt la zone avec un iPhone ou un iPad. La profondeur LiDAR et les images de la caméra sont fusionnées en un maillage en temps réel, et le maillage s'affiche au fur et à mesure qu'il se construit, afin que l'utilisateur voie ce qui a déjà été couvert.
- Reconstruction sur l'appareil. La numérisation est traitée sur le téléphone ou la tablette. Rien n'est téléversé, ce qui est important dans les ateliers de production où les images des équipements sont confidentielles.
- Exportation. Le résultat est un maillage texturé au format OBJ avec son fichier de matériau MTL, à l'échelle réelle et dans le même repère que la session de RA, de sorte qu'il s'aligne sur ce que voit la caméra.
- Utilisation dans la simulation. L'espace de travail numérisé est chargé à côté du bras robotisé simulé, dans le visualiseur de RA et dans le logiciel de simulation de bureau, où il sert d'environnement par rapport auquel le robot est planifié.
Illustration : un espace de travail de 6 m sur 6 m capturé sous forme de géométrie 3D
Laan Labs a livré la technologie de numérisation sous la forme d'une bibliothèque en code source, accompagnée d'un exemple d'application Unity qui montre l'intégration de bout en bout, afin que les développeurs du client puissent l'intégrer à leur produit et la maintenir eux-mêmes.
Illustration : la numérisation chargée comme environnement autour du robot simulé
Valeur métier
Une fois l'environnement intégré à la simulation, des questions qui attendaient auparavant l'installation trouvent leur réponse dès la première visite du site :
- Est-ce que cela rentre ? Le robot, son socle et son enveloppe de travail sont vus par rapport à la surface réelle au sol, et non par rapport à un plan.
- Peut-il atteindre sa cible ? Les positions de prise et de dépose sur des établis et des convoyeurs réels sont vérifiées par rapport à la portée du bras.
- Qu'est-ce qui gêne ? Les colonnes, protections et équipements absents du modèle de CAO figurent dans la numérisation, ce qui permet de vérifier un mouvement prévu par rapport à eux.
- Tout le monde peut-il voir ? Les opérateurs, le personnel de sécurité et les clients regardent la même scène, sur site en RA ou à distance, avant toute commande.
Illustration : un mouvement prévu vérifié par rapport à l'environnement numérisé
Comme la numérisation se fait avec un téléphone ou une tablette, la capture s'intègre à une visite de site ordinaire et ne nécessite ni scanner laser ni équipe de géomètres.
Des cibles, pas des résultats d'essai
Les chiffres du tableau des exigences sont des cibles de conception. Cette étude de cas ne présente pas de résultats mesurés par rapport à ces cibles. Elles décrivent en outre trois choses différentes, qu'il ne faut pas confondre :
- La résolution du maillage (arêtes de triangle d'environ 30 mm) indique avec quelle finesse la surface est décrite. Elle dit quelle taille minimale d'un détail apparaît dans le maillage, pas quelle est la précision du maillage.
- La précision d'échelle (à 1 % près) indique si les distances dans la numérisation correspondent aux distances sur site. Sur une pièce de 6 m, 1 % autorise jusqu'à 6 cm.
- La précision des dégagements indique dans quelle mesure on peut se fier à un jeu signalé entre le robot et un obstacle. Elle dépend de l'échelle, de l'erreur de surface locale, de la résolution du maillage et de la qualité de l'alignement de la numérisation sur le socle du robot ; elle doit donc être validée séparément et ne découle pas des deux autres.
Le LiDAR des téléphones est généralement précis à environ un centimètre à l'échelle d'une pièce dans de bonnes conditions, ce qui convient aux études d'agencement et de portée ainsi qu'à une première vérification des dégagements. Lorsqu'un dégagement est serré, la marge doit être confirmée sur site. Une numérisation ne remplace ni l'étalonnage du robot, ni la métrologie lorsque des positions inférieures au millimètre sont exigées.
La suite
La même capture peut faire plus que fournir un environnement. Une étape suivante naturelle consiste à reconnaître automatiquement les bras robotisés et les autres équipements dans la numérisation, afin que les machines existantes soient identifiées et remplacées par leurs modèles exacts, au lieu de rester de la géométrie numérisée brute.
À propos de ce projet
Laan Labs concède sous licence sa technologie de capture 3D aux entreprises qui souhaitent intégrer la numérisation à leurs propres produits, sous forme de code source, de composants ou d'application complète. Découvrez la capture 3D et la concession de licences technologiques ainsi que la manière dont Laan Labs travaille avec la robotique et l'automatisation.
Pour parler d'un projet de robotique ou de numérisation, contactez-nous ou écrivez à labs@laan.com.
Technologies utilisées
LiDAR, ARKit, Unity, reconstruction 3D, réalité augmentée, export OBJ, traitement sur l'appareil
Travailler avec Laan Labs
Capture 3D et licences technologiques
Obtenez sous licence des pipelines éprouvés de numérisation 3D mobile, de photogrammétrie et de Gaussian Splatting, sous forme de SDK, de code source ou d’applications en marque blanche.
Télécharger cet article
Récupérez la source Markdown pour le lire hors ligne






