
Numérisation 3D de pièces en temps réel et capture de géométrie sémantique avec RoomPlan d'Apple
Contexte
Capturer les dimensions et la géométrie d'un espace avec un appareil mobile devient une tâche de plus en plus courante. Savoir comment les pièces et les espaces sont organisés, avec leurs dimensions, et ce qu'ils contiennent est utile pour tout, de l'immobilier à la conception, l'architecture, la construction, le commerce, et même le divertissement en AR/VR.
Les progrès des capteurs de profondeur des téléphones mobiles, comme le LiDAR, et des techniques de photogrammétrie ont fait de la capture des points dans l'espace d'une pièce, pour créer un nuage de points ou un maillage, une opération courante ces dernières années. Cependant, ce maillage 3D n'est pas une donnée structurée, et la géométrie doit en être extraite pour obtenir les éléments dimensionnels clés et les méta-informations sur les éléments capturés.
Maillage et géométrie sémantique
Dans les exemples ci-dessus, on voit que le maillage n'est pas structuré. En revanche, la géométrie sémantique a extrait les éléments dimensionnels clés et les méta-informations sur les éléments capturés.
Capture de géométrie sémantique
Classiquement, pour obtenir la géométrie et les mesures d'un espace, on réalisait d'abord une capture par maillage ou par nuage de points. Les informations étaient ensuite déterminées par divers algorithmes et techniques de ML. C'est un problème sur lequel Laan Labs (et beaucoup, beaucoup d'autres) travaillent.
Pourquoi la capture de la géométrie d'espaces 2D et 3D est-elle importante ?
- Espaces virtuels - La conception, la construction et d'autres processus reposent désormais sur des doubles numériques des espaces.
- Jeux / divertissement - Faire entrer une vraie pièce dans une expérience VR/AR exige que l'espace soit capturé avec précision. Ainsi, une table dans un jeu est une table dans la pièce.
- Immobilier - L'affichage de plans d'étage et de mesures ne fait pas partie de facto de ce secteur.
- Applications industrielles - La planification et la fabrication exigent une gestion des actifs d'agencement.
- Et bien d'autres…
CRÉDIT : @GregMadison
Comment procédait-on jusqu'ici ?
Approche par marquage en AR
Dans une session AR, l'utilisateur marque manuellement les angles le long du plan du sol pour créer les murs.
À gauche : Floor Plan App | À droite : CRÉDIT @pixelplacement
Numériser et tracer
La géométrie est extraite de façon semi-manuelle une fois la capture terminée, en extrayant une coupe en vue en plan. Le processus consiste à terminer les numérisations de chaque pièce, puis à les combiner dans une vue unique avec un alignement en partie manuel et en partie automatisé (ICP). La numérisation complète est ensuite vue du dessus pour tracer un plan d'étage par-dessus. Certaines géométries, comme les murs, peuvent être extraites automatiquement pour faciliter le processus.
Techniques de ML (machine learning)
Traitement dans le cloud, où des algorithmes de ML analysent automatiquement le maillage numérisé et en extraient des plans d'étage.
À gauche : plan d'étage 3D traité par ML | À droite : contour du plan d'étage d'une pièce obtenu par ML
L'arrivée de la capture de géométrie sémantique 3D en temps réel : RoomPlan d'Apple
La nouvelle fonctionnalité RoomPlan d'Apple introduit la capture de géométrie en temps réel pour les appareils LiDAR sous iOS 16. Cette approche par les « premiers principes » vise à créer une représentation géométrique d'un espace plutôt qu'à capturer des textures et des maillages. Découvrez le mode RoomPlan dans 3D Scanner App.
Le SDK RoomPlan permet de l'ajouter rapidement et facilement aux applications. Quelques belles démos :
À gauche : CRÉDIT Shopify (Russ Maschmeyer @StrangeNative) | À droite : CRÉDIT @planner5d
Le mode RoomPlan dans 3D Scanner App
Laan Labs était ravi d'ajouter un mode RoomPlan à 3D Scanner App pour compléter nos autres modes de capture : LiDAR, TrueDepth et photogrammétrie.
Nouvelles fonctionnalités :
- RoomPlan + texture - Avec 3D Scanner App, les géométries peuvent être texturées pour une meilleure représentation de l'espace
- Dimensions automatiques - Les mesures d'un espace peuvent être calculées automatiquement.
- Photos 360 - Grâce à la relocalisation, une fois la capture RoomPlan terminée, vous pouvez ajouter des photos 360 à une numérisation.
Il reste encore du chemin
Même si RoomPlan est très impressionnant, il reste (encore ?) très basique. Il s'agit évidemment d'une première version, et Apple dispose de moyens considérables et de développeurs talentueux, on peut donc s'attendre à des améliorations. Les principaux problèmes en septembre 2022 :
- Précision - Bien que très précis, il peut s'accrocher à des géométries qui introduisent des imprécisions, contrairement à une numérisation traditionnelle.
- Formes inhabituelles - RoomPlan fonctionne mieux sur des espaces carrés. Les plafonds voûtés et les pièces de forme inhabituelle peuvent poser problème.
- Informations générales seulement - pas les détails d'un plan d'étage typique, comme le sens d'ouverture des portes, etc.
- Hiérarchie et connexions entre objets - Les murs ne sont pas actuellement reliés de la façon dont fonctionnent les plans d'étage habituels.
À droite : crédit vid2cad
Conclusion
Globalement, les captures en temps réel comme RoomPlan ouvrent des perspectives formidables sur la façon dont les utilisateurs peuvent interagir avec les données 3D dans divers flux de travail. Si vous voulez voir comment les progrès de la capture de géométrie sémantique 3D, comme RoomPlan d'Apple, peuvent répondre à votre cas d'usage, n'hésitez pas à nous contacter.
Travailler avec Laan Labs
Informatique spatiale : développement AR, VR et casques
Des applications qui comprennent et restituent le monde physique, sur Apple Vision Pro, Meta Quest, Android XR, lunettes connectées, téléphones et le web.
Télécharger cet article
Récupérez la source Markdown pour le lire hors ligne






