Aller au contenu principal
Étude de cas InfraTech comparant plusieurs technologies de visualisation et de reconstruction 3D - NeRF, splats, maillages et autres.

Étude de cas InfraTech comparant plusieurs technologies de visualisation et de reconstruction 3D - NeRF, splats, maillages et autres.

Aperçu du flux de travail utilisé pour capturer, avec des téléphones mobiles, diverses représentations 3D telles que les NeRF et les Gaussian Splats, afin de gérer des actifs InfraTech.

infrastructuregaussian-splattingnerf3d-scanning
Jason Laan
Jason Laan
19 février 2024

Enjeu métier

Un opérateur de télécommunications avait besoin d'une solution pour gérer ses actifs : pylônes de téléphonie mobile et postes de jonction de communication. La capture des sites devait se faire depuis un appareil mobile, pour des raisons de rentabilité et en raison des restrictions applicables aux drones en zone urbaine. La solution devait contribuer à :

  • La vérification des actifs
  • L'inventaire des composants
  • La documentation de l'état
  • La gestion des ordres de travail
Actif télécom 1Actif télécom 2

En bref : Laan Labs développe un flux de travail de capture et de rendu mobile qui aide un opérateur télécom à collecter les données de mesure dont il a besoin grâce à des maillages LiDAR, ainsi que l'information visuelle grâce à des annotations d'images, des photos 360 et des NeRF et du Gaussian Splatting.


Résumé

Un client de Laan Labs du secteur des infrastructures de télécommunications utilisait avec succès, dans ses processus métier de gestion des actifs sur le terrain, une version sous licence personnalisée de 3D Scanner App. Il faisait face à plusieurs défis majeurs que Laan Labs l'a aidé à surmonter en ajoutant des annotations photo aux numérisations : pendant la numérisation, l'utilisateur peut définir un point 3D et créer une annotation photo accompagnée de notes sur les principaux éléments de l'actif. Comme l'évaluation visuelle était une partie essentielle du processus, la capture de photos 360 a également été ajoutée au flux de travail. Puis, grâce aux progrès récents des NeRF (Neural Radiance Fields, ou champs de radiance neuronaux) et du Gaussian Splatting, ceux-ci ont été ajoutés comme résultats, afin que les utilisateurs à distance puissent mieux inspecter les actifs : ces technologies présentent certains avantages par rapport aux techniques de photogrammétrie traditionnelles pour restituer les surfaces réfléchissantes, les arrière-plans et les détails fins.


Approche

Laan Labs a travaillé avec le processus métier de l'opérateur pour développer un flux de travail de capture, de traitement des maillages sur l'appareil et de téléversement des jeux de données dans le cloud, en vue d'autres affichages de rendu et de la poursuite de la gestion des données. Un aperçu général du processus figure dans le flux de travail ci-dessous :

Schéma du flux de travail

L'approche générale consiste à ce que l'appareil iOS réalise une capture et crée un jeu de données de référence (« Ground Truth »). Ce jeu de données serait stocké dans le cloud afin de pouvoir aussi servir à retraiter les représentations 3D à mesure que les technologies progressent.

  • Jeu de photos - Images RVB avec données de pose
  • Données de profondeur, confiance LiDAR
  • Métadonnées - GPS, date, utilisateur, etc.
  • Annotations – images clés, notes de site, texte, codes-barres/codes QR, etc.
Utilisateur en train de numériser

Évaluation

Pour évaluer les différents résultats, des comparaisons ont été réalisées à partir d'un même jeu de données de capture, afin que chaque résultat puisse être utilisé pour ce à quoi il est le mieux adapté dans la gestion de l'actif.

TypesCritères
• Nuage de points
• Maillage - (sur l'appareil, post-traitement par photogrammétrie)
• Photo 360 / visite virtuelle
• Géométrie sémantique (p. ex. RoomPlan)
• NeRF
• Gaussian Splatting
• Jumeau numérique - synthétique
• Temps de traitement / coût
• Dimensionnalité (c'est-à-dire la possibilité de mesurer)
• Acuité visuelle
• Métriques de perte (images de validation)

Mise en œuvre des résultats

Nuage de points

Le rendu en nuage de points est un format que connaissent bien de nombreux professionnels du secteur, et l'information RVB offre un certain aperçu visuel des actifs capturés. Cette représentation est souvent préférée pour son esthétique et sa représentation de données « brutes » : aucun post-traitement ni synthèse de vue n'a déformé les données collectées. Elle convient bien pour gérer les caractéristiques dimensionnelles des actifs. Les images collectées pendant la capture peuvent être consultées pour obtenir des informations supplémentaires.

Vue du nuage de points

Maillage LiDAR

Un maillage traité à partir d'une capture est un bon résultat : il fournit la dimensionnalité de l'actif ainsi que sa forme et sa structure générales (pour mesurer, par exemple). Le processus de maillage peut souvent entraîner la perte de maillage sur les détails fins et gère mal les surfaces réfléchissantes. De plus, lors de la synthèse et du mélange des textures de surface, divers problèmes peuvent apparaître et déformer l'imagerie des textures, rendant impossible la lecture des détails fins et du texte.

Photogrammétrie

Création d'un maillage à partir des seules images RVB, sans l'aide d'aucune donnée de profondeur. Comme de nombreux appareils mobiles ne disposent pas de LiDAR ni d'information de profondeur équivalente, il s'agit d'une bonne méthode de repli, indépendante de l'appareil. Comme pour la capture par drone, il faut utiliser des repères pour obtenir une bonne échelle. Ce traitement est généralement effectué dans le cloud, et les captures LiDAR réalisées sur l'appareil peuvent être retraitées dans le cloud pour améliorer souvent la résolution des textures.

Résultat de photogrammétrie

Photo 360 / visite virtuelle / images annotées

Lorsque la plus grande fidélité visuelle est requise, on utilise des photos 360 et des images annotées. Les photos à 360 degrés sont créées en demandant à l'utilisateur de pivoter sur 360° depuis un point fixe pendant la capture. Ces images sont souvent utilisées dans les visites virtuelles. Lorsque des détails rapprochés sont nécessaires, l'utilisateur peut créer une image d'annotation 3D en cliquant sur un objet cible pendant une numérisation. C'est généralement la meilleure méthode pour capturer un texte net en vue d'une reconnaissance optique de caractères (OCR) ou d'une détection de codes-barres / codes QR.

Géométrie sémantique

La géométrie sémantique extrait la géométrie cotée et identifie les objets pendant la capture ; le résultat est un fichier CAO 3D plutôt qu'un maillage ou un nuage de points. Bien qu'elle n'ait pas été mise en œuvre sur cet actif, cette technologie progresse rapidement, comme le montre RoomPlan d'Apple. Elle est actuellement optimisée pour les captures d'intérieurs, mais progresse rapidement pour les extérieurs et d'autres types de contenus.

NeRF (Neural Radiance Fields)

NeRF, ou champs de radiance neuronaux, désigne un nouveau type de modèle fondé sur les réseaux de neurones pour la synthèse de scènes 3D. Cette approche est utile pour sa capacité à créer des rendus très détaillés et photoréalistes de scènes complexes. En revanche, sa dimensionnalité est faible (elle n'est pas la plus adaptée pour mesurer, même si les progrès sont bons sur ce point) et son coût actuel en temps de traitement et en dépenses dans le cloud est élevé. Ces coûts évoluent rapidement avec des flux de travail comme instant NGP et devraient bientôt être comparables à ceux de la photogrammétrie.

Gaussian Splatting ou Gaussian Splats

Le Gaussian Splatting revient à prendre un ensemble de points et à les fondre ensemble avec un pinceau doux pour rendre l'image plus lisse et moins saccadée. C'est une astuce astucieuse utilisée en infographie 3D et dans d'autres domaines techniques pour combler les vides et donner à l'ensemble un aspect plus naturel. Il est bien plus économique et plus rapide à produire qu'un NeRF, mais il ne permet pas de mesurer, car toute l'information est en réalité projetée sur un plan 2D. Cela pourrait changer, car des recherches prometteuses portent sur l'alignement des maillages et des splats.

Le Gaussian Splatting revient à utiliser un aérographe numérique pour fondre des points dispersés en une image lisse, idéal pour que les graphismes 3D paraissent moins anguleux. Les NeRF, eux, reviennent à apprendre à un ordinateur à créer des scènes 3D ultra-réalistes à partir de photos ordinaires, en capturant tous les moindres détails et effets de lumière.

Jumeau numérique - synthétique

Un jumeau numérique CAO 3D ou synthétique est la représentation visuelle la plus nette, et il fonctionne avec des logiciels de CAO comme Revit, etc. Bien qu'il ne reflète pas fidèlement l'état réel, c'est un format avec lequel de nombreux ingénieurs préfèrent travailler en raison de son interopérabilité. Ce résultat n'est généralement pas généré automatiquement : il suppose habituellement qu'un ingénieur 3D reprenne un nuage de points ou un maillage pour recréer l'actif dans un logiciel de CAO comme Revit, SketchUp ou équivalent. Le dessin ci-dessous n'était pas associé à cet actif ; il est important de le mentionner par rapport aux autres résultats, car il est utilisé dans le flux de travail de cet opérateur télécom.

Jumeau numérique CAO 3D

Conclusion

Laan Labs a pu mettre en œuvre une solution réussie en développant un flux de travail très personnalisé, avec une version sous licence de 3D Scanner App comme boîte à outils de base. Le système fonctionne bien avec les autres méthodes de collecte du client, qu'il s'agisse de drones ou de scanners LiDAR de haute précision. Pour toute question, n'hésitez pas à nous contacter à labs@laan.com

Technologies utilisées

Vision par ordinateur, réseaux de neurones, services cloud, NeRF, Gaussian Splatting

Travailler avec Laan Labs

Gaussian Splatting et champs de radiance

Une capture 3D photoréaliste à partir de photos et de vidéos, du protocole de capture à l’entraînement, puis à la diffusion dans un navigateur ou sur un appareil.

Télécharger cet article

Récupérez la source Markdown pour le lire hors ligne