
Caso práctico de InfraTech: comparación de varias tecnologías de visualización y reconstrucción 3D (NeRF, splats, mallas y más)
Descripción general del flujo de trabajo con el que se usan teléfonos móviles para capturar y crear diversas representaciones 3D, como NeRF y splats gaussianos, para la gestión de activos de InfraTech.
Desafío de negocio
Una empresa de telecomunicaciones necesitaba una solución para gestionar los activos de torres de telefonía celular y de estaciones de empalme de comunicaciones. La captura del sitio debía hacerse desde un dispositivo móvil, por rentabilidad y por las restricciones al uso de drones en zonas urbanas. La solución debía servir de apoyo en:
- Verificación de activos
- Inventario de componentes
- Documentación del estado
- Gestión de órdenes de trabajo
Resumen: Laan Labs desarrolla un flujo de trabajo de captura y renderizado móvil que ayuda a una organización de telecomunicaciones a recopilar los datos de medición que necesita mediante mallas LiDAR, y la información visual mediante anotaciones en imágenes, fotos 360, NeRF y Gaussian Splatting.
Resumen
Un cliente de Laan Labs del sector de la infraestructura de telecomunicaciones venía utilizando con éxito una versión personalizada con licencia de 3D Scanner App en sus procesos de negocio para la gestión de activos en campo. Tenía varios desafíos importantes que Laan Labs le ayudó a superar añadiendo anotaciones fotográficas a los escaneos: durante el proceso de escaneo, el usuario puede definir un punto 3D y hacer una anotación fotográfica con notas sobre las partes clave del activo. Como la evaluación visual era una parte fundamental del proceso, también se añadió al flujo de trabajo la captura de fotos 360. Después, con las recientes mejoras de los NeRF (campos de radiancia neuronales, Neural Radiance Fields) y del Gaussian Splatting, se añadieron como resultados para que los usuarios remotos pudieran inspeccionar mejor los activos, ya que estas tecnologías mejoran las técnicas fotogramétricas tradicionales a la hora de mostrar superficies reflectantes, fondos y detalles finos.
Enfoque
Laan Labs trabajó con el proceso de negocio de la empresa de telecomunicaciones para desarrollar un flujo de trabajo de captura, procesamiento de mallas en el dispositivo y carga de los conjuntos de datos a la nube para otras visualizaciones de renderizado, con el fin de continuar con la gestión de datos. En el siguiente flujo de trabajo puede verse una descripción general del proceso:
El enfoque general consistía en que el dispositivo iOS completara una captura y creara un conjunto de datos de referencia («Ground Truth»). Este conjunto de datos se almacenaría en la nube, de modo que también pudiera usarse para reprocesar las representaciones 3D a medida que mejoren las tecnologías.
- Conjunto de fotos: imágenes RGB con datos de pose
- Datos de profundidad, confianza LiDAR
- Metainformación: GPS, fecha, usuario, etc.
- Anotaciones: imágenes clave, notas del sitio, texto, códigos de barras/QR, etc.
Evaluación
Para evaluar los distintos resultados, se realizaron comparaciones con el mismo conjunto de datos de captura, de modo que cada resultado pudiera usarse para aquello para lo que resultaba más adecuado en la gestión del activo.
| Tipos | Métricas |
|---|---|
| • Nube de puntos • Malla (en el dispositivo, posprocesamiento fotogramétrico) • Foto 360 / recorrido virtual • Geometría semántica (p. ej., RoomPlan) • NeRF • Gaussian Splatting • Gemelo digital sintético | • Tiempo y costo de procesamiento • Dimensionalidad (es decir, si se puede medir) • Agudeza visual • Métricas de pérdida (imágenes de reserva) |
Implementación de los resultados
Nube de puntos
El renderizado de puntos 3D como nube de puntos es un formato con el que muchos profesionales del sector están familiarizados, y la información RGB aporta cierta visión de los activos capturados. Esta representación suele preferirse por su estética y su carácter de datos «en bruto»: ningún posprocesamiento ni síntesis de vistas ha distorsionado los datos recopilados. Es una buena representación para gestionar las características dimensionales de los activos. Las imágenes recopiladas durante la captura pueden consultarse para obtener información adicional.
Malla LiDAR
Una malla procesada a partir de una captura es un buen resultado que aporta la dimensionalidad del activo junto con su forma y estructura generales (por ejemplo, para medir). El proceso de mallado suele provocar la pérdida de malla en los detalles finos y no maneja bien las superficies reflectantes. Además, al sintetizar y combinar texturas de superficie pueden surgir diversos problemas que distorsionan la imagen de la textura e impiden leer detalles finos y texto.
Fotogrametría
Consiste en crear una malla únicamente a partir de imágenes RGB, sin ayuda de datos de profundidad. Como muchos dispositivos móviles no disponen de LiDAR ni de información de profundidad similar, es un buen método alternativo, independiente del dispositivo. Al igual que en la captura con drones, para obtener una buena escala hay que utilizar marcadores. Este procesamiento suele hacerse en la nube, y las capturas LiDAR realizadas en el dispositivo pueden posprocesarse en la nube para mejorar a menudo la resolución de las texturas.
Foto 360 / recorrido virtual / imágenes anotadas
Cuando se requiere la máxima fidelidad visual, se utilizan fotos 360 e imágenes anotadas. Las fotos de 360 grados se crean pidiendo al usuario que gire en un arco de 360 grados desde un único punto durante el proceso de captura. Estas imágenes se utilizan a menudo en recorridos virtuales. Cuando se necesitan detalles de cerca, el usuario puede crear una imagen de anotación 3D haciendo clic en un objeto de interés durante un escaneo. Suele ser el mejor método para capturar texto nítido destinado a un posterior OCR o a la detección de códigos de barras o QR.
Geometría semántica
La geometría semántica extrae la geometría acotada e identifica objetos durante la captura, de modo que el resultado es un archivo CAD 3D en lugar de una malla o una nube de puntos. Aunque no se implementó en este activo, es una tecnología que mejora con rapidez, como demuestra RoomPlan de Apple. Actualmente está optimizada para capturas de interiores, pero mejora deprisa para exteriores y otros tipos de contenido.
NeRF (campos de radiancia neuronales)
NeRF, o campos de radiancia neuronales (Neural Radiance Fields), designa un nuevo tipo de modelo basado en redes neuronales para sintetizar escenas 3D. Este enfoque es útil por su capacidad para crear renderizados muy detallados y fotorrealistas de escenas complejas. Sin embargo, tiene una dimensionalidad deficiente (es decir, no es lo mejor para medir, aunque se avanza bien en este sentido) y actualmente tiene un costo elevado en tiempo de procesamiento en la nube y en gasto. Estos costos están cambiando rápidamente con flujos de trabajo como instant NGP y pronto deberían equipararse a los de la fotogrametría.
Gaussian Splatting o splats gaussianos
El Gaussian Splatting es como tomar un montón de puntos y difuminarlos entre sí con un pincel suave para que la imagen resulte más homogénea y menos entrecortada. Es un truco muy útil en los gráficos 3D y en otras tecnologías para rellenar los huecos y lograr que todo se vea más natural. Es mucho más económico y rápido de producir que un NeRF, pero no puede usarse para medir, porque toda la información se proyecta en realidad sobre un plano 2D. Esto podría cambiar, ya que hay buenas investigaciones sobre la alineación de mallas y splats.
El Gaussian Splatting es como usar un aerógrafo digital para fundir puntos dispersos en una imagen suave, ideal para que los gráficos 3D se vean menos angulosos. Los NeRF, en cambio, son como enseñar a un ordenador a crear escenas 3D superrealistas a partir de fotos normales, capturando todos los pequeños detalles y efectos de iluminación.
Gemelo digital sintético
Un gemelo digital sintético o CAD 3D es la representación visual más limpia y funciona con software CAD como Revit, etc. Aunque no refleja con exactitud el estado real, es un formato con el que muchos ingenieros prefieren trabajar por su interoperabilidad. Este resultado normalmente no se genera de forma automática, sino que suele requerir que un ingeniero 3D tome una nube de puntos o una malla y recree el activo en un programa CAD como Revit, SketchUp o similar. El dibujo siguiente no estaba asociado a este activo; es importante mencionarlo en relación con los demás resultados porque se utiliza en el flujo de trabajo de esta empresa de telecomunicaciones.
Conclusión
Laan Labs logró implementar una solución satisfactoria, desarrollando un flujo de trabajo muy personalizado con una versión con licencia de 3D Scanner App como conjunto de herramientas base. El sistema funciona bien con sus otros métodos de recopilación, como los drones y los escáneres LiDAR de alta precisión. Si tiene alguna pregunta, no dude en ponerse en contacto con nosotros en labs@laan.com
Tecnologías utilizadas
Visión por computador, redes neuronales, servicios en la nube, NeRF, Gaussian Splatting
Trabaje con Laan Labs
Gaussian Splatting y campos de radiancia
Captura 3D fotorrealista a partir de fotos y vídeo, desde el protocolo de captura hasta el entrenamiento y la entrega en un navegador o en un dispositivo.
Descargar este artículo
Obtenga el código fuente en Markdown para leerlo sin conexión






