
Escaneo 3D de habitaciones en tiempo real y captura de geometría semántica con RoomPlan de Apple
Contexto
Capturar las medidas y la geometría de un espacio con un dispositivo móvil es una tarea cada vez más habitual. Saber cómo están organizadas las habitaciones y los espacios, con sus dimensiones, y qué contienen resulta útil para todo, desde el sector inmobiliario, el diseño, la arquitectura y la construcción hasta las compras e incluso el entretenimiento con AR/VR.
Los avances en los sensores de profundidad de los teléfonos móviles, como el LiDAR, y en las técnicas fotogramétricas han hecho que, en los últimos años, capturar los puntos en el espacio de una habitación para crear una nube de puntos o una malla sea un proceso rutinario. Sin embargo, esa malla 3D no son datos estructurados, y hay que extraer la geometría para obtener los elementos dimensionales clave y la metainformación de los elementos capturados.
Malla frente a geometría semántica
En los ejemplos anteriores se ve que la malla no está estructurada. En cambio, la geometría semántica ha extraído los elementos dimensionales clave y la metainformación de los elementos capturados.
Captura de geometría semántica
Normalmente, para obtener la geometría y las medidas de un espacio, primero se realizaba una captura de malla o de nube de puntos. Después, la información se determinaba mediante diversos algoritmos y técnicas de ML. Es un problema en el que Laan Labs (y muchísimos otros) llevan tiempo trabajando.
¿Por qué es importante la captura de la geometría del espacio en 2D y 3D?
- Espacios virtuales - El diseño, la construcción y otros procesos dependen ahora de dobles digitales de los espacios.
- Videojuegos y entretenimiento - Llevar una habitación real a una experiencia de VR/AR exige que el espacio se capture con precisión. Así, una mesa en un juego es una mesa en la habitación.
- Inmobiliaria - Mostrar planos de planta y medidas no es, de facto, una parte de este negocio.
- Aplicaciones industriales - La planificación y la fabricación requieren la gestión de activos de distribución en planta.
- Y muchas más…
CRÉDITO: @GregMadison
¿Cómo se ha hecho hasta ahora?
Enfoque de etiquetado en AR
En una sesión de AR, el usuario etiqueta manualmente las esquinas a lo largo del plano del suelo para crear paredes.
Izquierda: Floor Plan App | Derecha: CRÉDITO @pixelplacement
Escanear y trazar
La geometría se extrae de forma semimanual una vez completada la captura, obteniendo un corte en vista de planta. El proceso consiste en completar los escaneos de cada habitación y luego combinarlos en una única vista con cierta alineación manual y automática (ICP). Después se observa el escaneo completo desde arriba para trazar encima un plano de planta. Algunas geometrías, como las paredes, pueden extraerse automáticamente para facilitar el proceso.
Técnicas de ML (aprendizaje automático)
Procesamiento en la nube en el que algoritmos de ML analizan automáticamente la malla escaneada y extraen planos de planta.
Izquierda: plano de planta 3D procesado con ML | Derecha: contorno del plano de la habitación obtenido con ML
Llega la captura de geometría semántica 3D en tiempo real: RoomPlan de Apple
La nueva función RoomPlan de Apple introduce en iOS 16 la captura de geometría en tiempo real para dispositivos con LiDAR. Este enfoque de «primeros principios» se orienta a crear una representación geométrica de un espacio en lugar de capturar texturas y mallas. Pruebe el modo RoomPlan en 3D Scanner App.
El SDK de RoomPlan permite añadirlo con rapidez a las aplicaciones. Algunas demos estupendas:
Izquierda: CRÉDITO Shopify (Russ Maschmeyer @StrangeNative) | Derecha: CRÉDITO @planner5d
Modo RoomPlan en 3D Scanner App
A Laan Labs le entusiasmó añadir un modo RoomPlan a 3D Scanner App, para complementar nuestros otros modos de captura: LiDAR, TrueDepth y fotogrametría.
Funciones nuevas:
- RoomPlan + textura - Con 3D Scanner App, las geometrías pueden texturizarse para lograr una mejor representación del espacio
- Dimensiones automáticas - Las medidas de un espacio pueden calcularse automáticamente.
- Fotos 360 - Con la relocalización, una vez completada una captura con RoomPlan, se pueden añadir fotos 360 a un escaneo.
Aún queda mucho camino por recorrer
Aunque RoomPlan es muy impresionante, es (¿todavía?) muy básico. Evidentemente es la primera versión, y Apple cuenta con grandes recursos y desarrolladores de talento, así que cabe esperar mejoras. Los principales problemas a septiembre de 2022:
- Precisión - Aunque es muy precisa, puede captar geometría que introduce imprecisiones en comparación con un escaneo tradicional.
- Formas irregulares - RoomPlan funciona mejor en espacios cuadrados. Los techos abovedados y las habitaciones de forma irregular pueden causar problemas.
- Solo información general - no detalles propios de un plano de planta típico, como el giro de las puertas, etc.
- Jerarquía y conexiones de los objetos - Las paredes no están conectadas actualmente de la manera en que funcionan los planos de planta habituales.
Derecha: crédito vid2cad
Conclusión
En general, las capturas en tiempo real como RoomPlan abren oportunidades extraordinarias en cuanto a cómo los usuarios pueden interactuar con datos 3D en diversos flujos de trabajo. Si desea ver cómo los avances en la captura de geometría semántica 3D, como RoomPlan de Apple, pueden ayudarle en su caso de uso, no dude en contactarnos.
Trabaje con Laan Labs
Computación espacial: desarrollo de AR, VR y visores
Apps que comprenden y renderizan el mundo físico, en Apple Vision Pro, Meta Quest, Android XR, gafas inteligentes, teléfonos y la web.
Descargar este artículo
Obtenga el código fuente en Markdown para leerlo sin conexión






