Saltar al contenido principal
Planificación de robots en realidad aumentada: escaneo 3D del espacio de trabajo real

Planificación de robots en realidad aumentada: escaneo 3D del espacio de trabajo real

Una simulación de robots solo es tan buena como el modelo de la sala en la que se ejecuta. Laan Labs añadió escaneo 3D a un visor de AR basado en Unity, de modo que un brazo robótico simulado pueda colocarse en un escaneo del espacio de trabajo real.

roboticsaugmented-reality3d-scanningunity
Jason Laan
Jason Laan
11 de diciembre de 2024

Desafío empresarial

Los robots industriales se planifican en simulación. Un ingeniero diseña la celda, programa el brazo y comprueba su movimiento en un software de escritorio mucho antes de instalar nada. Un visor de realidad aumentada lleva esa simulación al sitio: el robot planificado se muestra en un teléfono o una tableta, a escala real, en el suelo donde estará instalado.

Brazos robóticos industriales trabajando a lo largo de una línea de montaje

Los robots trabajan en espacios reducidos entre otros equipos. Foto: Clemenspool, Wikimedia Commons, CC0. Se muestra a modo de ilustración; no pertenece a este proyecto.

Un teléfono que muestra un brazo robótico simulado colocado en una sala real

Ilustración: un visor de AR muestra el robot planificado en el lugar donde estará instalado

Lo que suele faltar en la simulación es el sitio mismo. La columna, la cinta transportadora, el banco de trabajo y la bandeja de cables o bien no están en el modelo o bien se dibujan a partir de planos antiguos, y descubrir durante la instalación que el brazo no alcanza, o que choca con algo, sale caro.

Una celda de paletizado con dos brazos robóticos, cintas transportadoras, protecciones y una columna del edificio

Una celda real: cintas transportadoras, protecciones, mercancía apilada y una columna, todo dentro del alcance de los robots. Foto: KUKA Roboter GmbH, Bachmann, Wikimedia Commons, dominio público. Se muestra a modo de ilustración; no pertenece a este proyecto.

La celda simulada junto a un escaneo del sitio real, que tiene una columna que el modelo no tiene

Ilustración: la celda simulada y el sitio real rara vez coinciden

Un fabricante de robótica quería cerrar esa brecha dentro de su propia app de visor de AR: permitir que la persona que está en el sitio escanee el entorno real con el mismo dispositivo e incorporar ese escaneo a la simulación como geometría.

Los requisitos eran concretos:

RequisitoObjetivo
IntegraciónUna biblioteca de escaneo 3D que pueda incorporarse a una app basada en Unity
DispositivosiPhone y iPad con LiDAR (iPhone 12 Pro, iPad Pro y posteriores)
SalidaWavefront OBJ con material MTL y textura
Entorno típico6 m de ancho, 6 m de largo, 3 m de alto
Resolución de la mallaLongitud de arista de triángulo de unos 30 mm de media
Precisión de escalaDentro del 1 %: un metro en el sitio mide entre 99 y 101 cm en el escaneo

Escanee el espacio de trabajo real con el dispositivo que ya tiene en la mano y planifique el robot en él


Enfoque

El visor de AR del cliente está construido en Unity. Laan Labs aportó su tecnología de escaneo 3D móvil, la misma que está detrás de 3D Scanner App, como un componente que funciona dentro de una aplicación de Unity.

La integración abarca todo el recorrido, desde la captura hasta una geometría utilizable:

  • Captura. El usuario recorre la zona con un iPhone o un iPad. La profundidad del LiDAR y las imágenes de la cámara se fusionan en una malla en tiempo real, y la malla se muestra a medida que crece para que el usuario vea qué zonas ya se han cubierto.
  • Reconstrucción en el dispositivo. El escaneo se procesa en el teléfono o la tableta. No se sube nada, lo cual importa en las plantas de producción, donde las imágenes de los equipos son confidenciales.
  • Exportación. El resultado es una malla con textura en formato OBJ con su archivo de material MTL, a escala real y en el mismo sistema de coordenadas que la sesión de AR, de modo que encaja con lo que ve la cámara.
  • Uso en la simulación. El espacio de trabajo escaneado se carga junto al brazo robótico simulado, tanto en el visor de AR como en el software de simulación de escritorio, donde sirve como el entorno frente al cual se planifica el robot.
Un espacio de trabajo escaneado: suelo, paredes, una columna, una cinta transportadora y un banco de trabajo

Ilustración: un espacio de trabajo de 6 m por 6 m capturado como geometría 3D

Laan Labs entregó la tecnología de escaneo como una biblioteca de código fuente, junto con una app de ejemplo en Unity que muestra la integración de principio a fin, para que los desarrolladores del cliente pudieran incorporarla a su producto y mantenerla por sí mismos.

Software de simulación con un escaneo cargado como entorno alrededor de un brazo robótico simulado

Ilustración: el escaneo cargado como entorno alrededor del robot simulado

Valor para el negocio

Con el entorno dentro de la simulación, las preguntas que antes esperaban a la instalación pueden responderse en la primera visita al sitio:

  • ¿Cabe? El robot, su base y su envolvente de trabajo se ven sobre el espacio real del suelo y no sobre un plano.
  • ¿Alcanza? Las posiciones de recogida y colocación sobre bancos y cintas transportadoras reales se comprueban frente al alcance del brazo.
  • ¿Qué se interpone? Las columnas, protecciones y equipos que no están en el modelo CAD están en el escaneo, de modo que un movimiento planificado puede verificarse frente a ellos.
  • ¿Puede verlo todo el mundo? Operadores, personal de seguridad y clientes miran la misma escena, en el sitio en AR o de forma remota, antes de pedir nada.
Un movimiento planificado verificado frente al escaneo, con una colisión contra una columna resaltada

Ilustración: un movimiento planificado verificado frente al entorno escaneado

Como el escaneo se hace con un teléfono o una tableta, la captura forma parte de una visita normal al sitio y no requiere un escáner láser ni un equipo de topografía.

Objetivos, no resultados de pruebas

Las cifras de la tabla de requisitos son objetivos de diseño. Este caso de estudio no informa de resultados medidos frente a ellos. Además, describen tres cosas distintas que no deben leerse como una sola:

  • La resolución de la malla (aristas de triángulo de unos 30 mm) indica con qué finura se describe la superficie. Dice qué tan pequeño puede ser un detalle para aparecer en la malla, no qué tan precisa es la malla.
  • La precisión de escala (dentro del 1 %) indica si las distancias del escaneo coinciden con las del sitio. En una sala de 6 m, un 1 % permite hasta 6 cm.
  • La precisión de las holguras indica hasta qué punto se puede confiar en un espacio libre reportado entre el robot y un obstáculo. Depende de la escala, del error superficial local, de la resolución de la malla y de lo bien que el escaneo esté alineado con la base del robot, por lo que debe validarse por separado y no se deduce de las otras dos.

El LiDAR de un teléfono suele ser preciso en torno a un centímetro a escala de sala en buenas condiciones, lo que resulta adecuado para estudios de distribución y alcance y para una primera comprobación de holguras. Cuando una holgura es ajustada, el margen debe confirmarse en el sitio. Un escaneo no sustituye la calibración del robot ni la metrología cuando se requieren posiciones con precisión submilimétrica.

Próximos pasos

La misma captura puede hacer más que aportar el entorno. Un paso siguiente natural es reconocer automáticamente en el escaneo los brazos robóticos y otros equipos, de modo que las máquinas existentes se identifiquen y se sustituyan por sus modelos exactos en lugar de seguir siendo geometría escaneada en bruto.

Acerca de este proyecto

Laan Labs concede licencias de su tecnología de captura 3D a empresas que desean incorporar el escaneo en sus propios productos, como código fuente, como componentes o como una app completa. Consulte captura 3D y licencias de tecnología y cómo trabaja Laan Labs con la robótica y la automatización.

Para hablar de un proyecto de robótica o de escaneo, contáctenos o escriba a labs@laan.com.

Tecnologías utilizadas

LiDAR, ARKit, Unity, reconstrucción 3D, realidad aumentada, exportación a OBJ, procesamiento en el dispositivo

Trabaje con Laan Labs

Captura 3D y licencias de tecnología

Licencie pipelines probados de escaneo 3D móvil, fotogrametría y Gaussian Splatting como SDK, código fuente o apps de marca blanca.

Descargar este artículo

Obtenga el código fuente en Markdown para leerlo sin conexión