Saltar al contenido principal

Gaussian Splatting y campos de radiancia

Captura 3D fotorrealista a partir de fotos y vídeo, desde el protocolo de captura hasta el entrenamiento y la entrega en un navegador o en un dispositivo.

Laan Labs se especializa en Gaussian Splatting y en la familia más amplia de técnicas de campos de radiancia, que convierten fotografías o vídeo corrientes en escenas 3D fotorrealistas. El equipo trabaja con ellas desde que los campos de radiancia neuronales (NeRF) se hicieron prácticos, cuando grabó vídeo volumétrico de tipo «bullet time» con 15 iPhone sincronizados, y hoy desarrolla herramientas y pipelines de Gaussian Splatting de principio a fin: 3D Splat App, un entrenador y editor nativo para Mac basado en el motor Metal propio de Laan Labs; RadianceView, que combina splats con LiDAR y fotografía para inspección; y flujos de trabajo de la captura a la entrega para clientes de infraestructura, aeroespacial e inmobiliario.

Un campo de radiancia representa una escena según cómo sale la luz de cada punto de ella, y no mediante una malla de superficie, por lo que reproduce reflejos, vidrio, follaje, cabello y el desorden general de los lugares reales con los que la fotogrametría tiene dificultades. Los NeRF demostraron que esa calidad era posible; el Gaussian Splatting, que representa la escena como millones de pequeñas manchas 3D suaves optimizadas para coincidir con las fotos, la hizo lo bastante rápida como para verse en tiempo real en hardware de consumo. Laan Labs comparó NeRF, splats y mallas con los mismos activos en su caso de estudio de InfraTech y ahora usa splats para la mayor parte del trabajo de visualización, junto con LiDAR y fotogrametría cuando se necesita medición.

Lo que distingue este trabajo es la profundidad en todo el pipeline. Laan Labs no se limita a ejecutar un entrenador de código abierto: portó a Metal un entrenador de splats CUDA de última generación para que el entrenamiento se ejecute de forma nativa en Apple Silicon sin nube, escribió los renderizadores que muestran millones de splats en Mac, iPhone, iPad y Apple Vision Pro, y creó las herramientas de edición, compresión y exportación que convierten un resultado de entrenamiento en bruto en algo que un cliente puede utilizar. La historia de ese port está en Entrenamiento de Gaussian Splats en Apple Silicon con Metal.

Qué hacemos

Diseño de flujos de captura
Protocolos para teléfonos, cámaras de 360° y drones que producen reconstrucciones fiables de habitaciones, edificios, vehículos, aeronaves y objetos, con indicaciones de enmascarado, exposición y cobertura para equipos de campo que no son especialistas en 3D.
Entrenamiento local y en las instalaciones
Entrenamiento de Gaussian splats que se ejecuta en un Mac o en el hardware propio del cliente y no en un servicio en la nube, para sitios confidenciales, capturas de gran tamaño y flujos de trabajo que no pueden subir imágenes. Structure from Motion, entrenamiento, limpieza y exportación en un único pipeline.
Entrenadores y renderizadores a medida
Laan Labs mantiene su propio motor de splats basado en Metal e incorpora en él las novedades de la investigación a medida que se publican, de modo que los clientes obtienen calidad y velocidad actuales sin depender de un proveedor. Los renderizadores funcionan en macOS, iOS, visionOS y la web.
Captura híbrida: splats, LiDAR y fotogrametría
Splats para la apariencia; LiDAR y fotogrametría para la escala, la medición y la geometría, alineados en un único registro. Es la base de RadianceView, donde un inspector mide sobre el escaneo y lee los detalles en las fotografías, todo vinculado a la misma ubicación.
Edición, compresión y entrega
Recorte, limpieza, enmascarado y transformaciones; compresión a SPZ y SOG para una carga rápida; entrega en visores web, apps nativas, RadianceView y Apple Vision Pro, donde se puede recorrer una escena de splats a escala real.
Captura dinámica y volumétrica
Captura con varias cámaras de sujetos en movimiento, desde el equipo original de bullet time con NeRF y 15 iPhone hasta el trabajo actual con splats dinámicos, para aplicaciones de cine, deporte y producto.

Cómo trabajamos

Los proyectos de campos de radiancia suelen empezar con una prueba de captura: Laan Labs escanea un activo representativo con el equipo que probablemente use el cliente, lo entrena y revisa el resultado conjuntamente, de modo que las decisiones sobre el método de captura, los objetivos de calidad y el formato de entrega se toman sobre resultados reales y no sobre demos.

A partir de ahí, el proyecto puede consistir en un flujo de trabajo completo desarrollado y entregado, en un pipeline con licencia que el cliente ejecuta o en captura y procesamiento continuos como servicio. Muchos clientes lo combinan con licencias de tecnología de captura 3D o con trabajo de computación espacial para poner los resultados ante sus propios usuarios.

Trabajos relacionados

Productos creados con este trabajo

  • 3D Splat App — Entrene, visualice y edite Gaussian splats en Mac, gratuita
  • RadianceView — Splats, LiDAR y fotografías en un único registro de inspección

Preguntas frecuentes

¿Es mejor el Gaussian Splatting que los NeRF?

Para casi todo el trabajo de producción actual, sí: el Gaussian Splatting. Iguala la calidad de imagen de los mejores NeRF, se entrena en minutos y se renderiza en tiempo real en hardware común, lo que hace prácticos los visores interactivos, la inspección y la entrega web. Los NeRF siguen siendo útiles para la investigación y para algunos métodos de escenas dinámicas, y Laan Labs ha trabajado con ambos desde 2022.

¿Se puede medir un Gaussian splat o utilizarlo para inspección?

Por sí solo, un splat es un registro visual, no topográfico. Laan Labs combina los splats con LiDAR o fotogrametría para que la escena tenga escala real y geometría medible, y vincula fotografías de alta resolución a ubicaciones de la escena. Esa combinación es lo que ofrece RadianceView, y se ha utilizado para documentar aeronaves completas con vistas a la reutilización de piezas.

¿Qué equipo necesitamos para capturar una escena?

Un iPhone reciente basta para habitaciones, objetos y vehículos. Las cámaras de 360° aceleran la captura de interiores grandes, los drones cubren exteriores y emplazamientos, y las cámaras sin espejo ofrecen la máxima calidad. Laan Labs diseña el protocolo de captura en función del equipo que el cliente ya tiene y del nivel de detalle que necesita el resultado.

¿Exige el entrenamiento enviar nuestras imágenes a la nube?

No. Laan Labs entrena Gaussian splats localmente en Mac con Apple Silicon y puede configurar un procesamiento en las instalaciones del cliente, de modo que los sitios confidenciales, las aeronaves, las instalaciones y los productos nunca salgan del control del cliente. 3D Splat App lo hace para usuarios individuales; para equipos, Laan Labs integra el mismo pipeline en su flujo de trabajo.

¿De qué tamaño puede ser la escena capturada?

Desde una sola pieza hasta un avión comercial o un edificio completo. Las escenas grandes se capturan por secciones y se alinean, se entrenan con resoluciones que el dispositivo de visualización pueda manejar y se comprimen para su entrega. El límite suele ser el tiempo de captura y el hardware de visualización, más que la técnica.

¿En qué formatos se pueden entregar los splats?

PLY estándar, PLY comprimido, SPZ y SOG, que se cargan en visores web y en herramientas como SuperSplat, en Unity y Unreal mediante plugins, y en los visores propios de Laan Labs para Mac, iPhone, iPad y Apple Vision Pro. Las capturas híbridas también exportan mallas, nubes de puntos y fotografías en formatos estándar.