
Entrenamiento de Gaussian Splats en Apple Silicon con Metal
Resumen: llevamos el entrenamiento de Gaussian Splats de CUDA a Metal. 3D Splat App entrena splats localmente en cualquier Mac con Apple Silicon, y es gratuita.
3D Splat App para Mac
Por qué la creamos
Casi todo el código de investigación sobre Gaussian Splatting da por supuesta una GPU de NVIDIA. La implementación original de 3DGS, y la mayoría de los entrenadores más rápidos que la siguieron, son kernels de CUDA controlados desde PyTorch. Si trabaja en una Mac, sus opciones hasta ahora eran alquilar una GPU en la nube, tener una máquina Linux bajo el escritorio o usar alguno de los entrenadores multiplataforma como Brush, que funciona en Mac mediante WebGPU. Nosotros queríamos un entrenador construido directamente sobre Metal, el framework de GPU de la propia Apple.
Hacemos la mayor parte de nuestro trabajo de captura 3D con hardware de Apple, así que queríamos todo el flujo en una sola máquina: se sueltan las fotos, se obtienen las poses de cámara, se entrena, se examina el resultado y se exporta. Sin subidas de archivos y sin entorno de Python.
3D Splat App es el resultado. Si la técnica le resulta nueva, escribimos una introducción en lenguaje sencillo: ¿Qué es el Gaussian Splatting?
Entrenamiento de una captura de 195 imágenes con el preajuste HD, con PSNR y pérdida en vivo
Qué hace
- Importa fotos sin procesar, conjuntos de datos COLMAP y proyectos de Nerfstudio. Con las fotos sin procesar ejecuta structure from motion con un COLMAP integrado para recuperar las poses de cámara.
- Entrena en la GPU local con los preajustes Fast, Medium y HD, que tardan aproximadamente 2, 5 y de 10 a 20 minutos según la escena y el equipo.
- Muestra el splat mientras se entrena, con curvas de PSNR y de pérdida.
- Admite máscaras: alfa en PNG, carpetas de máscaras independientes, segmentación de personas integrada y un editor de máscaras para pintar fotograma a fotograma.
- Exporta PLY, PLY comprimido, SPZ y SOG.
Novedades de la versión 0.3
La actualización 0.3 salió a mediados de septiembre y es la mayor versión desde el lanzamiento. En resumen: la aplicación ya no es solo un entrenador. Ahora también es un visor y editor de splats, los haya creado o no en la aplicación.
Novedades de la 0.3: importación de 360°, herramientas de edición y mejoras del visor
Herramientas de edición de splats. Abra un splat entrenado y límpielo directamente. Recorte con una caja, una esfera o un plano, conservando el interior o el exterior. Pinte sobre los splats para seleccionarlos y elimine objetos flotantes, neblina o cualquier cosa que la cámara captó y que no desee. Mueva, rote y escale toda la escena con un gizmo de transformación para que el suelo quede como suelo y el modelo mire hacia donde corresponde. Hay deshacer y, cuando el resultado le convenza, lo guarda o lo exporta.
Modo visor. Ahora puede abrir archivos PLY, SPZ y SOG directamente desde el Finder, incluidos splats entrenados en otro lugar, y verlos, editarlos y volver a exportarlos. Se pueden abrir varios splats en pestañas, con una vista dividida para comparar dos lado a lado. La vista rápida (Quick Look) funciona con los formatos admitidos, de modo que un archivo de splat aparece en el Finder igual que una imagen.
Controles de recorrido. Las teclas W, A, S, D y Q, E mueven la cámara en todas las vistas de splats, con las teclas de flecha y la tecla Mayús para la velocidad, además del ratón y el trackpad.
Importación de video 360°. Compatibilidad inicial con material de cámaras de 360°. La aplicación convierte un video equirrectangular en un conjunto de vistas estenopeicas, de modo que un recorrido con una cámara de 360° se convierte en un conjunto de entrenamiento normal.
Más rápida en todo. El entrenamiento es más rápido. Structure from motion es más rápido, ya que la detección y la correspondencia de características de COLMAP ahora se ejecutan en la GPU. Cargar un splat grande pasó de segundos de espera a ser casi instantáneo. Y la exportación a SOG, que antes tardaba minutos en escenas grandes, ahora tarda segundos y con mejor calidad.
Renderizado y video. El visor renderiza los splats con más precisión que antes, y el renderizador de video con trayectoria de cámara incorporó un panel de aspecto con relleno de fondo, profundidad de campo y corrección de color, además de un único control de campo de visión para todo el clip.
Qué es realmente un entrenador de splats
Conviene tener claro qué debe ejecutarse en la GPU. Entrenar un Gaussian Splat es un bucle de optimización. En cada paso, el entrenador renderiza el conjunto actual de gaussianas desde una de las cámaras de entrenamiento, compara ese render con la foto real y empuja las posiciones, formas, opacidades y colores de las gaussianas en la dirección que reduce el error. De vez en cuando también añade gaussianas donde falta detalle y elimina las que no aportan lo suficiente.
La mitad de renderizado es un rasterizador por teselas: las gaussianas se proyectan en la pantalla, se ordenan por profundidad, se agrupan en pequeñas teselas de pantalla y se componen con transparencia alfa de delante hacia atrás dentro de cada tesela. La mitad de entrenamiento ejecuta ese mismo proceso al revés, llevando el error de cada píxel hacia atrás a través del orden de composición hasta cada gaussiana que tocó el píxel, y después aplica una actualización del optimizador.
Nada de eso es un pipeline gráfico estándar, y nada de eso está bien atendido por un framework de machine learning de propósito general. Los entrenadores rápidos implementan todo como kernels de cómputo de GPU a medida, y eso es lo que hace tan pegajosa la dependencia de CUDA.
Llevarlo a Metal
Portamos un entrenador de splats moderno en CUDA a Metal. Las matemáticas son las mismas en ambas plataformas; lo que cambia es todo lo que las rodea. CUDA tiene una década de primitivas, bibliotecas y convenciones de GPU en las que se apoyan los entrenadores de splats, y Metal casi no tiene ninguna, así que buena parte del trabajo consistió en reconstruir piezas que los desarrolladores de CUDA reciben gratis y luego ajustarlas a las GPU de Apple. Las partes del diseño que dependen de cómo cooperan los hilos en la GPU resultaron trasladarse bien, y eso fue lo que hizo viable el proyecto.
La otra mitad del trabajo fue aprender cómo quiere Apple Silicon que se le maneje. La GPU de una Mac comparte memoria con la CPU, lo que elimina toda una categoría de copias pero también cambia cuáles son las operaciones costosas. La forma de entregar trabajo a la GPU y esperar los resultados es lo bastante distinta de CUDA como para que hubiera que reestructurar el bucle de entrenamiento en lugar de traducirlo. Y la ausencia de un límite de VRAM hace que el límite práctico del tamaño de la escena sea la memoria unificada de la Mac, que en un portátil bien equipado es más de lo que ofrecen la mayoría de las GPU discretas.
Structure from motion necesitó el mismo tratamiento. La aceleración por GPU de COLMAP también es CUDA, así que lo compilamos para macOS y trasladamos a Metal su extracción y correspondencia de características.
El resultado es un entrenador escrito íntegramente en C++ y Metal, sin PyTorch ni autograd en ninguna parte de la aplicación. Swift solo aparece en la interfaz.
Verificación del port
En un port como este es fácil equivocarse de forma sutil, y un entrenador de splats convergerá alegremente a un resultado algo peor sin avisar. Por eso el motor se somete a un criterio estricto: las escenas fijas deben renderizar imágenes idénticas byte a byte antes y después de cualquier cambio en el rasterizador, y el trabajo de rendimiento debe dejar las ejecuciones cortas de entrenamiento con métricas idénticas. Cada optimización incluida en la aplicación tuvo que superar ese listón.
Una escena de 6,5 millones de splats en el visor
Una breve introducción al Gaussian Splatting
Si las secciones anteriores daban demasiadas cosas por sabidas, aquí va la versión corta de qué es el Gaussian Splatting y por qué entusiasma tanto. La versión larga está en el sitio de 3D Splat App: ¿Qué es el Gaussian Splatting?
Splats individuales que se acumulan hasta formar un rostro. Cada mancha difusa es una gaussiana; juntas forman una imagen fotorrealista.
Qué es un splat
Piense en recrear una habitación con piezas de Lego: miles de bloques duros y opacos encajados hasta que la forma coincide más o menos. Ahora haga lo mismo con millones de diminutas nubes translúcidas de color. Cada nube es suave en los bordes, tiene su propio tono y su propia transparencia, y se superpone con sus vecinas. Desde lejos se funden en algo casi indistinguible de una fotografía.
Eso es un Gaussian Splat. La escena no es una superficie hecha de polígonos; es una enorme colección de pequeñas manchas 3D difusas, cada una con una posición, un tamaño y una forma, una orientación, un color y una opacidad. Una escena terminada puede contener desde unos cientos de miles hasta varios millones. La «gaussiana» del nombre es la campana de la estadística, que describe cómo cada mancha se desvanece desde su centro denso hasta su borde suave. «Splatting» es la forma en que se dibujan: cada mancha 3D se proyecta aplanada sobre la pantalla, como una bola de nieve que golpea una ventana, y todos los splats superpuestos se mezclan en la imagen final.
Es tridimensional, en el sentido de que se puede orbitar y recorrer, pero no es un modelo 3D tradicional. No hay polígonos, ni mapas UV, ni archivos de textura. Se parece más a una nube de puntos muy densa y muy lista que sabe cómo verse fotorrealista desde los puntos de vista que cubrió la captura. Y aunque el entrenamiento usa técnicas de optimización cercanas al machine learning, no es un modelo generativo: la escena se reconstruye a partir de las fotos de entrada, no se inventa. Por eso la calidad depende de la cobertura. Las zonas fotografiadas desde pocos ángulos, o desde ninguno, pueden mostrar desenfoque o artefactos flotantes.
Cómo funciona
Todo el proceso plantea una misma pregunta una y otra vez: si renderizamos esta escena desde los mismos ángulos de cámara que las fotos originales, ¿se parece a las fotos?
- Captura. Fotografíe o grabe el sujeto desde muchos ángulos, con mucho solapamiento para que cada parte de la escena aparezca en varias vistas. Normalmente basta un video lento con el teléfono. No se necesita LiDAR.
- Estimación de las posiciones de cámara. El software encuentra las mismas esquinas, bordes y texturas en muchas imágenes y, a partir de cómo se desplazan, deduce desde dónde se tomó cada foto y, aproximadamente, dónde está cada cosa en el espacio. Esto es structure from motion, y es lo que hace el COLMAP integrado en 3D Splat App.
- Entrenamiento. A partir de ese conjunto disperso de puntos, el entrenador renderiza repetidamente la escena desde las posiciones de cámara conocidas, compara cada render con la foto real y ajusta cada gaussiana para reducir la diferencia. Las manchas se mueven, crecen, se encogen, se estiran, cambian de color y de opacidad, y la escena añade y elimina manchas a medida que aprende dónde hace falta detalle.
- Visualización. El resultado se renderiza con la rapidez suficiente para explorarlo de forma interactiva: orbitar un objeto, recorrer una habitación o configurar una trayectoria de cámara para un recorrido.
Splats frente a mallas
Las mallas describen superficies. Los splats describen la apariencia. Una malla de polígonos tiene una geometría limpia, bordes definidos y texturas envueltas a su alrededor, y cada triángulo se puede mover, suavizar o eliminar. Un splat no tiene nada de esa estructura, y precisamente por eso puede capturar cosas que a una malla le cuestan: reflejos, vidrio, follaje, cabello, cables finos y el desorden general del mundo real.
El mismo sujeto como Gaussian Splat (izquierda) y como malla de polígonos (derecha), acercándose desde la escena completa hasta las primitivas individuales
Una regla práctica útil: las mallas son para las cosas que se quieren manipular, los splats son para los lugares que se quieren visitar. Si el objetivo es editar, animar, simular o imprimir en 3D, sigue haciendo falta una malla. Si el objetivo es capturar el aspecto de algo y dejar que la gente lo explore, es difícil superar a los splats.
Por qué despegó
Antes de 2023, obtener 3D fotorrealista a partir de fotos significaba elegir entre dos opciones imperfectas. La fotogrametría producía mallas editables, pero tenía dificultades con las superficies brillantes, las estructuras finas y el detalle fino. Los primeros campos de radiancia neuronales (NeRF) renderizaban vistas nuevas preciosas, pero tardaban horas en entrenarse y segundos por fotograma en mostrarse. Trabajos posteriores, en especial Instant NGP de NVIDIA en 2022, redujeron el entrenamiento a minutos, aunque para un renderizado fluido seguía haciendo falta una GPU potente. El Gaussian Splatting igualó la calidad visual de los mejores NeRF y renderizaba en tiempo real, con la rapidez suficiente para ser interactivo en hardware de consumo. Esa combinación fue lo que llamó la atención de todos.
El renderizado en tiempo real es lo que convierte un resultado de investigación en algo utilizable: visores web que cualquiera puede arrastrar, realidad virtual y aumentada creadas a partir de entornos capturados, herramientas creativas en las que los artistas componen con escenas capturadas como lo harían con clips de video. Y la captura es corriente: la cámara que ya tiene, filmando como ya filma.
Qué hace la gente con ello
- Habitaciones e interiores: recorridos de viviendas, estudios, galerías, anuncios inmobiliarios y registros as-built de arquitectura. Los espacios interiores son el sujeto más sencillo para empezar: luz constante, nada que se mueva, un paseo lento con el teléfono.
- Objetos y productos: giros para comercio electrónico, objetos de colección, artesanía, esculturas y todo lo que sea reflectante o de detalle fino y haga tropezar a la fotogrametría.
- Espacios exteriores: jardines, fachadas, parques, monumentos y avance de obra. Los árboles, la grava y la piedra cubierta de musgo son exactamente las superficies en las que los métodos anteriores fallaban.
- Trabajo creativo y VFX: localizaciones virtuales para rodajes, fondos de videoclips, plates de VFX, entornos de videojuegos y arte digital.
- Investigación y documentación: sitios patrimoniales, montajes de laboratorio y cualquier lugar del que se quiera un registro fiel de su aspecto.
Algunos consejos de captura
Muévase despacio para evitar el desenfoque por movimiento. Solape generosamente, de modo que cada parte del sujeto aparezca en varios fotogramas desde ángulos ligeramente distintos. Para los objetos, orbite a varias alturas, incluso desde arriba. En exteriores, grabe rápido y, si puede, en un día nublado, ya que el viento, las nubes en movimiento y los transeúntes juegan en su contra. Y mantenga el sujeto en el encuadre: el entrenador solo puede reconstruir lo que la cámara vio realmente.
Descarga
3D Splat App es gratuita en la Mac App Store. Requiere un M1 o posterior y macOS 15.6 o posterior.
Trabaje con Laan Labs
Gaussian Splatting y campos de radiancia
Captura 3D fotorrealista a partir de fotos y vídeo, desde el protocolo de captura hasta el entrenamiento y la entrega en un navegador o en un dispositivo.
Descargar este artículo
Obtenga el código fuente en Markdown para leerlo sin conexión


