
Entraîner des Gaussian Splats sur Apple Silicon avec Metal
En bref : nous avons fait passer l'entraînement de Gaussian Splats de CUDA à Metal. 3D Splat App entraîne des splats en local sur n'importe quel Mac Apple Silicon, et elle est gratuite.
3D Splat App pour Mac
Pourquoi nous l'avons créée
Presque tout le code de recherche sur le Gaussian Splatting suppose un GPU NVIDIA. L'implémentation 3DGS d'origine, comme la plupart des outils d'entraînement plus rapides qui l'ont suivie, repose sur des noyaux CUDA pilotés depuis PyTorch. Si vous travaillez sur Mac, vos options ont été de louer un GPU dans le cloud, de garder une machine Linux sous le bureau, ou d'utiliser l'un des outils d'entraînement multiplateformes comme Brush, qui fonctionne sur Mac via WebGPU. Nous voulions un outil d'entraînement construit directement sur Metal, le framework GPU d'Apple.
Nous réalisons l'essentiel de notre travail de capture 3D sur du matériel Apple, et nous voulions donc que toute la chaîne tienne sur une seule machine : déposer des photos, obtenir les poses de caméra, entraîner, examiner le résultat, exporter. Sans envoi de fichiers et sans environnement Python.
3D Splat App en est le résultat. Si la technique vous est nouvelle, nous avons rédigé une introduction en langage simple : What Is Gaussian Splatting?
Entraînement sur une capture de 195 images avec le préréglage HD, avec PSNR et perte en direct
Ce qu'elle fait
- Importe des photos brutes, des jeux de données COLMAP et des projets Nerfstudio. Pour les photos brutes, elle exécute la structure from motion avec un COLMAP intégré afin de retrouver les poses de caméra.
- Entraîne sur le GPU local avec les préréglages Fast, Medium et HD, en comptant environ 2, 5 et 10 à 20 minutes selon la scène et la machine.
- Affiche le splat pendant son entraînement, avec les courbes de PSNR et de perte.
- Prend en charge les masques : alpha PNG, dossiers de masques séparés, segmentation de personnes intégrée, et éditeur de masques pour peindre image par image.
- Exporte en PLY, PLY compressé, SPZ et SOG.
Les nouveautés de la version 0.3
La mise à jour 0.3 est sortie à la mi-septembre et c'est la plus importante depuis le lancement. En résumé : l'application n'est plus seulement un outil d'entraînement. C'est désormais aussi une visionneuse et un éditeur de splats, que vous les ayez créés ou non dans l'application.
Les nouveautés de la 0.3 : import 360°, outils d'édition et améliorations de la visionneuse
Outils d'édition de splats. Ouvrez un splat entraîné et nettoyez-le sur place. Recadrez avec une boîte, une sphère ou un plan, en conservant l'intérieur ou l'extérieur. Peignez sur les splats pour les sélectionner et supprimer les éléments flottants, le voile ou tout ce que la caméra a capté et dont vous ne voulez pas. Déplacez, faites pivoter et mettez à l'échelle toute la scène avec un manipulateur de transformation, pour que le sol soit bien le sol et que le modèle soit orienté dans le bon sens. L'annulation est disponible, et quand le résultat vous convient, vous l'enregistrez ou l'exportez.
Mode visionneuse. Vous pouvez désormais ouvrir des fichiers PLY, SPZ et SOG directement depuis le Finder, y compris des splats entraînés ailleurs, puis les visualiser, les modifier et les réexporter. Plusieurs splats s'ouvrent dans des onglets, avec une vue partagée pour en comparer deux côte à côte. Les aperçus Coup d'œil (Quick Look) fonctionnent pour les formats pris en charge : un fichier de splat s'affiche donc dans le Finder comme une image.
Commandes de survol. W, A, S, D et Q, E déplacent la caméra dans toutes les vues de splat, avec les flèches et la touche Maj pour la vitesse, en plus de la souris et du trackpad.
Import de vidéo 360°. Prise en charge initiale des séquences issues de caméras 360°. L'application transforme une vidéo équirectangulaire en un ensemble de vues sténopé, de sorte qu'une prise de vue en marchant avec une caméra 360° devient un jeu d'entraînement ordinaire.
Plus rapide partout. L'entraînement est plus rapide. La structure from motion l'est aussi, puisque la détection et la mise en correspondance des caractéristiques de COLMAP s'exécutent désormais sur le GPU. Le chargement d'un gros splat est passé de plusieurs secondes d'attente à un résultat quasi instantané. Et l'export SOG, qui prenait des minutes sur les grandes scènes, ne prend plus que quelques secondes, avec une meilleure qualité.
Rendu et vidéo. La visionneuse restitue les splats plus fidèlement qu'avant, et le moteur de rendu vidéo à trajectoire de caméra a gagné un panneau d'apparence avec remplissage de l'arrière-plan, profondeur de champ et étalonnage des couleurs, ainsi qu'une commande unique de champ de vision pour l'ensemble du clip.
Ce qu'est réellement un outil d'entraînement de splats
Il est utile de bien comprendre ce qui doit s'exécuter sur le GPU. Entraîner un Gaussian Splat est une boucle d'optimisation. À chaque étape, l'outil rend l'ensemble courant de gaussiennes depuis l'une des caméras d'entraînement, compare ce rendu à la vraie photo, puis pousse les positions, les formes, les opacités et les couleurs des gaussiennes dans la direction qui réduit l'erreur. De temps en temps, il ajoute aussi des gaussiennes là où il manque du détail et supprime celles qui ne contribuent pas assez.
La moitié rendu est un rastériseur par tuiles : les gaussiennes sont projetées à l'écran, triées par profondeur, réparties dans de petites tuiles d'écran, puis composées en alpha de l'avant vers l'arrière au sein de chaque tuile. La moitié entraînement exécute ce même processus à l'envers, en remontant l'erreur de chaque pixel à travers l'ordre de composition jusqu'à chaque gaussienne qui a touché ce pixel, puis applique une mise à jour de l'optimiseur.
Rien de tout cela n'est un pipeline graphique standard, et rien n'est bien servi par un framework de machine learning généraliste. Les outils d'entraînement rapides implémentent l'ensemble sous forme de noyaux de calcul GPU sur mesure, ce qui rend la dépendance à CUDA si tenace.
Le portage vers Metal
Nous avons porté un outil d'entraînement de splats CUDA moderne vers Metal. Les mathématiques sont les mêmes sur les deux plateformes ; ce qui diffère, c'est tout ce qui les entoure. CUDA offre une décennie de primitives GPU, de bibliothèques et de conventions sur lesquelles s'appuient les outils d'entraînement de splats, alors que Metal n'en a presque aucune ; une bonne part du travail a donc consisté à reconstruire des éléments que les développeurs CUDA obtiennent gratuitement, puis à les optimiser pour les GPU d'Apple. Les parties de la conception qui dépendent de la façon dont les threads coopèrent sur le GPU se sont trouvées bien se transposer, ce qui a rendu le projet réalisable.
L'autre moitié du travail a consisté à apprendre comment Apple Silicon veut être piloté. Un GPU de Mac partage sa mémoire avec le CPU, ce qui supprime toute une catégorie de copies mais change aussi la nature des opérations coûteuses. La manière de confier du travail au GPU et d'attendre les résultats diffère assez de CUDA pour que la boucle d'entraînement ait dû être restructurée plutôt que traduite. Et l'absence de plafond de VRAM signifie que la limite pratique de taille de scène est la mémoire unifiée du Mac, qui, sur un portable bien équipé, dépasse ce qu'offrent la plupart des GPU discrets.
La structure from motion a demandé le même traitement. L'accélération GPU de COLMAP repose elle aussi sur CUDA ; nous l'avons donc compilé pour macOS et avons également déplacé son extraction et sa mise en correspondance de caractéristiques sur Metal.
Le résultat est un outil d'entraînement entièrement écrit en C++ et Metal, sans PyTorch ni autograd nulle part dans l'application. Swift n'apparaît que dans l'interface.
Vérifier le portage
Un portage de ce type peut facilement comporter de subtiles erreurs, et un outil d'entraînement de splats convergera volontiers vers un résultat légèrement moins bon sans rien vous signaler. Le moteur est donc soumis à une exigence stricte : des scènes fixes doivent produire des images identiques à l'octet près avant et après toute modification du rastériseur, et les travaux de performance doivent laisser des métriques identiques sur de courts entraînements. Chaque optimisation intégrée à l'application a dû passer ce seuil.
Une scène de 6,5 millions de splats dans la visionneuse
Une courte introduction au Gaussian Splatting
Si les sections ci-dessus supposaient trop de connaissances, voici la version courte de ce qu'est le Gaussian Splatting et de la raison pour laquelle il enthousiasme autant. La version longue se trouve sur le site de 3D Splat App : What Is Gaussian Splatting?
Des splats individuels qui s'accumulent pour former un visage. Chaque tache floue est une gaussienne ; ensemble, elles forment une image photoréaliste.
Ce qu'est un splat
Imaginez reconstituer une pièce avec des briques de Lego : des milliers de blocs durs et opaques emboîtés jusqu'à ce que la forme corresponde à peu près. Faites maintenant la même chose avec des millions de minuscules nuages de couleur translucides. Chaque nuage a des bords doux, sa propre teinte et sa propre transparence, et chevauche ses voisins. De loin, ils se fondent en quelque chose de pratiquement indiscernable d'une photographie.
C'est cela, un Gaussian Splat. La scène n'est pas une surface faite de polygones ; c'est une immense collection de petites taches 3D floues, chacune stockant une position, une taille et une forme, une orientation, une couleur et une opacité. Une scène terminée peut en contenir de quelques centaines de milliers à plusieurs millions. Le « gaussien » du nom est la courbe en cloche des statistiques, qui décrit comment chaque tache s'estompe de son centre dense jusqu'à son bord doux. Le « splatting » désigne la façon de les dessiner : chaque tache 3D est projetée à plat sur l'écran, comme une boule de neige qui s'écrase sur une vitre, et tous les splats qui se chevauchent se fondent en l'image finale.
C'est tridimensionnel, au sens où l'on peut tourner autour et le parcourir, mais ce n'est pas un modèle 3D traditionnel. Il n'y a ni polygones, ni cartes UV, ni fichiers de texture. C'est plus proche d'un nuage de points très dense et très intelligent, qui sait paraître photoréaliste depuis les points de vue couverts par la capture. Et même si l'entraînement utilise des techniques d'optimisation voisines du machine learning, ce n'est pas un modèle génératif : la scène est reconstruite à partir des photos d'entrée, pas inventée. La qualité dépend donc de la couverture. Les zones photographiées sous seulement quelques angles, ou pas du tout, peuvent présenter du flou ou des artefacts flottants.
Comment ça marche
Tout le processus pose sans cesse la même question : si nous rendons cette scène depuis les mêmes angles de caméra que les photos d'origine, ressemble-t-elle aux photos ?
- Capture. Photographiez ou filmez le sujet sous de nombreux angles, avec un large recouvrement pour que chaque partie de la scène apparaisse sur plusieurs vues. Une vidéo lente au téléphone suffit généralement. Le LiDAR n'est pas nécessaire.
- Estimation des positions de caméra. Le logiciel retrouve les mêmes coins, arêtes et textures dans de nombreuses images et utilise leur déplacement pour déterminer d'où chaque photo a été prise, et à peu près où se situent les choses dans l'espace. C'est la structure from motion, et c'est ce que fait le COLMAP intégré à 3D Splat App.
- Entraînement. À partir de cet ensemble épars de points, l'outil rend à plusieurs reprises la scène depuis les positions de caméra connues, compare chaque rendu à la vraie photo et ajuste chaque gaussienne pour réduire l'écart. Les taches se déplacent, grossissent, rétrécissent, s'étirent, changent de couleur et d'opacité, et la scène ajoute et supprime des taches à mesure qu'elle apprend où le détail est nécessaire.
- Visualisation. Le résultat s'affiche assez vite pour être exploré de façon interactive : tourner autour d'un objet, traverser une pièce, ou définir une trajectoire de caméra pour un survol.
Splats ou maillages
Les maillages décrivent des surfaces. Les splats décrivent l'apparence. Un maillage polygonal a une géométrie nette, des arêtes définies et des textures plaquées dessus, et chaque triangle peut être déplacé, lissé ou supprimé. Un splat n'a rien de cette structure, et c'est précisément pourquoi il peut capturer ce qui met un maillage en difficulté : reflets, verre, feuillage, cheveux, fils fins et le désordre général du monde réel.
Le même sujet en Gaussian Splat (à gauche) et en maillage polygonal (à droite), avec un zoom depuis la scène complète jusqu'aux primitives individuelles
Une règle pratique : les maillages servent pour ce que l'on veut manipuler, les splats pour les lieux que l'on veut visiter. Si l'objectif est d'éditer, d'animer, de simuler ou d'imprimer en 3D, il vous faut encore un maillage. Si l'objectif est de capturer l'apparence de quelque chose et de laisser les gens l'explorer, les splats sont difficiles à battre.
Pourquoi il a décollé
Avant 2023, obtenir de la 3D photoréaliste à partir de photos revenait à choisir entre deux options imparfaites. La photogrammétrie produisait des maillages modifiables mais peinait avec les surfaces brillantes, les structures fines et les détails minuscules. Les premiers champs de radiance neuronaux (NeRF) rendaient de superbes nouvelles vues, mais exigeaient des heures d'entraînement et des secondes par image à l'affichage. Des travaux ultérieurs, notamment Instant NGP de NVIDIA en 2022, ont ramené l'entraînement à quelques minutes, même si un rendu fluide demandait encore un GPU puissant. Le Gaussian Splatting a égalé la qualité visuelle des meilleurs NeRF tout en effectuant le rendu en temps réel, assez vite pour être interactif sur du matériel grand public. Cette combinaison a fait lever les têtes.
Le rendu en temps réel est ce qui transforme un résultat de recherche en quelque chose d'utilisable : des visionneuses web que chacun peut faire pivoter, de la VR et de l'AR construites à partir d'environnements capturés, des outils créatifs où les artistes composent avec des scènes capturées comme avec des clips vidéo. Et la capture est banale : l'appareil que vous possédez déjà, utilisé comme vous filmez déjà.
Ce que les gens en font
- Pièces et intérieurs : visites de logements, studios, galeries, annonces immobilières et relevés d'architecture « tel que construit ». Les espaces intérieurs sont le sujet le plus accessible aux débutants : lumière stable, rien qui bouge, une marche lente avec un téléphone.
- Objets et produits : rotations pour le e-commerce, objets de collection, créations artisanales, sculptures, et tout ce qui est réfléchissant ou finement détaillé et fait trébucher la photogrammétrie.
- Espaces extérieurs : jardins, façades, parcs, monuments et avancement de chantier. Les arbres, le gravier et la pierre moussue sont précisément les surfaces que les anciennes méthodes restituaient mal.
- Travail créatif et VFX : décors virtuels pour des tournages, arrière-plans de clips musicaux, plaques VFX, environnements de jeu et art numérique.
- Recherche et documentation : sites patrimoniaux, installations de laboratoire et partout où l'on veut un enregistrement fidèle de l'aspect d'un lieu.
Quelques conseils de capture
Déplacez-vous lentement pour éviter le flou de bougé. Prévoyez un large recouvrement, pour que chaque partie du sujet apparaisse sur plusieurs images sous des angles légèrement différents. Pour les objets, tournez autour à plusieurs hauteurs, y compris par le dessus. En extérieur, filmez vite et par temps couvert si possible, car le vent, les nuages en mouvement et les passants jouent tous contre vous. Et gardez le sujet dans le cadre : l'outil d'entraînement ne peut reconstruire que ce que la caméra a réellement vu.
Télécharger
3D Splat App est gratuite sur le Mac App Store. Elle nécessite un M1 ou ultérieur et macOS 15.6 ou ultérieur.
Travailler avec Laan Labs
Gaussian Splatting et champs de radiance
Une capture 3D photoréaliste à partir de photos et de vidéos, du protocole de capture à l’entraînement, puis à la diffusion dans un navigateur ou sur un appareil.
Télécharger cet article
Récupérez la source Markdown pour le lire hors ligne


