メインコンテンツへスキップ
MetalでApple Silicon上のGaussian Splatトレーニングを実現する

MetalでApple Silicon上のGaussian Splatトレーニングを実現する

Chris Laan
執筆者
Chris Laan
gaussian splatting, metal, apple silicon, cuda
2026年9月30日 · 更新日 2026年10月4日

TLDR: Gaussian Splatのトレーニングを、CUDAからMetalに移植しました。3D Splat Appは、あらゆるApple Silicon Mac上でローカルにSplatをトレーニングでき、無料です。

Mac向け3D Splat App

開発の動機

Gaussian Splattingの研究用コードは、ほとんどがNVIDIA GPUを前提としています。オリジナルの3DGS実装も、その後に登場した高速なトレーナーの多くも、PyTorchから呼び出すCUDAカーネルです。Macで作業する場合、これまでの選択肢は、クラウドGPUを借りるか、デスクの下にLinuxマシンを置くか、WebGPU経由でMac上でも動作するBrushのようなクロスプラットフォームのトレーナーを使うかのいずれかでした。私たちは、AppleのGPUフレームワークであるMetal上に直接構築されたトレーナーが欲しいと考えました。

私たちは3Dキャプチャの作業の大半をApple製ハードウェアで行っているため、一連の流れを1台のマシンで完結させたいと考えました。写真を取り込み、カメラポーズを求め、トレーニングし、結果を確認して、エクスポートする。アップロードもPython環境も不要です。

その成果が3D Splat Appです。この技術が初めての方のために、わかりやすい入門記事も書きました。What Is Gaussian Splatting?

3D Splat Appでスプラットを学習中

HDプリセットで195枚の画像のキャプチャをトレーニング中。PSNRと損失をリアルタイムで表示

できること

  • 生の写真、COLMAPデータセット、Nerfstudioプロジェクトを読み込めます。生の写真の場合は、内蔵のCOLMAPでStructure from Motionを実行し、カメラポーズを復元します。
  • ローカルのGPUでトレーニングします。Fast、Medium、HDのプリセットがあり、シーンとマシンにもよりますが、それぞれおよそ2分、5分、10〜20分かかります。
  • トレーニング中のSplatを、PSNRと損失の曲線とともに表示します。
  • マスクに対応しています。PNGのアルファ、別フォルダのマスク、内蔵の人物セグメンテーション、フレームごとに描き込めるマスクエディタを利用できます。
  • PLY、圧縮PLY、SPZ、SOGをエクスポートできます。

0.3の新機能

0.3アップデートは9月中旬にリリースされ、ローンチ以来で最大のリリースとなりました。ひとことで言えば、このアプリはトレーナーであるだけでなく、Splatのビューアおよびエディタにもなりました。アプリ内で作成したSplatかどうかは問いません。

0.3の新機能:360°インポート、編集ツール、ビューアの更新

Splat編集ツール。 トレーニング済みのSplatを開き、その場で整理できます。ボックス、球、平面で切り抜き、内側または外側を残せます。Splatの上からペイントして選択し、浮遊物やもや、カメラが捉えた不要なものを削除できます。トランスフォームギズモでシーン全体を移動、回転、拡大縮小して、地面を地面に、モデルを正しい向きに合わせられます。取り消しにも対応しており、仕上がりに満足したら結果を保存またはエクスポートします。

ビューアモード。 PLY、SPZ、SOGファイルをFinderから直接開けるようになりました。他のツールでトレーニングしたSplatも含め、表示、編集、再エクスポートが可能です。複数のSplatをタブで開け、2つを並べて比較する分割表示もあります。対応フォーマットではクイックルックのプレビューも使えるため、Splatファイルも画像と同じようにFinder上に表示されます。

フライスルー操作。 すべてのSplatビューで、マウスやトラックパッドに加えて、W、A、S、DとQ、Eキーでカメラを動かせます。矢印キーとShiftキーで速度も調整できます。

360°ビデオのインポート。 360°カメラの映像に初めて対応しました。アプリは正距円筒図法のビデオを複数のピンホールビューに変換するため、360°カメラでの歩き撮りが通常のトレーニングセットになります。

あらゆる面で高速化。 トレーニングが速くなりました。COLMAPの特徴検出とマッチングがGPUで動くようになったため、Structure from Motionも速くなりました。大きなSplatの読み込みは、数秒の待ち時間からほぼ瞬時になりました。また、大規模なシーンでは数分かかっていたSOGエクスポートが、品質を高めながら数秒で終わるようになりました。

レンダリングとビデオ。 ビューアでのSplatの描画が以前より正確になりました。カメラパスのビデオレンダラーには、背景の塗りつぶし、被写界深度、カラーグレーディングを備えたルックパネルが加わり、クリップ全体に対する単一の画角コントロールも追加されました。

Splatトレーナーの実体

GPU上で何を実行する必要があるのかを、はっきりさせておくと理解しやすくなります。Gaussian Splatのトレーニングは最適化ループです。トレーナーはステップごとに、現在のガウシアンの集合をトレーニング用カメラの1つからレンダリングし、そのレンダリング結果を実際の写真と比較して、誤差が減る方向にガウシアンの位置、形状、不透明度、色を動かします。さらに一定の間隔で、ディテールが足りない場所にガウシアンを追加し、役に立っていないものを削除します。

レンダリング側はタイルベースのラスタライザです。ガウシアンを画面に投影し、深度でソートして、小さな画面タイルに振り分け、各タイル内で手前から奥へアルファ合成します。トレーニング側では、同じ処理を逆向きにたどります。ピクセルごとの誤差を合成の順序に沿って、そのピクセルに寄与したすべてのガウシアンに伝え、オプティマイザの更新を適用します。

これは標準的なグラフィックスパイプラインではなく、汎用の機械学習フレームワークでも十分には扱えません。高速なトレーナーは、全体をカスタムのGPUコンピュートカーネルとして実装しており、そのためCUDAへの依存が簡単には外せません。

Metalへの移植

私たちは、最新のCUDA製SplatトレーナーをMetalに移植しました。数式はどちらのプラットフォームでも同じです。違うのは、その周りのすべてです。CUDAには10年分のGPUプリミティブ、ライブラリ、慣習があり、Splatトレーナーはそれらに頼っています。一方、Metalにはそのほとんどがありません。そのため作業の大部分は、CUDA開発者なら最初から使えるものを作り直し、それをAppleのGPU向けにチューニングすることでした。GPU上でスレッドがどう協調するかに依存する設計部分は、うまく移植できました。このプロジェクトが成り立ったのは、そのおかげです。

作業のもう半分は、Apple Siliconをどう動かすべきかを学ぶことでした。MacのGPUはCPUとメモリを共有しているため、コピーのかなりの部分が不要になる一方、負荷の高い処理が何であるかも変わります。GPUに仕事を渡して結果を待つ方法はCUDAとかなり異なるため、トレーニングループは単に翻訳するのではなく、構造を作り直す必要がありました。また、VRAMの上限がないため、シーンの規模の現実的な限界はMacのユニファイドメモリで決まります。十分なスペックのノートPCであれば、それは多くのディスクリートGPUが提供する容量を上回ります。

Structure from Motionにも同じ作業が必要でした。COLMAPのGPU高速化もCUDAなので、macOS向けにビルドし、特徴抽出とマッチングもMetalに移しました。

その結果、トレーナーはC++とMetalのみで書かれ、アプリ内のどこにもPyTorchやautogradはありません。SwiftはUIにしか登場しません。

移植の検証

このような移植は、微妙な誤りを埋め込みやすく、Splatトレーナーは、気づかないうちに少し劣る結果へと収束してしまうことがあります。そのためエンジンには厳格な基準を課しています。ラスタライザを変更する前後で、固定シーンのレンダリング結果がバイト単位で同一であること、そしてパフォーマンスの改善を加えても、短いトレーニング実行の指標が同一であることです。アプリに取り入れたすべての最適化は、この基準を満たす必要がありました。

ビューアに表示された650万個のスプラット

ビューアで表示した650万Splatのシーン

Gaussian Splattingの簡単な入門

これまでの節が前提知識を求めすぎていた場合のために、Gaussian Splattingとは何か、なぜ注目されているのかを手短にまとめます。詳しい解説は3D Splat Appのサイトにあります。What Is Gaussian Splatting?

個々のSplatが集まって顔を形づくる様子。ぼんやりした1つ1つの塊が1つのガウシアンで、それらが合わさって写実的な画像になります。

Splatとは

部屋をレゴブロックで再現することを考えてみましょう。硬くて不透明なブロックを何千個も組み合わせて、おおよその形に仕上げます。今度は、同じことを、小さくて半透明な色の雲を何百万個も使って行います。それぞれの雲は縁がやわらかく、固有の色合いと透明度を持ち、隣の雲と重なり合っています。離れて見ると、それらは混ざり合い、写真とほとんど見分けがつかないものに見えます。

これがGaussian Splatです。シーンはポリゴンでできた表面ではなく、小さくぼんやりした3Dの塊の巨大な集合であり、それぞれが位置、大きさと形、向き、色、不透明度を保持しています。完成したシーンには、数十万個から数百万個のガウシアンが含まれることがあります。名前の「Gaussian」は、統計学の釣鐘型の曲線のことで、各塊が密度の高い中心からやわらかい縁へ薄れていく様子を表しています。「Splatting」は描画の方法を指し、各3Dの塊が、雪玉が窓に当たるように画面へ平らに投影され、重なり合うすべてのSplatが混ざって最終的な画像になります。

オービット操作やフライスルーができるという意味では3次元ですが、従来の3Dモデルではありません。ポリゴンも、UVマップも、テクスチャファイルもありません。キャプチャがカバーした視点から写実的に見える方法を知っている、非常に高密度で非常に賢い点群に近いものです。また、トレーニングには機械学習に近い最適化手法を使いますが、生成モデルではありません。シーンは入力した写真から再構築されるもので、創作されるものではありません。そのため品質はカバレッジに左右されます。ごく少数の角度からしか撮影されていない場所や、まったく撮影されていない場所には、ぼやけや浮遊アーティファクトが現れることがあります。

仕組み

プロセス全体で、1つの問いを繰り返し投げかけます。元の写真と同じカメラアングルからこのシーンをレンダリングしたとき、それは写真のように見えるか、という問いです。

  1. キャプチャ。 被写体を多くの角度から撮影またはビデオ撮影します。シーンの各部分が複数のビューに写るように、十分に重なりを持たせます。通常は、スマートフォンでゆっくり撮影したビデオで足ります。LiDARは必要ありません。
  2. カメラ位置の推定。 ソフトウェアは、多数の画像にわたって同じ角、エッジ、テクスチャを見つけ、それらがどうずれるかを手がかりに、各写真がどこから撮影されたのか、そしてものが空間のどのあたりにあるのかを割り出します。これがStructure from Motionで、3D Splat Appに内蔵されたCOLMAPが行う処理です。
  3. トレーニング。 その疎な点の集合から出発して、トレーナーは既知のカメラ位置からシーンのレンダリングを繰り返し、各レンダリングを実際の写真と比較して、差を減らすようにすべてのガウシアンを少しずつ調整します。塊は移動し、大きくなり、小さくなり、伸び、色や不透明度を変えます。ディテールが必要な場所を学習するにつれて、塊が追加されたり削除されたりします。
  4. 表示。 結果は、インタラクティブに探索できる速さでレンダリングされます。物体の周りをオービットしたり、部屋の中を歩き回ったり、フライスルー用のカメラパスを設定したりできます。

Splatとメッシュの比較

メッシュは表面を記述し、Splatは見た目を記述します。ポリゴンメッシュには、整ったジオメトリ、明確なエッジ、それを覆うテクスチャがあり、三角形はどれも動かしたり、スムージングしたり、削除したりできます。Splatにはそうした構造がありません。だからこそ、反射、ガラス、植物の葉、髪の毛、細いワイヤー、そして現実世界の雑然とした様子といった、メッシュが苦手とするものを捉えられるのです。

スプラットとメッシュの比較

同じ被写体をGaussian Splat(左)とポリゴンメッシュ(右)で表示。シーン全体から個々のプリミティブまでズームインしています

使える目安があります。メッシュは操作したいもののため、Splatは訪れたい場所のためのものです。編集、アニメーション、シミュレーション、3Dプリントが目的なら、やはりメッシュが必要です。見た目を捉えて、人々に探索してもらうことが目的なら、Splatに勝るものはなかなかありません。

広まった理由

2023年より前、写真から写実的な3Dを作るには、不完全な2つの選択肢から選ぶ必要がありました。フォトグラメトリは編集可能なメッシュを生成しましたが、光沢のある表面、細い構造、細かいディテールが苦手でした。初期のNeRF(Neural Radiance Fields)は美しい新規視点を描画できましたが、トレーニングに数時間かかり、表示にもフレームあたり数秒かかりました。その後の研究、特に2022年のNVIDIAのInstant NGPによって、トレーニングは数分に短縮されましたが、スムーズなレンダリングにはやはり強力なGPUが必要でした。Gaussian Splattingは、最高のNeRFに匹敵する画質を、コンシューマー向けハードウェアでインタラクティブに使えるほどのリアルタイムで描画します。この組み合わせが、人々の注目を集めました。

リアルタイムレンダリングによって、研究成果は実用的なものになります。誰でもドラッグして見回せるWebビューア、キャプチャした環境から作るVRやAR、アーティストがビデオクリップのようにキャプチャしたシーンを組み合わせて制作するクリエイティブツールなどです。しかも、キャプチャ側は特別なものではありません。すでにお持ちのカメラで、いつもどおりに撮影するだけです。

何が作られているか

  • 部屋と室内: ホームツアー、スタジオ、ギャラリー、不動産物件の掲載、建築の竣工記録。室内は、安定した照明、動くもののない環境、スマートフォンでのゆっくりした歩き撮りという条件がそろい、初心者に最も向いた被写体です。
  • オブジェクトと製品: Eコマースの回転表示、コレクターズアイテム、ハンドメイド品、彫刻、そして反射するものや細かいディテールのあるもの全般。フォトグラメトリが苦戦する対象です。
  • 屋外の空間: 庭園、ファサード、公園、記念碑、工事の進捗。木々、砂利、苔むした石は、従来の手法が苦手としていたまさにその表面です。
  • クリエイティブとVFXの制作: 撮影用のバーチャルロケーション、ミュージックビデオの背景、VFXプレート、ゲーム環境、デジタルアート。
  • 研究とドキュメンテーション: 文化遺産、実験室のセットアップ、場所がどう見えたかを忠実に記録したいあらゆる場面。

キャプチャのコツ

モーションブラーを避けるため、ゆっくり動いてください。十分に重なりを持たせ、被写体のどの部分も、少しずつ異なる角度から複数のフレームに写るようにします。物体の場合は、上方からを含め、いくつかの異なる高さで周回します。屋外では、風、流れる雲、通行人がいずれも妨げになるため、できれば曇りの日に素早く撮影してください。そして、被写体をフレームから外さないでください。トレーナーが再構築できるのは、カメラが実際に捉えたものだけです。

ダウンロード

3D Splat Appは、Mac App Storeで無料で入手できます。M1以降のチップとmacOS 15.6以降が必要です。

3dsplatapp.comで3D Splat Appをダウンロード

Laan Labs と協業する

Gaussian Splatting・ラディアンスフィールド

写真や動画からフォトリアルな3Dキャプチャを実現します。撮影プロトコルから学習、ブラウザやデバイスでの配信までを一貫して手がけます。

この記事をダウンロード

オフラインで読めるMarkdownソースを入手できます