メインコンテンツへスキップ

Gaussian Splatting・ラディアンスフィールド

写真や動画からフォトリアルな3Dキャプチャを実現します。撮影プロトコルから学習、ブラウザやデバイスでの配信までを一貫して手がけます。

Laan Labsは、Gaussian Splattingと、通常の写真や動画をフォトリアルな3Dシーンに変換する、より広いラディアンスフィールド技術群を専門としています。チームは、ニューラルラディアンスフィールド(NeRF)が実用段階に入った当初からこれらの技術に取り組んでおり、15台の同期したiPhoneでボリューメトリックな「バレットタイム」映像を撮影した実績があります。現在は、Gaussian Splattingのツールとパイプラインをエンドツーエンドで構築しています。Laan Labs独自のMetalエンジン上に構築されたネイティブMac向けトレーナー兼エディタの3D Splat App、点検のためにスプラットをLiDARや写真と組み合わせるRadianceView、そしてインフラ、航空宇宙、不動産分野のクライアント向けの、キャプチャから配信までのワークフローです。

ラディアンスフィールドは、サーフェスメッシュではなく、シーン内のあらゆる点から光がどのように放たれるかによってシーンを表現します。そのため、フォトグラメトリが苦手とする反射、ガラス、植物の葉、髪の毛、そして現実の場所が持つ雑多な要素を再現できます。NeRFはその品質が可能であることを示し、シーンを写真に合うよう最適化された何百万もの小さく柔らかな3Dブロブとして表現するGaussian Splattingは、一般的なハードウェアでリアルタイムに表示できる速度を実現しました。Laan Labsは、InfraTechのケーススタディで、同じアセットを使ってNeRF、スプラット、メッシュを比較しました。現在は可視化の作業の大半でスプラットを使用し、計測が必要な場面ではLiDARやフォトグラメトリを併用しています。

この取り組みを際立たせているのは、パイプライン全体にわたる深い専門性です。Laan Labsは、オープンソースのトレーナーを動かすだけではありません。最先端のCUDA対応スプラットトレーナーをMetalに移植して、クラウドを使わずApple Silicon上でネイティブに学習できるようにしました。また、Mac、iPhone、iPad、Apple Vision Proで何百万ものスプラットを表示するレンダラーを自ら開発し、生の学習結果をクライアントが使える形に仕上げる編集、圧縮、エクスポートのツールも構築しました。この移植の経緯は、MetalによるApple Silicon上でのGaussian Splat学習でご覧いただけます。

私たちの取り組み

キャプチャワークフローの設計
スマートフォン、360°カメラ、ドローン向けのプロトコルを設計し、部屋、建物、車両、航空機、オブジェクトを確実に再構築できるようにします。3Dの専門家ではない現場チーム向けの、マスキング、露出、撮影範囲のガイダンスも含まれます。
ローカルおよびオンプレミスでの学習
クラウドサービスではなく、Macやクライアント自身のハードウェア上で動作するGaussian Splat学習です。機密性の高い現場、大規模なキャプチャ、画像をアップロードできないワークフローに対応します。Structure from Motion、学習、クリーンアップ、エクスポートをひとつのパイプラインで行います。
カスタムトレーナーとレンダラー
Laan Labsは、独自のMetalベースのスプラットエンジンを保守し、論文が発表されるたびに最新の研究成果を取り込んでいます。そのためクライアントは、ベンダーを待つことなく、最新の品質と速度を利用できます。レンダラーはmacOS、iOS、visionOS、Webで動作します。
ハイブリッドキャプチャ:スプラット、LiDAR、フォトグラメトリ
見た目にはスプラットを、スケール、計測、ジオメトリにはLiDARとフォトグラメトリを使い、ひとつの記録として位置合わせします。これがRadianceViewの基盤であり、検査員はスキャン上で計測し、写真で細部を確認できます。すべて同じ位置情報に紐づけられています。
編集、圧縮、配信
クロップ、クリーンアップ、マスキング、変換を行い、高速な読み込みのためにSPZやSOGへ圧縮します。配信先はWebビューア、ネイティブアプリ、RadianceView、そしてスプラットのシーンを実寸大で歩いて見て回れるApple Vision Proです。
ダイナミックおよびボリューメトリックキャプチャ
動く被写体のマルチカメラキャプチャです。最初の15台のiPhoneによるNeRFバレットタイム用リグから、現在取り組んでいるダイナミックスプラットまで、映画、スポーツ、製品向けの用途に対応します。

進め方

ラディアンスフィールドのプロジェクトは、通常キャプチャテストから始まります。Laan Labsが、クライアントが使う見込みの機材で代表的なアセットをスキャンして学習させ、その結果を一緒に確認します。これにより、キャプチャ方式、品質目標、配信フォーマットに関する判断を、デモではなく実際の出力に基づいて行えます。

その後は、完成したワークフローを構築して引き渡す形、クライアントが運用するライセンス版パイプラインの形、あるいはキャプチャと処理を継続的にサービスとして提供する形のいずれかで進められます。多くのクライアントは、成果物を自社のユーザーに届けるために、3Dキャプチャ技術のライセンス提供や空間コンピューティングと組み合わせています。

関連する取り組み

InfraTech 3Dスキャン
導入事例

InfraTech 3Dスキャン

スマートフォンを使って、NeRF や Gaussian Splat など各種の3D表現をキャプチャ・作成し、InfraTech の資産を管理するワークフローの概要です。

RadianceViewによる航空機の記録
導入事例

RadianceViewによる航空機の記録

退役した旅客機を解体する前に、その部品の記録が必要です。RadianceViewとiPhoneを使えば、機体全体をスプラットとして、細部を写真として、そしてすべての所見を確認した場所と結びつけて記録できます。

資産ドキュメンテーション
導入事例

資産ドキュメンテーション

Laan Labsが、空間コンピューティングとAIを活用した迅速な検査と記録(RID)によって、産業界における重要資産の記録、検査、共同作業のあり方をどのように変えているかを紹介します。

モバイルLiDARワークフロー
導入事例

モバイルLiDARワークフロー

プロフェッショナルがモバイルLiDARスキャンを業務にどのように取り入れているかを紹介します

MetalによるMac上のGaussian Splatトレーニング
ブログ

MetalによるMac上のGaussian Splatトレーニング

Gaussian Splattingのトレーナーの多くは、NVIDIA GPU向けのCUDAで作られています。私たちはCUDA製のSplatトレーナーをMetalに移植し、Apple Silicon上でネイティブに動作するようにしました。その成果が、Mac上でローカルにSplatをトレーニングできる無料アプリ「3D Splat App」です。

NeRFによるバレットタイム
ブログ

NeRFによるバレットタイム

15台の同期したiPhoneとNeural Radiance Fields(NeRF)を使い、マトリックス風の「バレットタイム」ボリュメトリックビデオをキャプチャして、3D空間の中で瞬間を静止させた方法を紹介します。

この取り組みから生まれた製品

  • 3D Splat App — MacでGaussian Splatの学習、表示、編集が可能、無料
  • RadianceView — スプラット、LiDAR、写真をひとつの点検記録に統合

よくあるご質問

Gaussian SplattingはNeRFより優れていますか。

現在のほとんどの本番作業では、Gaussian Splattingです。最高水準のNeRFに匹敵する画質を備え、数分で学習でき、一般的なハードウェアでリアルタイムに描画できるため、インタラクティブなビューア、点検、Web配信が実用的になります。NeRFは研究や一部のダイナミックシーンの手法では今も有用であり、Laan Labsは2022年から両方で開発してきました。

Gaussian Splatは計測や点検に使えますか。

スプラット単体は視覚的な記録であり、測量された記録ではありません。Laan Labsは、スプラットをLiDARやフォトグラメトリと組み合わせることで、シーンに正確なスケールと計測可能なジオメトリを持たせ、高解像度の写真をシーン内の位置に紐づけます。この組み合わせを実現するのがRadianceViewで、部品再利用のために航空機全体を記録する用途で使われてきました。

シーンをキャプチャするにはどのような機材が必要ですか。

部屋、オブジェクト、車両には、最近のiPhoneがあれば十分です。大きな屋内は360°カメラで効率が上がり、屋外や敷地はドローンでカバーでき、ミラーレスカメラなら最高の品質が得られます。Laan Labsは、クライアントがすでにお持ちの機材と、成果物に求められる精細さに合わせて、キャプチャプロトコルを設計します。

学習のために画像をクラウドに送る必要がありますか。

いいえ、必要ありません。Laan LabsはApple Silicon搭載のMac上でGaussian Splatをローカルで学習させ、オンプレミスでの処理環境も構築できるため、機密性の高い現場、航空機、施設、製品のデータがクライアントの管理下から出ることはありません。3D Splat Appは個人ユーザー向けにこれを実現しており、チーム向けには、Laan Labsが同じパイプラインをそのワークフローに組み込みます。

どのくらいの規模のシーンをキャプチャできますか。

単一の部品から、旅客機全体や建物全体まで対応します。大規模なシーンは、区画ごとにキャプチャして位置合わせし、表示するデバイスが扱える解像度で学習し、配信用に圧縮します。限界となるのは、手法そのものよりも、キャプチャにかかる時間と表示用ハードウェアであることが大半です。

スプラットはどのようなフォーマットで配信できますか。

標準のPLY、圧縮PLY、SPZ、SOGに対応しており、SuperSplatなどのWebビューアやツール、プラグイン経由のUnityやUnreal、そしてMac、iPhone、iPad、Apple Vision Pro向けのLaan Labs独自のビューアで読み込めます。ハイブリッドキャプチャでは、メッシュ、点群、写真も標準フォーマットでエクスポートできます。

まずはご相談ください

プロジェクトについてお聞かせください。創業者のひとりが返信いたします。labs@laan.com へメールいただくか、お問い合わせフォームをご利用ください。

関連サービス: キャプチャパイプラインと点検, 空間コンピューティング、AR・VR, 3Dキャプチャとライセンス

業界: 不動産, 公益事業・インフラ, 航空宇宙・MRO, 建設・AEC, 自動車, メディア・VFX・ゲーム, アート・美術館・文化遺産