
InfraTech 事例:複数の3D可視化・再構築技術の比較 - NeRF、Splat、メッシュなど
スマートフォンを使って、NeRF や Gaussian Splat など各種の3D表現をキャプチャ・作成し、InfraTech の資産を管理するワークフローの概要です。
ビジネス上の課題
ある通信事業者は、携帯電話基地局のタワーや通信中継局の資産を管理するソリューションを必要としていました。現場のキャプチャは、費用対効果と都市部でのドローン規制のため、モバイルデバイスで行う必要がありました。このソリューションには、次の支援が求められました。
- 資産の確認
- 構成部品の目録作成
- 状態の記録
- 作業指示の管理
**要約:**Laan Labs は、通信事業者が必要とする計測データを LiDAR メッシュで、視覚情報を画像アノテーション、360度写真、そして NeRF と Gaussian Splatting で収集できる、モバイルのキャプチャ・レンダリングワークフローを開発しました。
概要
Laan Labs の通信インフラ分野のクライアントは、3D Scanner App のカスタムライセンス版を、現場の資産管理業務で活用し、成果を上げていました。そのうえで、いくつかの重要な課題があり、Laan Labs はスキャン写真へのアノテーションの追加でそれを解決しました。スキャン中にユーザーが3D上の点を指定し、資産の主要な部品についてメモ付きの写真アノテーションを残せます。視覚的な評価がプロセスで非常に重要だったため、360度写真のキャプチャもワークフローに加えました。さらに、最近の NeRF(Neural Radiance Fields)と Gaussian Splatting の進歩を受けて、これらも出力として追加しました。従来のフォトグラメトリよりも、反射する表面、背景、細部の表現に優れた点があるため、遠隔のユーザーが資産をより適切に検査できます。
アプローチ
Laan Labs は通信事業者の業務プロセスに合わせて、キャプチャ、デバイス上でのメッシュ処理、そして継続的なデータ管理のために、別のレンダリング表示向けにデータセットをクラウドへアップロードするワークフローを開発しました。プロセスの概要は、下のワークフローで確認できます。
基本的な流れは、iOS デバイスがキャプチャを完了して「グラウンドトゥルース」のデータセットを作成するというものです。このデータセットはクラウドに保存され、技術が進歩した際に3D表現を再処理するためにも使えます。
- フォトセット - ポーズデータ付きの RGB 画像
- 深度データ、LiDAR の信頼度
- メタ情報 - GPS、日付、ユーザーなど
- アノテーション - 重要な画像、現場のメモ、テキスト、バーコード/QRコードなど
評価
各種の出力を評価するため、同じキャプチャデータセットを使って比較を行い、資産の管理において各出力が最も適した用途に使えるようにしました。
| 種類 | 評価指標 |
|---|---|
| • 点群 • メッシュ - (デバイス上、フォトグラメトリの後処理) • 360度写真 / バーチャルツアー • セマンティックジオメトリ(例:RoomPlan) • NeRF • Gaussian Splatting • デジタルツイン - 合成 | • 処理時間 / コスト • 寸法の扱いやすさ(測定できるか) • 視覚的な鮮明さ • 損失指標(ホールドアウト画像) |
各出力の実装
点群
3D点の点群レンダリングは、多くの業界のプロフェッショナルになじみのある形式で、RGB 情報によって、キャプチャした資産について視覚的な手がかりもある程度得られます。この表現がよく好まれるのは、「生」のデータの見た目と表現であることが理由です。後処理やビュー合成によって、収集したデータが歪められていません。この表現は、資産の寸法に関する特性を管理するのに適しています。キャプチャ中に集めた画像を参照すれば、追加の情報も得られます。
LiDAR メッシュ
キャプチャから処理したメッシュは、資産の寸法に加えて、全体の形状と構造(測定など)が得られる優れた出力です。メッシュ化の過程では、細部のメッシュが失われることが多く、反射する表面も得意ではありません。さらに、表面テクスチャを合成してブレンドする際に、テクスチャ画像を歪めるさまざまな問題が起こり、細部や文字を読み取れなくなる場合があります。
フォトグラメトリ
深度データの助けなしに、RGB 画像だけからメッシュを作成します。多くのモバイルデバイスには LiDAR などの深度情報がないため、これはデバイスに依存しない優れた代替手段です。適切なスケールを得るためにマーカーを使う必要があるのは、ドローンでのキャプチャと同様です。この処理は通常クラウドで行われ、デバイス上で LiDAR によりキャプチャしたデータをクラウドで後処理して、テクスチャ解像度を改善できることも多くあります。
360度写真 / バーチャルツアー / アノテーション付き画像
最高の視覚的忠実度が求められる場合には、360度写真とアノテーション付き画像を使います。360度写真は、キャプチャ中にユーザーが1か所に立ったまま、360度の弧を描いて回転することで作成されます。これらの画像は、バーチャルツアーによく使われます。接写した細部が必要な場合、ユーザーはスキャン中に対象物をクリックして、3Dアノテーション画像を作成できます。これは通常、後で OCR やバーコード/QRコードの検出を行うために、鮮明な文字をキャプチャする最良の方法です。
セマンティックジオメトリ
セマンティックジオメトリは、キャプチャ中に寸法付きの形状を抽出して物体を識別し、メッシュや点群ではなく3D CAD ファイルを出力します。この資産では実装していませんが、Apple の RoomPlan が示すように、急速に進歩している技術です。現在は屋内のキャプチャ向けに最適化されていますが、屋外やその他の種類の対象に向けても急速に改善されています。
NeRF(Neural Radiance Fields)
NeRF(Neural Radiance Fields)は、3Dシーンを合成するための、ニューラルネットワークに基づく新しいタイプのモデルです。複雑なシーンを、非常に精細でフォトリアルにレンダリングできる点が優れています。ただし、寸法の扱いには向かず(測定には最適とはいえません。この点は着実に進歩していますが)、現時点ではクラウドでの処理時間と費用が高くなります。こうしたコストは instant NGP のようなワークフローによって急速に変化しており、まもなくフォトグラメトリと同程度になるはずです。
Gaussian Splatting(Gaussian Splat)
Gaussian Splatting は、たくさんの点をやわらかいブラシでぼかして混ぜ合わせ、画像をなめらかで途切れのないものにするようなものです。3Dグラフィックスなどの技術分野で、隙間を埋めて全体をより自然に見せるために使われる、巧みな手法です。NeRF よりもはるかに低コストで、短時間で生成できますが、すべての情報が実際には2D平面に投影されているだけなので、測定には使えません。メッシュと Splat の位置合わせについては優れた研究があるため、この点は変わるかもしれません。
Gaussian Splatting は、デジタルのエアブラシで散らばった点を混ぜ合わせてなめらかな絵にするようなもので、3Dグラフィックスのブロック感を和らげるのに最適です。一方、NeRF は、通常の写真から非常にリアルな3Dシーンを作り出すようコンピュータに教え込むようなもので、細かなディテールや光の効果をすべて捉えます。
デジタルツイン - 合成
3D CAD、つまり合成のデジタルツインは、最もすっきりとした視覚表現であり、Revit などの CAD ソフトウェアで利用できます。状態を正確に表すものではありませんが、相互運用性が高いため、多くのエンジニアが好む形式です。この出力は通常、自動では生成されず、3Dエンジニアが点群やメッシュをもとに、Revit や SketchUp などの CAD プログラムで資産を再現します。下の図面はこの資産に関連するものではありませんが、この通信事業者のワークフローで使われているため、他の出力との関係で触れておくことが重要です。
まとめ
Laan Labs は、ライセンス版の 3D Scanner App を基盤ツールとして、高度にカスタマイズしたワークフローを開発し、成功するソリューションを実装できました。このシステムは、ドローンや高精度 LiDAR スキャナーなど、同社の他の収集手法ともうまく連携します。ご質問がありましたら、お気軽に labs@laan.com までご連絡ください。
使用技術
コンピュータビジョン、ニューラルネットワーク、クラウドサービス、NeRF、Gaussian Splatting
Laan Labs と協業する
Gaussian Splatting・ラディアンスフィールド
写真や動画からフォトリアルな3Dキャプチャを実現します。撮影プロトコルから学習、ブラウザやデバイスでの配信までを一貫して手がけます。
この記事をダウンロード
オフラインで読めるMarkdownソースを入手できます






