メインコンテンツへスキップ
AppleのRoomPlanによるリアルタイム3D空間スキャンとセマンティックジオメトリのキャプチャ

AppleのRoomPlanによるリアルタイム3D空間スキャンとセマンティックジオメトリのキャプチャ

Jason Laan
執筆者
Jason Laan
3D Scanning
2022年9月16日

背景

モバイルデバイスで空間の寸法とジオメトリをキャプチャすることは、ますます一般的な作業になっています。部屋や空間がどのような寸法で構成され、何が置かれているのかを把握することは、不動産、デザイン、建築、建設、ショッピング、さらにはAR/VRエンターテインメントまで、あらゆる分野で役立ちます。

LiDARなどのスマートフォンの深度センサーとフォトグラメトリ技術の進歩により、近年では、部屋の空間上の点をキャプチャして点群やメッシュを作成することが、日常的な作業になりました。しかし、その3Dメッシュは構造化されたデータではなく、主要な寸法要素やキャプチャした要素のメタ情報を得るには、ジオメトリを抽出する必要があります。

メッシュとセマンティックジオメトリの比較

セマンティックジオメトリ

上の例では、メッシュは構造化されていないことがわかります。一方、セマンティックジオメトリでは、主要な寸法要素と、キャプチャした要素のメタ情報が抽出されています。

セマンティックジオメトリのキャプチャ

空間のジオメトリと寸法を得るには、従来は、まずメッシュや点群のキャプチャを行っていました。その後、さまざまなアルゴリズムや機械学習の手法で情報を割り出していました。これはLaan Labs(そして他の非常に多くの企業)が取り組んできた課題です。

平面の検出

2Dおよび3Dの空間ジオメトリのキャプチャが重要な理由

  • バーチャル空間 - デザイン、建設などのプロセスは、いまや空間のデジタルダブルに依存しています。
  • ゲーム / エンターテインメント - 現実の部屋をVR/ARの体験に取り込むには、空間を正確にキャプチャする必要があります。そうすれば、ゲーム内のテーブルが、部屋にあるテーブルになります。
  • 不動産 - 間取り図と寸法の提示は、いまやこの業界で当たり前の要素になっています。
  • 産業用途 - 計画と製造には、レイアウトとアセットの管理が必要です。
  • その他にも多数…
間取り図

CREDIT: @GregMadison

これまではどのように行われてきたか

ARタグ付けによるアプローチ

ARセッション中に、ユーザーが床面に沿って角を手動でタグ付けし、壁を作成します。

ARタグ付けによる間取り図

左:Floor Plan App | 右:CREDIT @pixelplacement

スキャンしてトレース

キャプチャの完了後に、平面ビューのスライスを取り出して、ジオメトリを半手動で抽出します。個々の部屋のスキャンを完了させ、手動と自動(ICP)による位置合わせでそれらを1つのビューに統合します。その後、完成したスキャンを上から見て、その上に間取り図をトレースします。壁など一部のジオメトリは、作業を補助するために自動抽出できます。

スキャンしてトレース

ML(機械学習)の手法

クラウド処理で、機械学習アルゴリズムがスキャンしたメッシュを自動的に分析し、間取り図を抽出します。

MLによる3D間取り図MLによる間取り図

左:MLで処理した3D間取り図 | 右:MLによる部屋の間取りの輪郭

リアルタイム3Dセマンティックジオメトリキャプチャの登場、AppleのRoomPlan

Appleの新機能RoomPlanは、iOS 16のLiDAR搭載デバイスにリアルタイムのジオメトリキャプチャをもたらします。この「第一原理」的なアプローチは、テクスチャやメッシュをキャプチャするのではなく、空間の幾何学的な表現を作ることを目指しています。3D Scanner AppのRoomPlanモードもご覧ください。

RoomPlan SDKを使えば、アプリに手早く追加できます。優れたデモをいくつか紹介します。

左:CREDIT Shopify(Russ Maschmeyer @StrangeNative) | 右:CREDIT @planner5d

3D Scanner AppのRoomPlanモード

Laan Labsは、LiDAR、TrueDepth、フォトグラメトリという既存のキャプチャモードを補完するRoomPlanモードを3D Scanner Appに追加できることに、大きな期待を寄せていました。

新機能:

  • RoomPlan + テクスチャ - 3D Scanner Appでは、ジオメトリにテクスチャを貼って、空間をより的確に表現できます
  • 自動寸法 - 空間の寸法を自動で計算できます。
  • 360°写真 - 再ローカライズにより、RoomPlanのキャプチャ完了後にスキャンへ360°写真を追加できます。

まだ道半ば

RoomPlanは非常に印象的ですが、まだ(今のところは?)非常に基本的なものです。もちろんこれは最初のバージョンであり、Appleには潤沢なリソースと優秀な開発者がいるため、改善が期待できます。2022年9月時点での主な課題は次のとおりです。

  • 精度 - 非常に正確ではあるものの、従来のスキャンと比べると、不正確さを生むジオメトリを拾ってしまうことがあります。
  • 特殊な形状 - RoomPlanは、四角い空間で最も良く機能します。ヴォールト天井や変わった形の部屋では問題が起きることがあります。
  • 一般的な情報のみ - ドアの開き方など、通常の間取り図にある詳細は含まれません。
  • オブジェクトの階層と接続 - 壁は、通常の間取り図のような形では接続されていません。

右:credit vid2cad

まとめ

全体として、RoomPlanのようなリアルタイムキャプチャは、さまざまなワークフローでユーザーが3Dデータを扱う方法に、素晴らしい可能性を切り開いています。AppleのRoomPlanのような3Dセマンティックジオメトリキャプチャの進歩が、お客様のユースケースにどう役立つかをお知りになりたい場合は、お気軽にお問い合わせください。

Laan Labs と協業する

空間コンピューティング:AR・VR・ヘッドセット開発

現実世界を理解し描画するアプリを、Apple Vision Pro、Meta Quest、Android XR、スマートグラス、スマートフォン、Webで開発します。

この記事をダウンロード

オフラインで読めるMarkdownソースを入手できます