メインコンテンツへスキップ
拡張現実によるロボットの計画 - 実際の作業空間を3Dスキャンする

拡張現実によるロボットの計画 - 実際の作業空間を3Dスキャンする

ロボットのシミュレーションの精度は、動作させる部屋のモデルの精度で決まります。Laan Labsは、UnityベースのARビューアに3Dスキャンを組み込み、シミュレーション上のロボットアームを実際の作業空間のスキャン内に配置できるようにしました。

roboticsaugmented-reality3d-scanningunity
Jason Laan
Jason Laan
2024年12月11日

ビジネス上の課題

産業用ロボットは、シミュレーションで計画されます。エンジニアは、設置が行われるずっと前に、デスクトップソフトウェアでセルをレイアウトし、アームをプログラミングし、その動作を確認します。拡張現実(AR)ビューアは、そのシミュレーションを現場に持ち込みます。計画されたロボットが、設置される床の上に、実寸でスマートフォンやタブレットに表示されます。

組立ラインに沿って稼働する産業用ロボットアーム

ロボットは、他の設備に囲まれた狭い空間で作業します。写真:Clemenspool、Wikimedia Commons、CC0。イメージとして掲載しており、本プロジェクトのものではありません。

実際の部屋の中の所定の位置に、シミュレーション上のロボットアームを表示しているスマートフォン

イメージ:ARビューアが、設置予定の場所に計画中のロボットを表示します

シミュレーションに欠けていることが多いのは、現場そのものです。柱、コンベヤー、作業台、ケーブルトレイは、モデルに含まれていないか、古い図面から描き起こされたものです。アームが届かない、あるいは何かに干渉するといったことが据付中に判明すれば、大きなコストがかかります。

2台のロボットアーム、コンベヤー、安全柵、建物の柱を備えたパレタイジングセル

実際のセル:コンベヤー、安全柵、積み上げられた製品、柱が、すべてロボットの届く範囲にあります。写真:KUKA Roboter GmbH、Bachmann、Wikimedia Commons、パブリックドメイン。イメージとして掲載しており、本プロジェクトのものではありません。

シミュレーション上のセルと、モデルにはない柱がある実際の現場のスキャンを並べた図

イメージ:シミュレーション上のセルと実際の現場が一致することはめったにありません

あるロボットメーカーは、そのギャップを自社のARビューアアプリの中で埋めたいと考えました。現場にいる人が同じデバイスで実際の周辺環境をスキャンし、そのスキャンをジオメトリとしてシミュレーションに取り込めるようにするものです。

要件は具体的でした。

要件目標
統合Unityベースのアプリに組み込める3Dスキャンライブラリ
対応デバイスLiDAR搭載のiPhoneとiPad(iPhone 12 Pro、iPad Pro以降)
出力MTLのマテリアルとテクスチャを含むWavefront OBJ
想定環境幅6 m、奥行6 m、高さ3 m
メッシュ解像度三角形の辺の長さが平均で約30 mm
スケール精度1%以内:現場の1メートルが、スキャン上で99~101 cmになること

手元にあるデバイスで実際の作業空間をスキャンし、その中でロボットを計画する


アプローチ

クライアントのARビューアはUnityで構築されています。Laan Labsは、3D Scanner Appと同じ基盤技術であるモバイル3Dスキャン技術を、Unityアプリケーション内で動作するコンポーネントとして提供しました。

この統合は、キャプチャから使用可能なジオメトリまでの全工程をカバーしています。

  • キャプチャ。 ユーザーはiPhoneまたはiPadを持って、エリアを歩きます。LiDARの深度情報とカメラ画像がリアルタイムでメッシュに統合され、メッシュは成長していく様子が表示されるため、どこまで取得できたかを確認できます。
  • デバイス上での再構築。 スキャンはスマートフォンまたはタブレット上で処理されます。何もアップロードされないため、生産設備の画像が機密となる工場の現場でも安心です。
  • エクスポート。 結果は、MTLマテリアルファイルを伴うOBJ形式のテクスチャ付きメッシュで、実寸であり、ARセッションと同じ座標系で出力されるため、カメラに映るものと正確に重なります。
  • シミュレーションでの利用。 スキャンした作業空間は、ARビューアとデスクトップのシミュレーションソフトウェアの両方で、シミュレーション上のロボットアームの隣に読み込まれ、ロボットを計画するための周辺環境として機能します。
スキャンした作業空間:床、壁、柱、コンベヤー、作業台

イメージ:3Dジオメトリとして取得した、6 m x 6 mの作業空間

Laan Labsは、このスキャン技術をソースコードライブラリとして、統合の全体像を示すサンプルのUnityアプリとあわせて提供しました。これにより、クライアントの開発者が自社製品に組み込み、自ら保守できるようになりました。

シミュレーション上のロボットアームの周囲の環境としてスキャンを読み込んだシミュレーションソフトウェア

イメージ:シミュレーション上のロボットの周囲の環境として読み込んだスキャン

ビジネス価値

周辺環境がシミュレーションに入ることで、これまで据付まで待たなければならなかった疑問に、最初の現場訪問で答えを出せます。

  • 収まるか。 ロボット、その基台、動作範囲を、図面ではなく実際の床面と照らして確認できます。
  • 届くか。 実際の作業台やコンベヤー上のピック&プレース位置を、アームの到達範囲と照らして確認します。
  • 何が邪魔になるか。 CADモデルにない柱、安全柵、設備もスキャンに含まれているため、計画した動作をそれらと照らして確認できます。
  • 全員が見られるか。 オペレーター、安全担当者、顧客が、何かを発注する前に、現場ではARで、あるいは遠隔から、同じシーンを見ることができます。
計画した動作をスキャンと照らして確認した画面。柱との衝突が強調表示されています

イメージ:スキャンした周辺環境と照らして、計画した動作を確認します

スキャンはスマートフォンやタブレットで行うため、キャプチャは通常の現場訪問の一部として済み、レーザースキャナーや測量チームは必要ありません。

目標値であり、試験結果ではありません

要件の表に示した数値は設計上の目標値です。本事例では、それらに対する実測結果は報告していません。また、これらの数値は3つの異なるものを表しており、同じものとして読むべきではありません。

  • メッシュ解像度(三角形の辺が約30 mm)は、表面をどれだけ細かく記述するかを表します。メッシュにどれだけ小さな特徴が現れるかを示すものであり、メッシュの精度を示すものではありません。
  • スケール精度(1%以内)は、スキャン上の距離が現場の距離と一致するかどうかを表します。6 mの部屋では、1%は最大6 cmまでの誤差を許容することになります。
  • クリアランスの精度は、ロボットと障害物の間の隙間として報告された値をどこまで信頼できるかを表します。これは、スケール、局所的な表面誤差、メッシュ解像度、そしてスキャンがロボットの基台とどれだけ正確に位置合わせされているかに左右されるため、別途検証が必要であり、他の2つから導かれるものではありません。

スマートフォンのLiDARは、良好な条件下であれば、部屋の規模でおおむね1センチメートル程度の精度があり、レイアウトや到達範囲の検討、クリアランスの最初の確認に適しています。クリアランスに余裕がない箇所では、現場でその余裕を確認する必要があります。スキャンは、ロボットのキャリブレーションや、サブミリメートルの位置精度が求められる計測の代わりにはなりません。

今後の展開

同じキャプチャで、周辺環境を提供するだけにとどまらない取り組みも可能です。次のステップとして自然なのは、スキャンの中のロボットアームやその他の設備を自動的に認識し、既存の機械を特定して、未加工のスキャンジオメトリのままにせず、その正確なモデルに置き換えることです。

このプロジェクトについて

Laan Labsは、自社製品の中にスキャン機能を組み込みたい企業に対し、3Dキャプチャ技術を、ソースコード、コンポーネント、または完成したアプリとしてライセンス提供しています。3Dキャプチャと技術ライセンスと、Laan Labsがロボットとオートメーションの分野でどのように取り組んでいるかをご覧ください。

ロボットやスキャンのプロジェクトについてご相談の際は、お問い合わせいただくか、labs@laan.comまでメールをお送りください。

使用技術

LiDAR、ARKit、Unity、3D再構築、拡張現実、OBJエクスポート、オンデバイス処理

Laan Labs と協業する

3Dキャプチャ技術のライセンス提供

実績のあるモバイル3Dスキャン、フォトグラメトリ、Gaussian Splattingのパイプラインを、SDK、ソースコード、ホワイトラベルアプリとしてライセンス提供します。

この記事をダウンロード

オフラインで読めるMarkdownソースを入手できます