メインコンテンツへスキップ
ARKitで作る低コスト*なホームロボットの作り方

ARKitで作る低コスト*なホームロボットの作り方

Jason Laan
執筆者
Jason Laan
automotive
2018年4月29日

動作中のARKitホームロボット

低コストなARホームロボットを作る手順を、簡単にまとめました。iDeviceが2台必要なので、「低コスト」というのは少し大げさかもしれません。ただ、ARKit対応のiPhoneが余っているなら、ロボットのベースは、入手状況にもよりますが40ドルほどで済みます。

ロボット本体

Romotive社の優れたロボットベース「Romo」を使いました。iPhoneをロボットに差し込むだけで、コードから制御できます。

iPhoneロボットのRomo

Romotive社のiPhoneロボット「Romo」

残念ながら同社は事業を終了しているため、入手するには中古を買うしかありません。現在、Amazonに数点出品されています。Amazonで「Romotive」を検索。私は運よく35ドルで見つけました。入手先をご存じの方は、コメントで教えてください。

ARKitはカメラの映像情報を使ってスマートフォンの位置を追跡するため、スマートフォンを持ち上げて周囲をよく見渡せるように、木製のフレームを作りました。改造していないRomoのベースのままでも何とかなるかもしれませんが、自宅の中でも視覚的な特徴が少ない場所では、ARKitがトラッキングに苦労するかもしれません。

ロボットの制御

Romotive社は事業終了前に、ロボットのソースコードをすべて公開してくれました。このリポジトリはFoti Dimさんがフォークし、https://github.com/fotiDim/Romoで丁寧にメンテナンスされています。SDKのコードをダウンロードしたあと、私は「HelloRMCore」というXcodeプロジェクトから始めました。そのGitHubリポジトリの手順に従って、Romo SDKを使った新しいプロジェクトを作成してください。

ARKitとナビゲーション

拡張現実のウェイポイントをたどるロボット

拡張現実のウェイポイントをたどるロボット

ARKitを使うと、ロボットの3D位置を驚くほど正確にトラッキングできます。それだけでも、iPhoneベースのロボットにとって十分魅力的な追加機能です。たとえば、ロボットが障害物を避けながら家の中を移動できるようになります。ところが残念ながら、ロボットは自分が家のどこにいるのかを知らず、出発地点から3.2メートル動いたことしかわかりません。この問題は、既知のマップの中でロボットの位置を特定(ローカライズ)することで解決できます。まさにこの問題を解決するために、いくつもの企業が生まれました。これは「ARクラウド」と呼ばれることもあります。ARクラウドについてはこちらで詳しく読めます。

ARクラウドSDKをARKitと併用すると、ロボットやその他のデバイスが、リアルタイムで1つの座標系を共有できます。つまり、ロボットは自分が家のどこにいるのかを把握し、その位置を(同じマップ内で自分の位置を把握している)他のスマートフォンに伝えられます。ARを使えば、ロボットの位置を表示したり、ロボットが向かうウェイポイントを描いたりすることもできます。

ロボットから見た世界

ロボットの世界の見え方(というのは冗談です)

ロボットのローカライズには、vertical.aiの便利なPlacenote SDKを使いました。最初のステップは、SDKを使って、たとえばキッチンのマップを作成することです。マップを作成すると、ロボットに載せたスマートフォンはそのマップ上で自分の位置を特定でき、同じマップを読み込んだ他のデバイスにその位置を伝えられます。「マップ」というと、道路や家が人間にわかりやすくラベル付けされたGoogleマップのようなものを思い浮かべるかもしれません。しかし、位置の同期に使うマップには、「キッチン」や「ここに壁」といったラベルは含まれていません。とはいえ、そうしたラベルをARマップに自分で追加することはできます。

最後のステップは、WiFiを使ったロボットとコントローラー間の通信です。市販の解決策はたくさんありますが、私たちはiOSの「Multipeer Connectivityフレームワーク」を使いました。サンプルコード付きの優れたチュートリアルがこちらにあります。https://www.ralfebert.de/ios-examples/networking/multipeer-connectivity/

最後に、ウェイポイントとロボットの経路を表示するために、少しのSceneKitコードを使いました。

今後の展開

これは短時間でできる「週末のお手軽プロジェクト」でしたが、安価なロボットベースと、日々進化するスマートフォンの技術を組み合わせることには、大きな可能性があります。センサーの向上、SLAMの進歩、コンピュータビジョン、5Gが組み合わさることで、興味深い活用例がたくさん生まれます。

この構成と少しのコーディングで、まったく実現可能なアイデアをいくつか挙げてみます。

基本的な障害物回避

ARKitの3D特徴点を使ってボクセルグリッドを作成し、ロボットが物体を避けながら経路を計画できるようにします。

家の間取り図の自動作成

ロボットを自由に動き回らせながら、スティッチしたパノラマ付きの見事な間取り図を作成させます。

オーブンはついている?

家具や家電の位置まで含めた、セマンティックラベル付きの間取り図ができたら、ロボットにオーブンの場所まで行かせ、写真をメールで送り返させます(あるいはもっと良いのは、ニューラルネットワークでON/OFFを分類することです)。

顔認識と人の追従

家にいるのは誰か。どこにいるのか。Nestのドアベルのようなものですが、動き回れます。

一日を通したペットの追跡

ペットトラッカー

ロボットに一日中ペットを追跡させ、3Dの移動履歴を作成します。仕事に行っている間、うちのネコはどこに行っているのでしょうか。

ビデオテレプレゼンスと2D住宅マップ

ロボットが見ているものを見ながら、2Dの間取り図ビューをタップして部屋を移動することで、家の中を操縦できます。


アプリのコードはこちらにあります。https://github.com/laanlabs/HomeRobot ただし開発途中のため、セットアップで問題が起きた場合はお知らせください。

Laan Labs と協業する

空間コンピューティング:AR・VR・ヘッドセット開発

現実世界を理解し描画するアプリを、Apple Vision Pro、Meta Quest、Android XR、スマートグラス、スマートフォン、Webで開発します。

この記事をダウンロード

オフラインで読めるMarkdownソースを入手できます