跳至主要内容
如何制作一个便宜*的 ARKit 家用机器人

如何制作一个便宜*的 ARKit 家用机器人

Jason Laan
作者:
Jason Laan
automotive
2018年4月29日

ARKit 家用机器人演示

下面简要记录制作一个便宜的 AR 家用机器人的步骤。说“便宜”可能有些勉强,因为需要两台 iOS 设备。但如果你碰巧有一部闲置的、支持 ARKit 的 iPhone,那么机器人底座只需要大约 40 美元,具体取决于货源情况。

机器人外壳

我们使用了 Romotive 出品的出色的 “Romo” 机器人底座。只要把你的 iPhone 插到机器人上,就可以用代码控制它。

Romo iPhone 机器人

Romotive 的 “Romo” iPhone 机器人

遗憾的是,这家公司已经关门了,所以只能买二手的。目前亚马逊上有几个:在亚马逊搜索 “Romotive”。我运气不错,花 35 美元买到了一个。如果有人知道哪里能买到,请在评论里告诉我们!

由于 ARKit 利用相机的视觉信息来跟踪手机的位置,我们做了一个木头支架把手机垫高,让它能更好地观察周围环境。直接用未经改装的 Romo 底座大概也能凑合,但在家里视觉特征较少的区域,ARKit 可能会难以跟踪。

控制机器人

在关门之前,Romotive 很慷慨地公开了机器人的全部源代码。Foti Dim 对这个仓库做了 fork,并在这里维护得很好:https://github.com/fotiDim/Romo,作者见 Foti Dim。下载 SDK 代码之后,我从 “HelloRMCore” 这个 xcode 项目开始。按照那个 GitHub 仓库里的说明,用 Romo SDK 创建一个新项目。

ARKit 与导航

机器人沿增强现实路径点行进

机器人沿增强现实路径点行进

借助 ARKit,我们可以对机器人进行出色的 3D 位置跟踪。仅这一点,就是对基于 iPhone 的机器人很酷的增强。例如,机器人可以在你家里导航,同时避开障碍物。不过遗憾的是,机器人并不知道自己在家里的哪个位置,只知道自己从起点移动了 3.2 米。要解决这个问题,需要让机器人在已知地图中定位。已经有好几家公司专门来解决这个问题,它常被称为 “AR Cloud”。你可以在这里了解更多关于 AR Cloud 的内容。

结合 AR Cloud SDK 和 ARKit,机器人和其他设备可以实时共享同一个坐标系。这意味着机器人能够理解自己在你家中的位置,并把该位置告知其他手机(它们同样知道自己在这张地图中的位置)。利用 AR,我们可以显示机器人所在的位置,甚至画出路径点,让机器人导航过去。

机器人如何看世界

机器人如何看世界(其实并不是这样)

为了让机器人定位,我们使用了 vertical.ai 出品的好用的 Placenote SDK。第一步是用这个 SDK 创建一张地图,比如你家的厨房。地图创建好之后,机器人上的手机就可以在这张地图上进行自我定位,并把自己的位置传达给加载了同一张地图的其他设备。“地图”可能让你联想到谷歌地图,街道和房屋都被清晰标注,方便人类阅读。但是用于同步位置的这种地图,并不包含 “厨房” 或 “这里是墙” 之类的任何标签。当然,你完全可以自己给这张 AR 地图添加这些标签。

最后一步是通过 WiFi 在机器人和控制端之间通信。这方面有很多现成的方案,我们使用的是 iOS 上的 “Multi-peer connectivity framework”。这里有一个不错的教程,附带一些示例代码:https://www.ralfebert.de/ios-examples/networking/multipeer-connectivity/

最后,我们用少量 SceneKit 代码来显示路径点和机器人的行进路径。

还可以做什么

虽然这只是一个快速的“周末小项目”,但把廉价的机器人底座与手机中不断进步的技术结合起来,潜力巨大。更好的传感器、SLAM 的进展、计算机视觉和 5G 结合在一起,能带来许多有趣的用例。

下面是一些用这套装置再写点代码就完全可以实现的想法:

基础避障

利用 ARKit 的 3D 特征点创建体素网格,机器人可以借助它规划路径并避开物体。

自动生成房屋户型图

让机器人自由地四处移动,同时绘制出一份完整的家庭户型图,并附上拼接好的全景图。

烤箱关了吗?

一旦有了带语义标注的家庭户型图,包含家具和电器的位置,就可以让机器人去烤箱那里,并通过邮件发回一张照片(或者更好的办法,用神经网络分类判断开/关)

人脸识别 + 跟随人员

你家里有谁?他们在哪里?想想 Nest 门铃,只不过它能四处移动。

全天追踪宠物

宠物追踪器

让机器人全天追踪你的宠物,并生成 3D 路径历史:我上班的时候,那只猫都去哪儿了?

视频远程临场 + 2D 家庭地图

看到机器人所看到的画面,同时通过点击 2D 户型图视图来切换房间,在家中导航。


这个应用的代码在这里:https://github.com/laanlabs/HomeRobot,不过它还在开发中,所以如果你在搭建时遇到任何问题,请告诉我们。

与 Laan Labs 合作

空间计算:AR、VR 与头显开发

能够理解并渲染物理世界的应用,覆盖 Apple Vision Pro、Meta Quest、Android XR、智能眼镜、手机和网页。

下载本文

获取 Markdown 源文件,方便离线阅读