본문으로 건너뛰기
저렴한* ARKit 가정용 로봇 만드는 법

저렴한* ARKit 가정용 로봇 만드는 법

Jason Laan
작성자
Jason Laan
automotive
2018년 4월 29일

작동 중인 ARKit 가정용 로봇

저렴한 AR 가정용 로봇을 만드는 과정을 간단히 정리했습니다. iDevice가 두 대 필요하므로 "저렴하다"는 말은 다소 과장일 수 있습니다. 하지만 집에 ARKit을 지원하는 여분의 iPhone이 굴러다니고 있다면, 구하기 쉬운 정도에 따라 다르겠지만 로봇 베이스는 40달러 정도면 됩니다.

로봇 케이스

Romotive의 훌륭한 "Romo" 로봇 베이스를 사용했습니다. iPhone을 로봇에 꽂기만 하면 코드로 제어할 수 있습니다.

Romo iPhone 로봇

Romotive의 'Romo' iPhone 로봇

안타깝게도 회사가 문을 닫아서 중고로 사는 수밖에 없습니다. 지금 아마존에 몇 개가 올라와 있습니다: Amazon에서 'Romotive' 검색. 저는 운 좋게 35달러에 구했습니다. 구할 수 있는 곳을 아시는 분은 댓글로 알려 주세요!

ARKit은 카메라의 시각 정보로 휴대폰의 위치를 추적하므로, 휴대폰을 위로 올려 주변 환경이 더 잘 보이도록 나무 프레임을 만들었습니다. 개조하지 않은 Romo 베이스를 그대로 써도 어느 정도는 될 수 있지만, 집에서 시각적 특징이 적은 곳에서는 ARKit이 추적에 어려움을 겪을 수 있습니다.

로봇 제어하기

Romotive는 문을 닫기 전에 고맙게도 로봇의 소스 코드를 모두 공개했습니다. 이 저장소는 Foti Dim이 포크해 https://github.com/fotiDim/Romo에서 잘 관리하고 있습니다. SDK 코드를 내려받은 뒤 "HelloRMCore" xcode 프로젝트로 시작했습니다. 해당 github 저장소의 안내에 따라 Romo SDK를 사용하는 새 프로젝트를 만드세요.

ARKit과 내비게이션

증강현실 웨이포인트를 따라 이동하는 로봇

증강현실 웨이포인트를 따라 이동하는 로봇

ARKit 덕분에 로봇의 3D 위치를 놀라울 정도로 잘 추적할 수 있습니다. 그것만으로도 iPhone 기반 로봇에 꽤 멋진 기능이 더해집니다. 예를 들어 로봇이 장애물을 피하면서 집 안을 돌아다닐 수 있습니다. 하지만 아쉽게도 로봇은 집 안의 어디에 있는지는 모르고, 출발한 곳에서 3.2미터 움직였다는 것만 압니다. 이 문제는 알려진 지도 안에서 로봇의 위치를 찾는(localize) 방식으로 해결합니다. 바로 이 문제를 풀기 위해 여러 회사가 등장했고, 흔히 "AR Cloud"라고 부릅니다. AR Cloud에 대해서는 여기에서 더 읽어 보실 수 있습니다.

ARKit과 함께 AR Cloud SDK를 사용하면 로봇과 다른 기기들이 하나의 좌표계를 실시간으로 공유할 수 있습니다. 즉 로봇은 집 안에서 자신의 위치를 이해하고, 그 위치를 (같은 지도 안에서 자신의 위치를 아는) 다른 휴대폰에 전달할 수 있습니다. AR을 사용하면 로봇의 위치를 표시할 수 있고, 로봇이 이동할 웨이포인트를 그려 줄 수도 있습니다.

로봇이 세상을 보는 방식

로봇이 세상을 보는 방식 (실제로는 아님)

로봇의 위치를 찾기 위해 vertical.ai의 훌륭한 Placenote SDK를 사용했습니다. 첫 단계는 SDK로 예를 들어 주방의 지도를 만드는 것입니다. 지도가 만들어지면 로봇에 달린 휴대폰이 그 지도 안에서 자신의 위치를 찾고, 같은 지도를 불러온 다른 기기에 그 위치를 전달할 수 있습니다. "지도"라고 하면 Google 지도처럼 거리와 집에 사람이 읽기 좋게 이름이 붙어 있는 모습이 떠오를 수 있습니다. 하지만 위치를 동기화하는 데 쓰는 지도에는 "주방"이나 "여기 벽" 같은 레이블이 없습니다. 물론 AR 지도에 그런 레이블을 직접 추가할 수도 있습니다.

마지막 단계는 WiFi로 로봇과 컨트롤러가 통신하게 하는 것입니다. 이를 위한 기성 솔루션은 많지만, 우리는 iOS의 "Multi-peer connectivity framework"를 사용했습니다. 샘플 코드가 포함된 좋은 튜토리얼이 여기에 있습니다: https://www.ralfebert.de/ios-examples/networking/multipeer-connectivity/

마지막으로 약간의 SceneKit 코드를 사용해 웨이포인트와 로봇의 경로를 표시했습니다.

앞으로 할 일

이번 작업은 빠르게 해 본 '주말 해킹 프로젝트'였지만, 저렴한 로봇 베이스를 날로 발전하는 휴대폰 기술과 결합하면 잠재력이 엄청납니다. 더 좋아진 센서, SLAM의 발전, 컴퓨터 비전, 5G가 모두 합쳐져 흥미로운 활용 사례가 많이 생길 것입니다.

이 구성에 약간의 코딩만 더하면 충분히 가능한 아이디어를 몇 가지 소개합니다.

기본적인 장애물 회피

ARKit의 3D 특징점으로 복셀 그리드를 만들어, 로봇이 물체를 피하며 경로를 계획하는 데 활용합니다.

집 평면도 자동 생성

로봇이 자유롭게 돌아다니게 하면서, 이어 붙인 파노라마가 포함된 멋진 집 평면도를 만듭니다.

오븐 켜져 있나?

가구와 가전제품의 위치까지 시맨틱 레이블이 붙은 집 평면도가 있다면, 로봇에게 오븐으로 가서 사진을 이메일로 보내라고 시킬 수 있습니다(더 좋게는 신경망으로 켜짐/꺼짐을 분류할 수도 있습니다).

얼굴 인식 + 사람 따라가기

집에 누가 있을까요? 어디에 있을까요? Nest 초인종처럼, 하지만 움직일 수 있는 장치를 떠올려 보세요.

하루 종일 반려동물 추적

반려동물 트래커

로봇이 하루 종일 반려동물을 따라다니며 3D 경로 이력을 만들게 해 보세요. 내가 출근한 사이 고양이는 어디에 갈까요?

비디오 텔레프레즌스 + 2D 집 지도

로봇이 보는 것을 보면서, 2D 평면도 화면을 탭해 방을 바꾸는 식으로 집 안을 이동합니다.


앱 코드는 여기에 있습니다: https://github.com/laanlabs/HomeRobot 다만 아직 진행 중인 작업이므로, 설정 중에 문제가 생기면 알려 주세요.

Laan Labs와 함께하기

공간 컴퓨팅: AR, VR 및 헤드셋 개발

Apple Vision Pro, Meta Quest, Android XR, 스마트 글래스, 휴대폰, 웹에서 물리적 세계를 이해하고 렌더링하는 앱을 개발합니다.

이 글 다운로드

오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오