본문으로 건너뛰기
Apple RoomPlan으로 구현하는 실시간 3D 룸 스캐닝과 시맨틱 지오메트리 캡처

Apple RoomPlan으로 구현하는 실시간 3D 룸 스캐닝과 시맨틱 지오메트리 캡처

Jason Laan
작성자
Jason Laan
3D Scanning
2022년 9월 16일

배경

모바일 기기로 공간의 치수와 지오메트리를 캡처하는 일이 점점 흔해지고 있습니다. 방과 공간이 치수와 함께 어떻게 구성되어 있고 무엇이 들어 있는지 아는 것은 부동산, 디자인, 건축, 건설, 쇼핑, 심지어 AR/VR 엔터테인먼트에 이르기까지 두루 유용합니다.

LiDAR 같은 모바일 휴대폰 깊이 센서와 포토그래메트리 기법이 발전하면서, 방의 공간상 점들을 캡처해 포인트 클라우드나 메시를 만드는 일은 최근 몇 년 사이 일상적인 과정이 되었습니다. 하지만 그 3D 메시는 구조화된 데이터가 아니므로, 핵심 치수 요소와 캡처된 요소에 대한 메타 정보를 따로 지오메트리에서 추출해야 합니다.

메시와 시맨틱 지오메트리

시맨틱 지오메트리

위의 예시에서 메시는 구조화되어 있지 않다는 것을 알 수 있습니다. 반면 시맨틱 지오메트리는 핵심 치수 요소와 캡처된 요소의 메타 정보를 추출한 것입니다.

시맨틱 지오메트리 캡처

공간의 지오메트리와 치수를 얻으려면 보통 먼저 메시나 포인트 클라우드를 캡처했습니다. 그다음 여러 알고리즘과 ML 기법으로 정보를 알아냈습니다. Laan Labs(그리고 수많은 다른 곳)가 계속 연구해 온 문제입니다.

평면 찾기

2D와 3D 공간 지오메트리 캡처가 중요한 이유는 무엇일까요?

  • 가상 공간 - 설계, 건설 등 여러 프로세스가 이제 공간의 디지털 더블에 의존합니다.
  • 게임 / 엔터테인먼트 - 실제 방을 VR/AR 경험으로 가져오려면 공간이 정확하게 캡처되어야 합니다. 그래야 게임 속 탁자가 방 안의 탁자가 됩니다.
  • 부동산 - 평면도와 치수를 보여 주는 일이 이제 이 업계에서 사실상 기본이 되지는 않았습니다.
  • 산업 응용 - 계획과 제조에는 레이아웃 자산 관리가 필요합니다.
  • 그 외에도 많습니다…
평면도

출처: @GregMadison

지금까지는 어떻게 해 왔을까요?

AR 태깅 방식

AR 세션에서 사용자가 바닥 평면의 모서리를 직접 태깅해 벽을 만듭니다.

평면도 AR 태깅

왼쪽: Floor Plan App | 오른쪽: 출처 @pixelplacement

스캔 후 트레이싱

캡처가 끝난 뒤 평면 슬라이스를 추출하는 방식으로 지오메트리를 반자동으로 추출합니다. 각 방의 스캔을 마친 뒤 수동과 자동 정렬(ICP)을 거쳐 하나의 뷰로 합치는 과정입니다. 그런 다음 전체 스캔을 위에서 내려다보며 그 위에 평면도를 따라 그립니다. 벽 같은 일부 지오메트리는 자동으로 추출해 이 과정을 도울 수 있습니다.

스캔 트레이싱

ML(머신러닝) 기법

ML 알고리즘이 스캔된 메시를 자동으로 분석해 평면도를 추출하는 클라우드 처리 방식입니다.

ML 3D 평면도ML 평면도

왼쪽: ML로 처리한 3D 평면도 | 오른쪽: ML로 얻은 방 평면도 윤곽

실시간 3D 시맨틱 지오메트리 캡처의 등장, Apple RoomPlan

Apple의 새로운 RoomPlan 기능은 iOS 16의 LiDAR 기기에 실시간 지오메트리 캡처를 도입했습니다. 이 "제1원리" 접근 방식은 텍스처와 메시를 캡처하는 대신 공간의 기하학적 표현을 만드는 것을 목표로 합니다. 3D Scanner App의 RoomPlan 모드를 확인해 보세요.

RoomPlan SDK 덕분에 앱에 빠르게 추가하기가 쉬워졌습니다. 몇 가지 훌륭한 데모를 소개합니다.

왼쪽: 출처 Shopify(Russ Maschmeyer @StrangeNative) | 오른쪽: 출처 @planner5d

3D Scanner App의 RoomPlan 모드

Laan Labs는 기존의 LiDAR, TrueDepth, 포토그래메트리 캡처 모드를 보완하는 RoomPlan 모드를 3D Scanner App에 추가하게 되어 무척 기뻤습니다.

새로운 기능:

  • RoomPlan + 텍스처 - 3D Scanner App에서는 지오메트리에 텍스처를 입혀 공간을 더 잘 표현할 수 있습니다
  • 자동 치수 - 공간의 치수를 자동으로 계산할 수 있습니다.
  • 360 사진 - 재로컬라이제이션을 통해 RoomPlan 캡처를 마친 뒤 스캔에 360 사진을 추가할 수 있습니다.

아직 갈 길이 멉니다

RoomPlan은 매우 인상적이지만 (아직은?) 매우 기본적인 수준입니다. 첫 번째 버전이고 Apple에는 막대한 자원과 뛰어난 개발자들이 있으니 개선될 것으로 기대할 수 있습니다. 2022년 9월 기준 주요 문제는 다음과 같습니다.

  • 정확도 - 매우 정확하긴 하지만, 기존 스캔과 달리 부정확성을 유발하는 지오메트리를 잡아 버릴 수 있습니다.
  • 특이한 형태 - RoomPlan은 사각형 공간에서 가장 잘 작동합니다. 볼트형 천장이나 특이한 형태의 방에서는 문제가 생길 수 있습니다.
  • 일반 정보만 제공 - 문의 여닫는 방향 같은 일반적인 평면도의 세부 정보는 없습니다
  • 오브젝트 계층 구조와 연결 - 벽이 현재는 일반적인 평면도가 동작하는 방식으로 연결되어 있지 않습니다.

오른쪽: 출처 vid2cad

마무리

전반적으로 RoomPlan 같은 실시간 캡처는 사용자가 다양한 워크플로에서 3D 데이터와 상호작용하는 방식에 놀라운 기회를 열어 주고 있습니다. Apple RoomPlan 같은 3D 시맨틱 지오메트리 캡처의 발전이 여러분의 활용 사례에 어떻게 도움이 될 수 있는지 알고 싶으시면 주저하지 말고 문의해 주세요.

Laan Labs와 함께하기

공간 컴퓨팅: AR, VR 및 헤드셋 개발

Apple Vision Pro, Meta Quest, Android XR, 스마트 글래스, 휴대폰, 웹에서 물리적 세계를 이해하고 렌더링하는 앱을 개발합니다.

이 글 다운로드

오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오