본문으로 건너뛰기
합성 데이터로 학습한 실시간 3D 자동차 포즈 추정

합성 데이터로 학습한 실시간 3D 자동차 포즈 추정

Chris Laan
작성자
Chris Laan
automotive
2018년 3월 18일

자동차 포즈 추정

일반 iPhone으로 실제 환경에서 자동차의 3D 포즈 추정하기

프로젝트 개요

클라이언트는 AR 가이드와 자동 사진 촬영으로 사용자가 더 높은 품질의 자동차 사진을 찍도록 안내하는 앱을 구상하고 있었습니다. 이 글은 그중 자동차 포즈 추정 컴포넌트를 만드는 데 들어간 기술을 중심으로 다룹니다. 앱에서는 사용자가 자동차에 대해 특정 각도와 거리에 서도록 안내하여, 표준화된 방식으로 최상의 사진을 찍게 합니다. 사용자가 올바른 위치에 오면 고해상도 사진이 자동으로 촬영됩니다.

사용자가 촬영하는 자동차를 기준으로 3D 공간의 대략 어디에 서 있는지 알아낼 방법이 필요했습니다. 프로토타입 앱이었기 때문에 작동하는 솔루션을 내놓을 시간은 몇 주뿐이었습니다. 개발 기간을 줄이려고 인식 대상도 특정 차종 하나로 한정했습니다.

목표와 제약

  • 작동하는 솔루션을 만들 수 있는 짧은 기간
  • 대략 실시간 수준의 자동차 포즈 추정(< 150 ms)
  • 색상과 옵션이 다양한 특정 차종으로 범위를 한정
  • 앱은 고품질 사진을 촬영할 수 있어야 함

새로 만들기 전에 시도한 방법

3D 물체 포즈 추정을 바로 해결해 줄 기성 솔루션이 있기를 기대하며 몇 가지 접근법을 시험했습니다.

Apple ARKit 3D 물체 인식

ARKit 물체 인식

ARKit 물체 인식 — 물체 스캔 앱

ARKit에는 ARKit 안에서 단단한 3D 물체를 스캔하고 인식하는 API가 있습니다. 실시간이고 ARKit에 내장되어 있어, 이 기능의 개발 시간을 0으로 줄일 수 있으니 우리에게 이상적으로 보였습니다. 가장 큰 걱정은 다양한 자동차 색상을 인식할 수 있는지였습니다. ARKit이 이를 얼마나 잘 처리하는지 시험하려고 몇 가지 색상의 소형 모형 자동차를 구입했습니다.

테스트용 모형 자동차

테스트용 모형 자동차

한 가지 색상을 스캔하고 비슷한 색상으로 시험했습니다(예: 흰색을 스캔하고 하늘색으로 시험). 인식이 되는 경우도 있었습니다. 완벽하지는 않았지만, 기본 색상 몇 가지를 스캔해 두면 마주칠 법한 어떤 색의 차든 인식할 만큼의 불변성이 확보될지도 모릅니다.

다음 단계는 실제 자동차에서의 시도였습니다. 실제 자동차는 조금 다르게 동작했습니다. 완전히 같은 자동차를 스캔하고 시험해도 결과가 안정적이지 않았습니다. 인식된 자동차가 이쪽저쪽으로 조금씩 회전하거나 이동하기도 했습니다. 우리는 자동차 도장의 반사율이 높아서 특징점 기반 스캔과 인식이 잘 작동하기 어렵다고 추측했습니다(Apple도 문서에서 반사성 물체는 3D 인식에 적합하지 않다고 명시하고 있습니다).

서드파티 SDK

다른 SDK도 몇 가지 시험해 보았고 ARKit과 비슷한 결과를 얻었습니다. 일부 라이브러리는 3D 물체 추적을 시작하려면 사용자가 맞춰야 하는 특정 '초기화 템플릿'이나 위치가 필요했습니다. 우리는 사용자를 특정 위치로 안내하고 싶었기 때문에 다양한 각도와 위치에서 인식이 작동해야 했고, 그래서 이 방식은 이상적이지 않았습니다.

사진 품질

ARKit과 우리가 시험한 SDK 모두의 또 다른 단점은 사용하는 동안 촬영할 수 있는 사진의 품질과 해상도입니다. ARKit을 사용할 때 캡처할 수 있는 최고 해상도는 1920x1440입니다. ARKit에서는 초점과 노출도 거의 제어할 수 없습니다. 이 앱은 고품질 자동차 사진을 촬영하는 것이 핵심이므로, 큰 이미지 해상도와 함께 초점과 노출을 세밀하게 제어하고 싶었습니다.


신경망 기반 포즈 추정기 만들기

사람 포즈 추정

사람 포즈 추정

서드파티 솔루션이 성공적이지 않았고 사진 품질의 한계까지 있어서, Apple의 AVFoundation 카메라 API와 함께 작동하는 자체 솔루션을 만들어 보기로 했습니다. 신경망 솔루션을 택한 것은 포즈 추정에서 최첨단 기술이고 활용할 수 있는 오픈 소스 프로젝트와 연구도 많기 때문입니다.

포즈 추정 접근법

이미지가 주어졌을 때 그 안에 있는 물체의 3D 포즈를 어떻게 예측할까요? 일반적인 접근법은 물체의 표준 모델에서 알려진 점들의 집합이 이미지의 어디에 있는지 예측하는 것입니다. 예를 들어 자동차 사진에서 왼쪽 헤드라이트는 이미지의 어디에 있을까요? 이런 예측이 충분히 모이면, 사진을 찍은 카메라에 대한 원래 자동차 모델의 3D 포즈를 추정할 수 있습니다.

네트워크 아키텍처

요즘 신경망은 다양한 작업에서 인상적인 정확도를 보일 뿐 아니라, 네트워크 아키텍처의 개선과 기기의 속도 향상 덕분에 모바일 기기에서 실시간으로 실행될 수도 있습니다.

최근 CPM과 stacked hourglass 아키텍처를 기반으로 한 실시간 모바일 신체 포즈 추정 프로젝트 몇 가지를 알게 되었습니다.

이 프로젝트들에는 모바일 플랫폼에서 자체 포즈 추정기를 학습시키고 실행하는 데 유용한 정보가 많이 들어 있습니다.

이들이 사용한 CPM 네트워크는 MobileNetV2를 베이스로 하며, 14개의 신체 부위(왼쪽 팔꿈치, 오른쪽 무릎 등) 각각에 대한 2D 히트맵을 출력합니다.

여러 신체 부위의 히트맵

여러 신체 부위의 히트맵

여기서부터는 각 키포인트 레이어에서 활성화가 최대인 위치를 취한 다음, OpenCV의 SolvePnP 메서드로 3D 자동차 포즈를 추정하면 됩니다. 다음은 실제 자동차 사진에서 최종 신경망을 실행한 결과와 추정된 3D 포즈를 시각화한 것입니다. 출력 히트맵의 해상도가 제한적이라 완벽하게 맞지는 않습니다. 우리 모델은 192x192 해상도의 히트맵을 출력하므로 한 번의 패스로 얻을 수 있는 정확도에는 한계가 있습니다.

모델의 최종 출력

모델의 최종 출력

기타 접근법과 참고 자료

우리는 빠르게 시작하려고 CPM을 택했지만 이 문제를 푸는 다른 방법도 있습니다. 또 다른 키포인트 기반 접근법은 2D 키포인트를 x,y 좌표 목록으로 직접 출력하는 것입니다. 이 방식에서는 자동차 한 대만 추정할 수 있지만 우리 용도에서는 괜찮습니다. Hart Woolery의 손 포즈 추정 글에서 영감을 받아, MobileNet 위에 dense 레이어 몇 개를 얹어 마지막에 1x28 크기의 x,y 키포인트 위치 집합을 출력하도록 시험해 보았습니다. 놀랍게도 별다른 조정 없이도 꽤 잘 동작했습니다. 우리가 선택한 CPM 모델보다 약간 더 빨랐기 때문에, 시간이 더 있었다면 이 네트워크를 더 탐구했을 것입니다.

사람 포즈 추정만 찾고 계신다면 fritz.ai의 사람 포즈 추정기에 관한 Jameson Toole의 최근 글을 참고하세요: https://heartbeat.fritz.ai/pose-estimation-on-ios-with-fritz-60c8e5f7d195

또 다른 방법은 중간 단계인 2D 키포인트를 거치지 않고 네트워크가 자동차의 포즈 파라미터를 직접 출력하는 것입니다(BoxCars, MultiBin 참조). 시간이 촉박해서 취할 수 있었던 모든 방향을 엄밀하게 평가하지는 못했지만, 이런 다른 접근법들도 충분히 타당해 보입니다.

자동차 데이터셋 찾기

네트워크 아키텍처를 정했다면, 다음 단계는 학습에 쓸 데이터셋을 찾는 것입니다. 신체 포즈 추정용 데이터셋은 부족하지 않지만(COCO, DensePose, MPII, 신체 포즈 데이터셋 개요), 어노테이션된 자동차 데이터는 조금 드뭅니다. 몇 가지 데이터셋이 있지만(Apollo, PASCAL 3d+) 각각 나름의 한계가 있어 보였습니다. 대부분의 데이터셋은 자율주행차를 겨냥한 것이라, 길을 달리는 자동차의 시점에서 찍은 이미지에 크게 편향되어 있습니다. 이는 우리 네트워크가 처리할 것으로 예상되는 이미지와는 상당히 다릅니다. PASCAL 3D에는 3D 자동차 모델 어노테이션이 있지만, 자동차가 대개 인터넷 사진에서 수집한 훨씬 오래된 모델들입니다. 차종을 미리 알고 있었으므로 수천 가지 다른 모델로 학습할 필요는 없었습니다(시간이 더 있었다면 더 많은 차종을 인식하도록 네트워크를 확장하고 싶지만). 마지막으로 일부 데이터셋은 비상업적 라이선스 제한이 있습니다. 이런 단점 때문에, 예상되는 테스트 환경에 맞춰 데이터를 직접 만들 수 있는 방법으로 합성 데이터를 탐색했습니다.


합성 자동차 데이터셋 만들기

Unity 에디터 스크린샷

Unity 에디터 스크린샷

합성 데이터는 많은 머신러닝 방법이 요구하는 대량의 학습 데이터를 만드는 것이 불가능하거나 비현실적일 때 유용합니다. 비디오 게임 업계 덕분에 Unity나 Unreal 엔진 같은 그래픽스 엔진으로 렌더링하고, 원래 게임용으로 개발된 3D 에셋을 쓸 수 있습니다. 아직은 레이트레이싱 방식의 렌더링 품질에는 미치지 못하지만, 속도와 방대한 예제 코드, 무료 또는 저렴한 에셋 덕분에 매우 매력적입니다. 우리는 Unity를 더 경험해 보았고 시간도 중요한 요소였기에 Unity를 선택했습니다.

Unity로 합성한 데이터의 예

Unity로 합성한 데이터의 예

Unity는 합성 데이터와 관련해 흔히 필요한 기능을 담은 편리한 데모 프로젝트도 공개했습니다. 우리도 최근 SceneKit을 사용한 AR 축구 게임용 발 분할 네트워크 학습에 관해 짧은 발표를 했습니다.

목표 차종과 모양이 비슷한 자동차 모델 약 10개와, 시험 대상 자동차와 똑같은 모델의 변형 2개를 수집했습니다.

자동차 모델 찾기

다행히 고품질 3D 자동차 모델은 꽤 많습니다. 최고 품질의 모델은 몇백 달러가 들기도 하지만(https://squir.com/ 참조), Unity 에셋 스토어에서 바로 구할 수 있는 저렴하거나 무료인 모델도 많습니다.

Unity 에셋 스토어

Unity 에셋 스토어 - 차량

어노테이션

모델이 준비되었으니 다음 단계는 네트워크가 인식하도록 학습시킬 키포인트를 어노테이션하는 것이었습니다. 신체 포즈 네트워크가 14개의 키포인트를 사용하므로, 기존 학습 파이프라인의 수정을 줄일 수 있어 이 수가 합리적인 출발점으로 보였습니다. 이 단계에서는 자동차 모델마다 빈 게임 오브젝트 14개를 만들어 배치해야 했습니다.

자동차 키포인트 14개

자동차 키포인트 14개

데이터셋에 변화 주기

합성 데이터로 학습할 때 크게 우려되는 점은 모델이 실제 이미지로 일반화되는지입니다. 이는 흥미로운 접근법이 많은 활발하고 계속 발전 중인 연구 분야입니다. Apple의 머신러닝 팀은 GAN으로 합성 눈 이미지의 사실감을 높이는 방법에 관한 흥미로운 글을 올렸습니다. 우리가 선택한 접근법은 도메인 랜덤화입니다. 학습 데이터 분포에 다양한 변화를 많이 주면, 모델이 별도의 파인튜닝 없이도 목표(실제 세계) 분포로 일반화되어야 합니다.

이를 위해 이미지를 렌더링하기 전에 장면의 가능한 한 많은 요소를 무작위화하려고 했습니다. 처음부터 크게 걱정한 점은 네트워크가 3D 자동차 모델의 사소한 디테일을 학습해, 실제 자동차 사진으로는 일반화되지 않을 수 있다는 것이었습니다. 연구자들이 탱크 감지기를 학습시켰는데, 그 네트워크가 학습 세트의 탱크가 촬영된 시간대만 학습했다는 일화가 자주 거론됩니다(사실이 아닐 수도 있지만). 그 예가 사실이든 아니든, 학습 세트와 테스트 세트의 분포가 다를 때는 새로운 데이터로 잘 전이되도록 주의해야 합니다.

자동차 변형

각 자동차 모델마다 차체의 사소한 디테일을 스크립트로 바꿀 수 있는 변형을 만드는 데 시간을 들였습니다. 도장 반사율, 번호판 위치와 번호, 창문 틴팅, 휠 림 스타일과 위치 등 몇 가지입니다. 또한 자동차 자체의 크기도 로컬 축을 따라 약간씩 조절했습니다.

차체 변형만 적용한 렌더링

차체 변형만 적용한 렌더링

다양한 타이어 옵션

다양한 타이어 옵션

환경 / 배경

처음에는 건물과 실제 3D 구조물이 있는 장면을 몇 가지 직접 만들거나 구입하려고 했습니다. 고품질의 사실적인 장면을 찾기는 어려웠고 비용과 시간도 많이 들 것이었습니다. 다행히 매우 높은 해상도의 환경 맵을 무료로 제공하는 훌륭한 웹사이트 https://hdrihaven.com/을 알게 되었습니다. 이 환경 맵은 기본적으로 지오메트리 뒤에 렌더링되는 360 HDR 파노라마이며, 장면 속 물체에 조명과 반사를 제공할 수 있습니다. 렌더링 스크립트를 통해 반사와 노출 강도도 파라미터로 변화를 주었습니다.

HDRI Haven의 환경 맵

HDRI Haven의 환경 맵

스카이박스와 함께 자동차 아래에 바닥으로 쓸 간단한 평면을 만들었습니다. 바닥에 서로 다른 머티리얼을 적용하고 가끔은 바닥을 완전히 숨기면 시각적 다양성이 크게 높아집니다.

장면 및 조명 변형

장면 및 조명 변형

후처리 효과

Unity에는 "Post Processing Stack"이라는 기능이 있는데, 기본적으로 3D 장면에 적용하는 인스타그램 필터입니다. 블러, 색 보정 같은 효과가 포함됩니다. Unity 버전에 따라 패키지 매니저나 에셋 스토어에서 장면에 추가할 수 있습니다. 내장된 후처리 스택과 함께, 에셋 스토어에서 25달러에 SC Post Effects Pack이라는 또 다른 필터 세트를 내려받았습니다. 다음은 후처리 필터 조합만 바꿔 렌더링한 몇 가지 결과입니다.

후처리 필터 변형

후처리 필터 변형

효과가 미묘해서 알아보기 어려울 수 있습니다. 여기 보이는 것은 피사계 심도, 노이즈, 구름 그림자, 앰비언트 오클루전, 가장자리 하이라이트, 색조 이동, 검은 막대 등입니다. 각 효과의 파라미터도 무작위로 조정해 변화를 더 늘렸습니다.

모두 합치기

모든 변형을 적용하면 이런 이미지가 만들어집니다.

모든 변형을 적용한 렌더링

모든 변형을 적용한 렌더링

실제 거리 풍경처럼 보이지는 않지만, 배경과 조명을 다양하게 바꾸면 네트워크가 모든 사진에서 변하지 않고 유지되는 자동차의 특징을 학습할 수밖에 없게 됩니다. 거리 장면만 사용했다면 감지기가 거리 장면의 요소를 특징에 반영해, 특정한 그림자와 조명 특성이 항상 자동차와 함께 나타나리라고 기대했을 것입니다.

소규모 검증 데이터셋 만들기

Python으로 작성한 어노테이션 도구

데이터셋 편향에 대한 우려 때문에 실제 자동차 이미지 일부에 3D 키포인트를 직접 어노테이션했습니다. 14개의 키포인트를 일일이 직접 어노테이션하는 일은 시간이 꽤 걸리며, 특히 가려진 키포인트는 더 그렇습니다. 속도를 높이려고 이미지당 키포인트 몇 개만 레이블링하면 되는 아주 기본적인 wxPython 애플리케이션을 빠르게 만들었습니다. 이를 위해 OpenCV의 SolvePnP로 처음 입력한 키포인트에 3D 자동차 모델을 맞추고, 나머지 키포인트는 이미지에 투영합니다. 어노테이션을 마친 뒤 imgaug 라이브러리로 무작위 이미지 증강을 적용했습니다. 다행히 imgaug는 이미지와 함께 2D 키포인트도 변환해 주므로 점의 위치를 직접 변환할 필요가 없습니다. 증강 후 네트워크를 검증할 이미지가 약 1500장 생겼습니다.

잘 작동할까요?

알려진 소수의 차종이라는 우리의 용도에서는 첫 시도의 결과에 꽤 만족했습니다. 학습에 실제 이미지를 더 포함하거나 전이 학습에 더 의존해야 할 것이라고 예상했지만 결국 그럴 필요가 없었습니다. 영상에서 볼 수 있듯이, 꽤 다양한 자동차로 시험해도 적절한 결과가 나옵니다. 크기가 다른 자동차에 단단한 3D 물체를 맞추는 것이므로, 다른 차체 형태에서는 3D 모델 피팅이 완벽하게 작동하지 않습니다. 키포인트가 주어졌을 때 유연한 파라메트릭 자동차 모델을 맞추는 연구가 있으므로, 더 범용적인 자동차 감지기를 위해 살펴볼 수도 있습니다.


코드

시간을 내어 정리하고 더 많은 차종으로 학습할 수 있게 되면 파이프라인의 일부를 공개할 계획입니다. 지금은 ARKit으로 추정된 자동차 포즈를 표시하는 iOS 앱의 데모 코드를 공개해 두었습니다(모델은 고정된 시점 범위와 자동차 모델로 학습되었다는 점에 유의하세요). 프로젝트의 특정 부분에 관해 궁금한 점이 있거나 맞춤형 데이터셋이나 모델이 필요하시면 편하게 연락해 주세요.

Laan Labs와 함께하기

컴퓨터 비전 및 AI 개발

개념 증명부터 상용화까지, 기기 내와 클라우드에서 동작하는 맞춤형 컴퓨터 비전 및 머신러닝을 제공합니다.

이 글 다운로드

오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오