본문으로 건너뛰기
포토그래메트리로 데이터 어노테이션 효율 높이기

포토그래메트리로 데이터 어노테이션 효율 높이기

Chris Laan
작성자
Chris Laan
automotive
2020년 6월 18일

개요

최근 프로젝트에서 AR 가상 신발 착용 앱의 프로토타입을 만들었습니다. 이 앱을 만들려면 발의 특정 위치에 해당하는 2D 키포인트가 어노테이션된 이미지로 학습한 포즈 추정 신경망이 필요했습니다.

이런 레이블 이미지를 만들려면 보통 GUI에서 모든 이미지의 각 지점을 일일이 클릭해야 합니다. 단순한 물체라면 시간이 걸리더라도 가능하지만, 키포인트 위치가 가려지거나 정확히 짚기 어려운 복잡한 3D 물체에서는 목표가 수천 장일 때 이 방식이 현실적이지 않게 됩니다. 우리는 이 특수한 상황에서 레이블링 속도를 높이기 위해 포토그래메트리 워크플로를 활용해 보았습니다.

최종 데모

최종 데모

우리의 접근 방식

사람의 발 주위를 여러 번 도는 방식으로 신발을 휴대폰 비디오로 촬영했습니다. 시중에서 구할 수 있는 포토그래메트리 소프트웨어로 모든 비디오 프레임의 3D 카메라 포즈를 추정하고, 장면의 3D 메시 표현을 구성합니다. 그다음 비디오의 몇몇 프레임에서 2D 발 키포인트를 어노테이션합니다. 2D 어노테이션과 3D 카메라 포즈를 결합하면 재구성된 3D 장면에서 이 키포인트들의 3D 위치를 추정할 수 있습니다.

카메라 포즈를 이용하면 비디오에 담긴 어떤 카메라 시점에 대해서도 3D 키포인트 위치를 2D 좌표로 다시 투영할 수 있습니다. 초당 30프레임으로 촬영한 90초짜리 비디오라면, 단 4프레임을 레이블링하는 수고만으로 레이블된 프레임 2700개를 얻게 됩니다.

포토그래메트리와 SFM이란?

포토그래메트리 소프트웨어는 같은 물체나 장면을 여러 각도에서 찍은 많은 사진을 입력받아 그 장면의 3D 모델을 재구성합니다.

Theia SFM

출처: Theia-sfm.org (2016)

이 과정의 한 단계는 모든 사진에 대해 3D 카메라 포즈를 추정하는 것입니다. 포토그래메트리의 최종 결과물은 3D 메시이지만, 우리에게 필요한 것은 그 메시를 만드는 데 사용된 카메라 포즈뿐입니다. 3D 모델로 물체의 시점을 무한히 렌더링하는 방법도 쓸 수 있지만, 3D 렌더링의 사실감이 사진의 품질에 미치지 못하는 것으로 나타났습니다. 다만 이 부분은 앞으로 더 탐구해 보고 싶습니다.

포토그래메트리 소프트웨어

포토그래메트리 소프트웨어는 무료 오픈 소스부터 유료 제품까지 선택지가 많습니다. 우리는 설치가 쉽고 결과를 빨리 얻을 수 있다는 이유로 Alicevision meshroom(무료)과 Reality Capture(유료)에 집중했습니다. Reality Capture는 meshroom보다 훨씬 빠르고 더 나은 카메라 포즈와 재구성 결과를 만들었습니다. 그래도 meshroom에는 몇 가지 장점이 있습니다. 무료이고 오픈 소스이며 스크립트로 제어할 수 있습니다. Reality Capture에도 명령줄 인터페이스가 있지만 이를 사용하려면 더 높은 요금제가 필요합니다(우리가 마지막으로 확인했을 때 기준이며, 이후 이미지당 과금 모델로 바뀌어 달라졌을 수 있습니다).

참고: 3D 재구성이 아니라 카메라 포즈만 복원하면 된다면 완전한 포토그래메트리 파이프라인이 꼭 필요하지는 않습니다. COLMAP, OpenSFM, OpenMVG 같은 소프트웨어로도 가능합니다.

잠깐 시험해 본 또 다른 방법은 ARKit으로 카메라 포즈를 캡처하면서 비디오를 녹화하는 것이었습니다. 이 방법은 후처리 없이 카메라 포즈를 공짜로 얻을 수 있습니다. 하지만 우리가 녹화한 종류의 비디오에서는 지터와 오차 누적이 너무 심했습니다. 시각적 특징이 많은 비교적 정적인 장면을 짧은 비디오로 촬영하는 용도라면 ARKit/ARCore가 더 쉬운 해법일 수 있습니다. (이 방법으로 학습 데이터를 수집하는 Google의 최근 논문도 참고하세요.)

데이터 캡처

먼저 비디오에서 특정 FPS로 원본 이미지를 추출합니다.

비디오 프레임 샘플

재구성에 사용한 500장 중 비디오 프레임 6장

다음으로 추출한 프레임을 Reality Capture에 넣으면 아래와 같은 메시와 카메라 포즈를 얻습니다.

재구성된 모델과 카메라 포즈

Reality Capture 재구성

Reality Capture 재구성

Reality Capture 자동화

당시 우리에게는 CLI를 쓸 수 없었기 때문에 약간의 노력이 필요했습니다. 결국 모든 비디오 데이터를 불러와 처리하는 Windows 자동화 스크립트를 작성했습니다. Reality Capture는 카메라 포즈를 여러 형식으로 내보낼 수 있습니다.

Alicevision Meshroom 자동화

Meshroom은 CLI로 사용하기가 비교적 간단하지만 몇 가지 걸림돌이 있었습니다. 비디오를 3D 메시로 처리하고, 카메라 포즈를 추출하고, 마지막으로 메시를 오버레이한 비디오를 다시 렌더링하는 전 과정을 python으로 보여 주는 jupyter notebook을 이 github 저장소에 올려 두었습니다.

발 키포인트 생성

이제 모든 프레임의 카메라 포즈가 있으니 프레임별 키포인트 위치를 찾아야 합니다. 여기서 목표는 비디오 전체 프레임 중 일부만 레이블링하는 것입니다. 이를 위해 시험한 방법은 2D 어노테이션과 3D 어노테이션 두 가지입니다.

3D 어노테이션

포토그래메트리 단계의 출력은 메시 재구성 결과이므로, 한 가지 방법은 3D 모델링 소프트웨어로 3D 장면 속 발 위에 키포인트를 직접 배치하는 것입니다. 카메라 포즈와 결합하면 이 3D 위치를 비디오의 모든 프레임에 다시 투영할 수 있습니다. 키포인트의 생성과 내보내기를 돕는 작은 blender 스크립트를 만들었습니다. 처음에는 이 방법이 두 가지 이유로 최선처럼 보였습니다.

  1. 비디오마다 한 번만 레이블링하면 됩니다
  2. 3D 모델을 돌려 키포인트가 보이게 하면 되므로 가려진 키포인트가 문제되지 않습니다

그러나 시험해 보니 이 방법은 시간이 꽤 걸렸고, 아래에서 설명할 두 번째 방법인 2D 어노테이션보다 느렸습니다. 속도 차이는 아마 blender에서 빠르게 작동하는 것을 만드는 현실적인 문제와 관련이 있었을 것입니다. 우리는 blender 숙련자가 아니어서, 작은 구 14개를 3D에서 옮기는 속도가 2D 이미지를 클릭하는 속도보다 느렸습니다. 시간을 더 들여 blender에서 3D 키포인트를 배치하는 UX를 개선하면 속도가 크게 빨라질 수도 있습니다. 가장 이상적인 환경은 2D 모니터 대신 VR에서 키포인트를 3D로 직접 배치하는 것입니다.

2D 어노테이션

결국 우리는 GUI에서 각 키포인트의 2D 이미지 위치를 클릭하는, 더 평범한 방식을 택했습니다. 키포인트의 3D 위치를 삼각측량하려면 비디오 전반에 걸쳐 여러 프레임에서 이 작업을 해야 합니다.

어노테이션 과정에서는 현재 추정된 3D 키포인트 위치로 3D 발 모델을 시각화합니다. 이렇게 하면 현재 어노테이션의 정확도를 바로 확인할 수 있습니다. 여러 프레임에서 발 포즈가 올바르게 보이면 어노테이션을 멈춰도 됩니다.

GUI 출력 - 3D 모델 오버레이

GUI 출력 - 3D 모델 오버레이

3D 키포인트 위치를 잘 추정했다면, 카메라의 내부 및 외부 행렬을 사용해 비디오의 모든 프레임에서 이 점들을 2D 이미지 위치로 다시 투영합니다.

2D 비디오 프레임으로 다시 투영한 3D 키포인트

반자동 레이블링

레이블링 속도를 더 높이는 한 가지 방법은 프레임을 하나도 레이블링하지 않아도 되게 하는 것입니다. 우리가 잠깐 탐색한 접근법은 같은 데이터에 대해 학습과 레이블링을 여러 사이클 반복하며 신경망이 비디오에 자동으로 레이블을 붙이게 하는 것이었습니다.

레이블된 데이터가 없는데 어떻게 네트워크를 학습시킬 수 있을까요? 순전히 합성 발 데이터로 학습한 초기의 낮은 품질 모델로 부트스트랩했습니다(자세한 내용은 여기). 프레임별 2D 예측은 개별적으로는 부정확하더라도, 이를 모두 결합해 알려진 카메라 포즈로 3D 위치를 최적화할 수 있습니다. 모든 프레임별 예측을 고려해 재투영 오차가 가장 낮아지도록 최적화하므로, 결과로 얻은 3D 위치는 개별 프레임의 예측보다 더 정확해야 합니다.

레이블된 비디오가 생기면 이 새로운 레이블 학습 데이터를 포함해 원래 네트워크를 다시 학습시키고, 새로 학습된 네트워크로 키포인트 추정을 다시 실행할 수 있습니다. 지금까지는 학습, 레이블링, 재학습 사이클을 한 번만 마쳤지만 결과는 유망합니다. 첫 번째 사이클에서도 모든 프레임에 대해 최적화하면 프레임별 오류가 어떻게 보정되는지 쉽게 확인할 수 있습니다.

올바른 단일 이미지 예측

올바른 단일 이미지 예측 + 히트맵

이 이미지에서는 단일 프레임의 잘못된 예측에서 멀티뷰로 최적화한 예측까지 선이 그려져 있습니다.

잘못된 예측 보정

단일 프레임의 잘못된 예측

배경 제거 증강

마지막으로 데이터를 더 활용하는 방법으로 데이터 증강이 있습니다. 회전, 이동, 크기 조절 같은 표준 증강과 함께, 배경 제거를 이용해 이미지의 배경을 무작위로 바꾸는 방법도 시도했습니다. 속도를 위해 remove.bg API를 사용했지만 이 문제에는 여러 오픈 소스 접근법이 있습니다. 이 시험의 결과는 유망했습니다. 전경에 아티팩트가 남는 경우가 많아도 네트워크가 학습할 만한 변화는 충분히 있을 것입니다.

Remove.bg 처리된 비디오

배경이 더 균일한 비디오는 훨씬 잘 처리됩니다.

더 나은 remove.bg 처리 비디오

3D 메시, 깊이 맵, 시간적 일관성을 활용해 배경을 제거하는 방식을 보완하는 것도 가능할 것입니다.

3D 재구성에서 얻을 수 있는 기타 부수 효과

  • 깊이 맵(다만 절대 스케일은 알 수 없음)
  • 다른 어노테이션도 프레임 간에 전이됨
  • 메시 페인팅을 통한 시맨틱 분할

리라이팅

메시를 이용해 이미지를 리라이팅하면 더 많은 변화를 만들 수 있습니다.

이미지 리라이팅

메시 정보를 이용한 이미지 리라이팅

함께 일하세요

데이터를 최대한 활용하거나 생성하는 데 도움이 필요하시면 이메일을 보내 주세요.

Laan Labs와 함께하기

컴퓨터 비전 및 AI 개발

개념 증명부터 상용화까지, 기기 내와 클라우드에서 동작하는 맞춤형 컴퓨터 비전 및 머신러닝을 제공합니다.

이 글 다운로드

오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오