본문으로 건너뛰기
여러 3D 시각화 및 재구성 기술 비교 InfraTech 사례 연구 - NeRF, 스플랫, 메시 등

여러 3D 시각화 및 재구성 기술 비교 InfraTech 사례 연구 - NeRF, 스플랫, 메시 등

InfraTech 자산을 관리하기 위해 휴대폰으로 NeRF와 가우시안 스플랫 등 다양한 3D 표현을 캡처하고 만드는 워크플로 개요입니다.

infrastructuregaussian-splattingnerf3d-scanning
Jason Laan
Jason Laan
2024년 2월 19일

비즈니스 과제

한 통신 회사는 기지국 타워와 통신 접속 국사(junction station) 자산을 관리할 솔루션이 필요했습니다. 비용 효율성과 도심 지역의 드론 운용 제한 때문에 현장 캡처는 모바일 기기로 수행해야 했습니다. 이 솔루션은 다음 업무를 지원해야 했습니다.

  • 자산 검증
  • 구성 요소 목록 관리
  • 상태 문서화
  • 작업 지시 관리
통신 자산 1통신 자산 2

요약: Laan Labs는 통신사가 LIDAR 메시를 통한 측정 데이터와, 이미지 주석, 360 사진, NeRF, 가우시안 스플래팅을 통한 시각 정보를 수집할 수 있도록 모바일 캡처 및 렌더링 워크플로를 개발합니다.


개요

Laan Labs의 통신 인프라 고객사는 현장 자산 관리 업무에 3D Scanner App의 맞춤 라이선스 버전을 성공적으로 사용해 왔습니다. 그럼에도 몇 가지 핵심 과제가 있었고, Laan Labs는 스캔 사진 주석 기능을 추가하여 이를 해결하도록 도왔습니다. 스캔 과정에서 사용자가 3D 점을 지정하고 주요 자산 부위에 대한 메모와 함께 사진 주석을 남길 수 있게 한 것입니다. 육안 평가가 업무에서 매우 중요한 부분이었기 때문에 워크플로에는 360 사진 캡처도 추가되었습니다. 이후 NeRF(Neural radiance fields)와 가우시안 스플래팅이 최근 크게 개선됨에 따라, 원격 사용자가 자산을 더 잘 점검할 수 있도록 이 기술들을 출력물로 추가했습니다. 이 기술들은 반사 표면, 배경, 미세한 디테일을 표현하는 데서 기존 사진측량 기법보다 앞선 면이 있기 때문입니다.


접근 방식

Laan Labs는 통신사의 업무 프로세스에 맞춰, 캡처, 기기 내 메시 처리, 그리고 지속적인 데이터 관리를 위해 다른 렌더링 디스플레이에서 쓸 데이터셋을 클라우드에 업로드하는 워크플로를 개발했습니다. 프로세스의 전체 개요는 아래 워크플로에서 확인할 수 있습니다.

워크플로 다이어그램

기본 접근 방식은 iOS 기기가 캡처를 완료하고 "그라운드 트루스(Ground Truth)" 데이터셋을 만드는 것입니다. 이 데이터셋은 클라우드에 저장되므로 기술이 발전함에 따라 3D 표현을 다시 처리하는 데에도 사용할 수 있습니다.

  • 포토셋 - 자세(pose) 데이터가 포함된 RGB 이미지
  • 깊이 데이터, LiDAR 신뢰도
  • 메타 정보 - GPS, 날짜, 사용자 등
  • 주석 – 핵심 이미지, 현장 메모, 텍스트, 바코드/QR 코드 등
사용자가 스캔하는 모습

평가

다양한 출력물을 평가하기 위해 동일한 캡처 데이터셋으로 비교를 수행했으며, 이를 통해 각 출력물을 자산 관리에서 가장 적합한 용도에 활용할 수 있었습니다.

유형지표
• 포인트 클라우드
• 메시 - (기기 내 처리, 사진측량 후처리)
• 360 사진 / 가상 투어
• 시맨틱 지오메트리 (예: RoomPlan)
• NeRF
• 가우시안 스플래팅
• 디지털 트윈 - 합성
• 처리 시간 / 비용
• 치수 정보 (측정 가능 여부)
• 시각적 선명도
• 손실 지표 (홀드아웃 이미지)

출력물 구현

포인트 클라우드

3D 점을 렌더링한 포인트 클라우드는 많은 업계 전문가에게 익숙한 형식이며, RGB 정보를 통해 캡처한 자산에 대한 시각적 단서도 어느 정도 얻을 수 있습니다. 이 표현이 자주 선호되는 이유는 "원시(Raw)" 데이터다운 느낌과 표현 방식에 있습니다. 후처리나 뷰 합성(View Synthesis)으로 수집된 데이터가 전혀 왜곡되지 않았다는 점입니다. 이 표현은 자산의 치수 특성을 관리하는 데 적합합니다. 캡처 중에 수집한 이미지를 참조하여 추가 정보를 얻을 수도 있습니다.

포인트 클라우드 보기

LiDAR 메시

캡처에서 처리한 메시는 자산의 치수 정보와 전반적인 형태 및 구조(예: 측정 등)를 제공하는 좋은 출력물입니다. 다만 메싱 과정에서 미세한 디테일 부분의 메시가 손실되는 경우가 많고, 반사 표면은 잘 처리하지 못합니다. 또한 표면 텍스처를 합성하고 블렌딩할 때 텍스처 이미지가 왜곡되는 여러 문제가 발생하여 미세한 디테일이나 텍스트를 읽을 수 없게 될 수 있습니다.

사진측량

깊이 데이터 없이 RGB 이미지만으로 메시를 만드는 방식입니다. 많은 모바일 기기에는 LiDAR나 유사한 깊이 정보가 없으므로, 이는 기기에 구애받지 않는 좋은 대체 방법입니다. 드론 캡처와 마찬가지로 정확한 축척을 얻으려면 마커를 사용해야 합니다. 이 처리는 보통 클라우드에서 이루어지며, 기기에서 캡처한 LiDAR 데이터를 클라우드에서 후처리하면 텍스처 해상도가 개선되는 경우가 많습니다.

사진측량 결과

360 사진 / 가상 투어 / 주석 이미지

최고 수준의 시각적 충실도가 필요한 경우에는 360 사진과 주석 이미지를 사용합니다. 360도 사진은 캡처 과정에서 사용자가 한 지점에 선 채로 360도 호를 그리며 회전하도록 안내하여 만듭니다. 이러한 이미지는 가상 투어에 자주 사용됩니다. 근접 디테일이 필요할 때는 스캔 중에 대상 물체를 눌러 3D 주석 이미지를 만들 수 있습니다. 이는 이후 OCR이나 바코드/QR 코드 인식을 위해 선명한 텍스트를 캡처하는 데 대체로 가장 좋은 방법입니다.

시맨틱 지오메트리

시맨틱 지오메트리는 캡처 중에 치수가 있는 지오메트리를 추출하고 객체를 식별하며, 결과물은 메시나 포인트 클라우드가 아닌 3D CAD 파일입니다. 이 자산에는 적용하지 않았지만, Apple의 RoomPlan에서 보듯 이 기술은 빠르게 발전하고 있습니다. 현재는 실내 캡처에 최적화되어 있으나 실외와 다른 콘텐츠 유형으로 빠르게 개선되고 있습니다.

NeRF (Neural Radiance Fields)

NeRF, 즉 Neural Radiance Fields는 3D 장면을 합성하는 신경망 기반의 새로운 유형의 모델입니다. 복잡한 장면을 매우 세밀하고 사실적으로 렌더링할 수 있다는 점에서 유용합니다. 하지만 치수 정보가 부족하여(즉, 측정에는 가장 적합하지 않으며, 이 부분에서 좋은 진전이 있기는 합니다) 현재는 클라우드 처리 시간과 비용이 높습니다. 이러한 비용은 instant NGP 같은 워크플로로 빠르게 달라지고 있으며 곧 사진측량과 비슷한 수준이 될 것입니다.

가우시안 스플래팅(가우시안 스플랫)

가우시안 스플래팅은 흩어진 점들을 부드러운 붓으로 번지게 섞어 그림을 더 매끄럽고 덜 끊기게 만드는 것과 비슷합니다. 3D 그래픽과 여러 기술 분야에서 빈틈을 메우고 모든 것을 더 자연스럽게 보이게 하는 데 쓰이는 멋진 기법입니다. NeRF보다 제작 비용이 훨씬 적게 들고 빠르지만, 모든 정보가 사실상 2D 평면에 투영될 뿐이므로 측정에는 사용할 수 없습니다. 메시와 스플랫을 정렬하는 연구가 좋은 성과를 내고 있어 이 점은 달라질 수 있습니다.

가우시안 스플래팅은 디지털 에어브러시로 흩어진 점들을 부드러운 그림으로 섞어 3D 그래픽이 덜 각져 보이게 하는 것과 같습니다. 반면 NeRF는 컴퓨터에게 일반 사진으로 매우 사실적인 3D 장면을 만들도록 가르치는 것과 같아서, 아주 미세한 디테일과 조명 효과까지 포착합니다.

디지털 트윈 - 합성

3D CAD 또는 합성 디지털 트윈은 가장 깔끔한 시각적 표현이며 Revit 등의 CAD 소프트웨어와 함께 작동합니다. 실제 상태를 정확하게 반영하지는 않지만, 상호 운용성 때문에 많은 엔지니어가 선호하는 형식입니다. 이 출력물은 대개 자동으로 생성되지 않으며, 보통 3D 엔지니어가 포인트 클라우드나 메시를 가져와 Revit, SketchUp 등의 CAD 프로그램에서 자산을 다시 만들어 냅니다. 아래 도면은 이 자산과 관련된 것이 아니지만, 이 통신사의 워크플로에서 사용되므로 다른 출력물과 관련하여 언급하는 것이 중요합니다.

3D CAD 디지털 트윈

결론

Laan Labs는 3D Scanner App의 라이선스 버전을 기본 툴셋으로 삼아 고도로 맞춤화된 워크플로를 개발함으로써 성공적인 솔루션을 구현했습니다. 이 시스템은 드론과 고정밀 LiDAR 스캐너 등 고객사의 다른 수집 방식과도 잘 연동됩니다. 궁금한 점이 있으시면 언제든지 labs@laan.com으로 문의해 주십시오.

사용 기술

컴퓨터 비전, 신경망, 클라우드 서비스, NeRF, 가우시안 스플래팅

Laan Labs와 함께하기

가우시안 스플래팅 및 래디언스 필드

사진과 영상으로 구현하는 사실적인 3D 캡처로, 캡처 프로토콜부터 학습, 브라우저 또는 기기에서의 제공까지 아우릅니다.

이 글 다운로드

오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오