본문으로 건너뛰기
Metal로 구현한 Apple Silicon용 Gaussian Splat 학습

Metal로 구현한 Apple Silicon용 Gaussian Splat 학습

Chris Laan
작성자
Chris Laan
gaussian splatting, metal, apple silicon, cuda
2026년 9월 30일 · 2026년 10월 4일 업데이트

요약: 우리는 Gaussian splat 학습을 CUDA에서 Metal로 옮겼습니다. 3D Splat App은 모든 Apple Silicon Mac에서 로컬로 splat을 학습하며, 무료입니다.

Mac용 3D Splat App

만든 이유

Gaussian Splatting 연구 코드는 거의 모두 NVIDIA GPU를 전제로 합니다. 원조 3DGS 구현과 그 뒤를 이은 대부분의 더 빠른 트레이너는 PyTorch에서 구동하는 CUDA 커널입니다. Mac에서 작업한다면 클라우드 GPU를 빌리거나, 책상 밑에 Linux 머신을 두거나, WebGPU를 통해 Mac에서 실행되는 Brush 같은 크로스 플랫폼 트레이너를 쓰는 수밖에 없었습니다. 우리는 Apple 자체의 GPU 프레임워크인 Metal 위에 직접 만든 트레이너를 원했습니다.

우리의 3D 캡처 작업은 대부분 Apple 하드웨어에서 이루어지므로, 사진을 넣고, 카메라 포즈를 얻고, 학습하고, 결과를 확인하고, 내보내는 전 과정을 한 대의 머신에서 처리하고 싶었습니다. 업로드도, Python 환경도 필요 없습니다.

3D Splat App이 그 결과물입니다. 이 기술이 처음이시라면 쉬운 말로 풀어 쓴 입문 글을 참고하세요: Gaussian Splatting이란 무엇인가?

3D Splat App에서 splat 학습 중

HD 프리셋으로 이미지 195장 캡처를 학습하는 모습. PSNR과 loss가 실시간으로 표시됩니다

주요 기능

  • 원본 사진, COLMAP 데이터셋, Nerfstudio 프로젝트를 가져옵니다. 원본 사진은 내장된 COLMAP으로 structure from motion을 실행해 카메라 포즈를 복원합니다.
  • 로컬 GPU에서 Fast, Medium, HD 프리셋으로 학습하며, 장면과 기기에 따라 각각 대략 2분, 5분, 10~20분이 걸립니다.
  • 학습하는 동안 splat을 PSNR 및 loss 곡선과 함께 보여 줍니다.
  • 마스크를 지원합니다. PNG 알파, 별도의 마스크 폴더, 내장 인물 분할, 프레임별로 칠할 수 있는 마스크 편집기를 제공합니다.
  • PLY, 압축 PLY, SPZ, SOG로 내보냅니다.

0.3 버전의 새로운 점

0.3 업데이트는 9월 중순에 출시되었으며 런칭 이후 가장 큰 릴리스입니다. 간단히 말해 이 앱은 이제 트레이너에 그치지 않습니다. 앱에서 만든 splat이든 아니든, splat을 보고 편집하는 뷰어이자 에디터이기도 합니다.

0.3의 새로운 점: 360° 가져오기, 편집 도구, 뷰어 업데이트

Splat 편집 도구. 학습을 마친 splat을 열어 그 자리에서 정리할 수 있습니다. 상자, 구, 평면으로 잘라 안쪽 또는 바깥쪽을 남길 수 있습니다. splat 위에 칠해 선택한 뒤 플로터(floater), 안개 같은 잡음, 그 밖에 카메라에 찍혔지만 원치 않는 것들을 삭제합니다. 변환 기즈모로 장면 전체를 이동, 회전, 크기 조절해 바닥은 바닥에, 모델은 올바른 방향에 맞출 수 있습니다. 실행 취소도 지원하며, 마음에 들면 결과를 저장하거나 내보냅니다.

뷰어 모드. 이제 PLY, SPZ, SOG 파일을 Finder에서 바로 열 수 있습니다. 다른 곳에서 학습한 splat도 보고, 편집하고, 다시 내보낼 수 있습니다. 여러 splat을 탭으로 열 수 있고, 두 개를 나란히 비교하는 분할 보기도 있습니다. 지원 형식은 Quick Look 미리보기가 작동하므로, splat 파일도 이미지처럼 Finder에 미리보기가 표시됩니다.

플라이스루 조작. 모든 splat 보기에서 마우스와 트랙패드뿐 아니라 W, A, S, D, Q, E 키로 카메라를 움직일 수 있으며, 방향키와 Shift로 속도를 조절합니다.

360° 비디오 가져오기. 360° 카메라 영상에 대한 초기 지원입니다. 앱이 등장방형(equirectangular) 비디오를 핀홀 뷰 모음으로 변환하므로, 360° 카메라로 걸으며 촬영한 영상이 일반적인 학습 세트가 됩니다.

전반적인 속도 향상. 학습이 더 빨라졌습니다. COLMAP의 특징점 검출과 매칭이 이제 GPU에서 실행되어 structure from motion도 빨라졌습니다. 큰 splat을 불러오는 시간은 몇 초 기다리던 것에서 거의 즉시로 줄었습니다. 그리고 대형 장면에서 몇 분씩 걸리던 SOG 내보내기는 이제 몇 초면 끝나고 품질도 더 좋아졌습니다.

렌더링과 비디오. 뷰어가 이전보다 splat을 더 정확하게 렌더링하며, 카메라 경로 비디오 렌더러에는 배경 채우기, 피사계 심도, 색 보정을 갖춘 룩 패널과 클립 전체에 적용되는 단일 화각 컨트롤이 추가되었습니다.

Splat 트레이너의 실체

GPU에서 무엇을 실행해야 하는지 분명히 짚고 넘어가는 것이 좋습니다. Gaussian splat 학습은 최적화 루프입니다. 트레이너는 매 단계마다 학습용 카메라 중 하나의 시점에서 현재의 Gaussian 집합을 렌더링하고, 그 렌더링 결과를 실제 사진과 비교한 다음, 오차가 줄어드는 방향으로 Gaussian의 위치, 모양, 불투명도, 색을 조정합니다. 또 주기적으로 디테일이 부족한 곳에 Gaussian을 추가하고, 제 몫을 하지 못하는 Gaussian은 제거합니다.

렌더링 부분은 타일 기반 래스터라이저입니다. Gaussian을 화면에 투영하고, 깊이순으로 정렬하고, 작은 화면 타일로 나눈 뒤, 각 타일 안에서 앞에서 뒤로 알파 합성합니다. 학습 부분은 같은 과정을 거꾸로 실행합니다. 픽셀별 오차를 합성 순서를 따라 거슬러 그 픽셀에 영향을 준 모든 Gaussian에 전달한 다음 옵티마이저 업데이트를 적용합니다.

이 가운데 표준 그래픽스 파이프라인에 해당하는 것은 없으며, 범용 머신러닝 프레임워크가 잘 처리해 주는 것도 없습니다. 빠른 트레이너는 이 전체를 맞춤형 GPU 컴퓨트 커널로 구현하는데, 바로 이 점이 CUDA 의존성을 끊기 어렵게 만듭니다.

Metal로 옮기기

우리는 최신 CUDA splat 트레이너를 Metal로 포팅했습니다. 수학은 두 플랫폼에서 같으며, 달라지는 것은 그 주변의 모든 것입니다. splat 트레이너가 의존하는 GPU 프리미티브, 라이브러리, 관례가 CUDA에는 10년 치가 쌓여 있지만 Metal에는 거의 없습니다. 그래서 작업의 상당 부분은 CUDA 개발자가 공짜로 얻는 구성 요소를 다시 만들고 Apple GPU에 맞게 튜닝하는 일이었습니다. 설계 중 GPU에서 스레드가 협력하는 방식에 의존하는 부분은 다행히 잘 옮겨졌고, 덕분에 이 프로젝트가 애초에 가능했습니다.

나머지 절반은 Apple Silicon을 어떻게 다루어야 하는지 익히는 일이었습니다. Mac GPU는 CPU와 메모리를 공유하므로 한 부류의 복사 작업이 사라지지만, 비용이 큰 연산이 무엇인지도 달라집니다. GPU에 작업을 넘기고 결과를 기다리는 방식이 CUDA와 상당히 달라서, 학습 루프는 번역이 아니라 구조를 다시 짜야 했습니다. 또한 VRAM 상한이 없으므로 장면 크기의 현실적인 한계는 Mac의 통합 메모리가 되는데, 사양이 좋은 노트북이라면 대부분의 외장 GPU보다 많습니다.

Structure from motion에도 같은 작업이 필요했습니다. COLMAP의 GPU 가속 역시 CUDA이므로 macOS용으로 빌드하고, 특징점 추출과 매칭도 Metal로 옮겼습니다.

그 결과 앱 어디에도 PyTorch나 autograd가 없는, 전적으로 C++와 Metal로 작성된 트레이너가 완성되었습니다. Swift는 UI에서만 사용됩니다.

포팅 검증

이런 포팅은 미묘하게 틀리기 쉽고, splat 트레이너는 아무 경고 없이 조금 더 나쁜 결과로 수렴할 수 있습니다. 그래서 엔진에는 엄격한 기준을 적용합니다. 래스터라이저를 바꾸기 전후로 고정된 장면은 바이트 단위로 동일한 이미지를 렌더링해야 하며, 성능 작업은 짧은 학습 실행의 지표를 동일하게 유지해야 합니다. 앱에 들어간 모든 최적화는 이 기준을 통과해야 했습니다.

뷰어에서 본 650만 개의 splat

뷰어에서 본 650만 개 splat 장면

Gaussian Splatting 간단 입문

위 내용이 너무 전문적이었다면, Gaussian Splatting이 무엇이고 왜 사람들이 열광하는지 간단히 정리해 드립니다. 자세한 설명은 3D Splat App 사이트에 있습니다: Gaussian Splatting이란 무엇인가?

개별 splat이 모여 얼굴을 이루는 모습. 흐릿한 덩어리 하나하나가 Gaussian 하나이며, 이것들이 모여 사실적인 이미지가 됩니다.

Splat이란

방 하나를 레고 블록으로 재현한다고 생각해 보세요. 딱딱하고 불투명한 수천 개의 블록을 맞춰서 대략 같은 형태를 만듭니다. 이제 블록 대신 색을 띤 수백만 개의 작고 반투명한 구름으로 같은 일을 한다고 해 봅시다. 각 구름은 가장자리가 부드럽고, 저마다 색조와 투명도가 있으며, 이웃한 구름과 겹칩니다. 멀리서 보면 이것들이 섞여 사진과 거의 구분되지 않는 모습이 됩니다.

이것이 Gaussian splat입니다. 장면은 폴리곤으로 이루어진 표면이 아니라, 작고 흐릿한 3D 덩어리의 거대한 집합이며, 각 덩어리는 위치, 크기와 모양, 방향, 색, 불투명도를 저장합니다. 완성된 장면에는 수십만 개에서 수백만 개에 이르는 덩어리가 들어 있을 수 있습니다. 이름의 "Gaussian"은 통계의 종 모양 곡선으로, 각 덩어리가 밀도 높은 중심에서 부드러운 가장자리로 어떻게 옅어지는지를 설명합니다. "Splatting"은 이것들을 그리는 방식입니다. 눈덩이가 유리창에 부딪히듯 각 3D 덩어리를 화면에 납작하게 투영하고, 겹친 모든 splat이 섞여 최종 이미지가 됩니다.

3차원이라서 궤도를 돌며 보거나 그 안을 날아다닐 수 있지만, 전통적인 3D 모델은 아닙니다. 폴리곤도, UV 맵도, 텍스처 파일도 없습니다. 캡처가 커버한 시점에서 사실적으로 보이는 방법을 아는, 매우 조밀하고 매우 똑똑한 포인트 클라우드에 더 가깝습니다. 또한 학습에는 머신러닝과 인접한 최적화 기법이 쓰이지만 생성 모델은 아닙니다. 장면은 입력 사진으로부터 재구성되는 것이지 지어내는 것이 아닙니다. 따라서 품질은 커버리지에 달려 있습니다. 몇 개의 각도에서만 촬영했거나 아예 촬영하지 않은 영역에는 흐림이나 떠다니는 아티팩트가 나타날 수 있습니다.

작동 방식

전체 과정은 하나의 질문을 계속 반복합니다. 이 장면을 원본 사진과 같은 카메라 각도에서 렌더링하면, 사진처럼 보이는가?

  1. 캡처. 피사체를 여러 각도에서 사진이나 영상으로 촬영하되, 장면의 각 부분이 여러 시점에 나타나도록 충분히 겹치게 합니다. 보통은 천천히 촬영한 휴대폰 영상이면 충분합니다. LiDAR는 필요하지 않습니다.
  2. 카메라 위치 추정. 소프트웨어가 여러 이미지에서 같은 모서리, 가장자리, 질감을 찾고, 그것들이 어떻게 이동하는지로 각 사진이 어디에서 촬영되었는지, 그리고 사물이 공간 어디쯤에 있는지를 대략 계산합니다. 이것이 structure from motion이며, 3D Splat App에 내장된 COLMAP이 하는 일입니다.
  3. 학습. 그렇게 얻은 듬성한 점들에서 출발해, 트레이너는 알려진 카메라 위치에서 장면을 반복해서 렌더링하고, 각 렌더링을 실제 사진과 비교하며, 차이가 줄어들도록 모든 Gaussian을 조금씩 조정합니다. 덩어리는 이동하고, 커지고, 작아지고, 늘어나고, 색과 불투명도가 바뀌며, 어디에 디테일이 필요한지 학습하면서 덩어리를 추가하거나 제거합니다.
  4. 보기. 결과물은 인터랙티브하게 탐색할 수 있을 만큼 빠르게 렌더링됩니다. 물체 주위를 돌거나, 방 안을 걸어 다니거나, 카메라 경로를 설정해 플라이스루를 만들 수 있습니다.

Splat과 메시의 비교

메시는 표면을 기술하고, splat은 외관을 기술합니다. 폴리곤 메시는 깔끔한 지오메트리와 뚜렷한 가장자리, 그 위에 입혀진 텍스처를 가지며, 모든 삼각형을 이동, 스무딩, 삭제할 수 있습니다. splat에는 그런 구조가 전혀 없고, 바로 그 때문에 메시가 어려워하는 것을 담아낼 수 있습니다. 반사, 유리, 나뭇잎, 머리카락, 가는 전선, 그리고 현실 세계의 전반적인 어수선함이 그렇습니다.

Splat과 메시 비교

같은 피사체를 Gaussian splat(왼쪽)과 폴리곤 메시(오른쪽)로 표현하고, 전체 장면에서 개별 프리미티브까지 확대한 모습

유용한 경험칙이 있습니다. 메시는 다루고 싶은 대상에, splat은 방문하고 싶은 장소에 적합합니다. 편집, 애니메이션, 시뮬레이션, 3D 프린팅이 목적이라면 여전히 메시가 필요합니다. 어떤 대상의 겉모습을 담아 사람들이 탐색하게 하는 것이 목적이라면 splat을 따라가기는 어렵습니다.

급부상한 이유

2023년 이전에는 사진으로 사실적인 3D를 만들려면 불완전한 두 선택지 중 하나를 골라야 했습니다. 포토그래메트리는 편집 가능한 메시를 만들지만 반짝이는 표면, 얇은 구조, 미세한 디테일에 약했습니다. 초기 neural radiance field(NeRF)는 아름다운 새로운 시점을 렌더링했지만 학습에 몇 시간이 걸리고 프레임 하나를 표시하는 데 몇 초가 걸렸습니다. 이후 연구, 특히 2022년 NVIDIA의 Instant NGP가 학습 시간을 몇 분으로 줄였지만, 부드러운 렌더링에는 여전히 강력한 GPU가 필요했습니다. Gaussian Splatting은 최고 수준 NeRF의 시각 품질에 필적하면서 일반 소비자용 하드웨어에서도 인터랙티브할 만큼 빠른 실시간 렌더링을 해냈습니다. 이 조합이 사람들의 눈길을 사로잡았습니다.

실시간 렌더링은 연구 결과를 실제로 쓸 수 있는 것으로 바꿉니다. 누구나 드래그해서 돌려 볼 수 있는 웹 뷰어, 캡처한 환경으로 만드는 VR과 AR, 아티스트가 비디오 클립처럼 캡처한 장면으로 작업하는 크리에이티브 도구가 그 예입니다. 게다가 캡처 방법도 평범합니다. 이미 가지고 있는 카메라로, 늘 하던 방식으로 촬영하면 됩니다.

활용 사례

  • 방과 실내: 주택 투어, 스튜디오, 갤러리, 부동산 매물, 준공 건축 기록. 실내 공간은 초보자에게 가장 쉬운 대상입니다. 조명이 일정하고, 움직이는 것이 없고, 휴대폰을 들고 천천히 걸으면 됩니다.
  • 사물과 제품: 이커머스용 회전 뷰, 수집품, 수공예품, 조각, 그리고 포토그래메트리가 어려워하는 반사성이 있거나 디테일이 정교한 모든 것.
  • 야외 공간: 정원, 건물 외관, 공원, 기념물, 공사 진행 상황. 나무, 자갈, 이끼 낀 돌은 이전 방식이 제대로 처리하지 못하던 바로 그런 표면입니다.
  • 크리에이티브 및 VFX 작업: 촬영용 가상 로케이션, 뮤직비디오 배경, VFX 플레이트, 게임 환경, 디지털 아트.
  • 연구와 기록: 문화유산 현장, 실험실 설비, 어떤 장소의 모습을 충실하게 기록하고 싶은 모든 곳.

캡처 팁 몇 가지

모션 블러를 피하려면 천천히 움직이세요. 피사체의 모든 부분이 조금씩 다른 각도의 여러 프레임에 나오도록 넉넉하게 겹쳐 찍으세요. 사물은 위에서 찍는 것을 포함해 서로 다른 높이 몇 곳에서 돌며 촬영합니다. 야외에서는 가능하면 흐린 날 빠르게 촬영하세요. 바람, 움직이는 구름, 지나가는 사람이 모두 방해가 됩니다. 그리고 피사체를 프레임 안에 유지하세요. 트레이너는 카메라가 실제로 본 것만 재구성할 수 있습니다.

다운로드

3D Splat App은 Mac App Store에서 무료입니다. M1 이상과 macOS 15.6 이상이 필요합니다.

3dsplatapp.com에서 3D Splat App 다운로드

Laan Labs와 함께하기

가우시안 스플래팅 및 래디언스 필드

사진과 영상으로 구현하는 사실적인 3D 캡처로, 캡처 프로토콜부터 학습, 브라우저 또는 기기에서의 제공까지 아우릅니다.

이 글 다운로드

오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오