跳至主要内容

媒体、视效与游戏

为电影、电视、游戏和沉浸式媒体提供场景、道具和人物的照片级真实采集:高斯泼溅模型、辐射场、布景扫描和体积视频。

Laan Labs 为影视制作、视效工作室、游戏开发者和沉浸式媒体团队打造采集与渲染技术。外景、布景、道具和表演者通过手机和普通相机采集,并重建为可进入制作流程的高斯泼溅模型、辐射场或网格。Laan Labs 曾用 15 部同步的 iPhone 和 NeRF 录制体积“子弹时间”视频,并用 Metal 为 3D Splat App 自行编写了高斯泼溅训练器和渲染器。

制作团队一直需要把现实世界转为数字形式:用来规划镜头的外景、需要扩展的布景、需要重建的道具,以及从没有摄影机到过的角度才能看到的表演。直到不久前,这还意味着需要一支 LiDAR 团队、摄影测量设备或体积摄影棚。配备深度传感器的手机和辐射场重建改变了成本。勘景人员几分钟就能扫描一处外景,视效总监可以在两条拍摄之间记录布景,美术师则从真实物体的采集数据出发开始工作。

Laan Labs 曾与包括 HBO、NBC、MTV 和 TBS 在内的媒体公司合作,其扫描技术已被电影、电视和游戏制作广泛采用,从外景规划和分镜,到用扫描物体构建游戏资产。

Laan Labs 如何提供帮助

外景与布景采集
对外景和布景进行真实比例的 LiDAR 和照片扫描,用于勘景、镜头规划、分镜和预演,并作为后期制作中布景扩展和镜头跟踪的实测参考。
照片级真实的环境
高斯泼溅和辐射场采集能还原场所连同其光线、反射和精细细节,用于虚拟勘景、与导演或客户一起评审、背景环境和沉浸式体验。质量取决于场所拍摄得是否充分。
道具与游戏资产
对真实物体、车辆和环境进行扫描,并以 OBJ、USD 和 glTF 格式的带纹理网格交付,为美术师提供准确的起点,用于重新拓扑和优化,而不必依据照片建模。
体积与子弹时间采集
由手机组成的同步多机位设备,配合时间对齐、色彩匹配和逐帧重建,生成一个瞬间或一小段表演,可从相机所覆盖的各个角度观看。画质在相机位置附近最佳,在相机之间和相机范围之外则逐渐下降。
面部与表演者
通过 iPhone TrueDepth 传感器和照片对面部、手部和身体进行近距离扫描,作为数字替身、角色制作以及服装和假体适配的参考。
定制训练器与渲染器
针对所用硬件编写的重建和实时渲染程序,包括在 Apple Silicon 上训练而无需上传云端、压缩为 SPZ 和 SOG,以及适用于网页、iPhone、iPad 和 Mac 的查看器。
沉浸式播放
采集内容可在 Apple Vision Pro、Meta Quest 和其他头显上以真实比例展示,用于外景评审、展览和面向观众的体验。
面向视频与内容的 AI
能够大规模观看并描述视频的视觉与语言模型,例如与 Glow Agency 共同打造的 CreatorView,用于评估创作者与品牌在社交媒体内容上的契合度。

从哪里开始

首个项目通常是某一制作中的一个采集难题:剧组离开后还需要重访的外景、需要数字副本的道具,或需要定格瞬间的镜头。Laan Labs 负责构建并执行采集,按制作流程要求的格式交付成果,并记录获得该成果所需的覆盖范围和条件,以便制作团队自己能够重复这一方法。

希望将该技术内置到自己软件中的工作室和工具厂商,可以获得授权,也可以委托开发组件。请参阅高斯泼溅与辐射场以及空间计算、AR 与 VR 开发。

该领域的 Laan Labs 产品

  • 3D Splat App — 在 Mac 上训练和查看高斯泼溅模型,无需上传云端
  • RadianceView — 高斯泼溅模型、扫描和照片通过一个链接共享

常见问题

制作团队何时应使用高斯泼溅,何时应使用网格?

高斯泼溅能还原场所的外观,包括反射、玻璃、植被和精细细节,而且制作快速,适用于勘景、评审、背景和沉浸式观看。网格具有可打光、可碰撞、可绑定和可编辑的表面,适用于资产以及任何需要与其他元素交互的内容。许多项目会从同一次采集中同时使用两者:用高斯泼溅表现外观,用 LiDAR 或摄影测量网格表现几何和比例。

采集外景或道具需要什么设备?

较新的 iPhone 或 iPad 即可满足大多数外景、布景和道具扫描,任何优质相机都可以为高斯泼溅提供照片或视频。体积和子弹时间采集需要多台同步相机;Laan Labs 曾用三脚架上的 15 部 iPhone 搭建过这样的设备。

采集内容能在游戏引擎和视效软件中使用吗?

网格以带纹理的 OBJ、USD 或 glTF 格式交付,可加载到标准游戏引擎和内容创作工具中。高斯泼溅以 PLY、SPZ 或 SOG 格式交付,可在网页查看器、原生应用和头显中播放,也可在原生支持高斯泼溅或通过插件支持的引擎和工具中使用。Laan Labs 会针对每个项目的具体制作流程构建相应的转换。

未发布的素材能否保留在我们自己的机器上?

可以。Laan Labs 在 Apple Silicon Mac 上本地训练高斯泼溅模型,3D Splat App 就是这样工作的,并且可以在工作室自己的硬件上运行整套流程,因此布景、演员和未发布作品的素材不会上传到第三方云端。