
汽车
面向车辆的计算机视觉与 3D 采集:引导式拍摄、实时姿态估计、状态记录,以及用于适配和定制零件的扫描。
Laan Labs 为汽车制造商、经销商、在线交易平台、保险公司和后装市场企业打造计算机视觉与 3D 采集软件。手机可以识别车辆,实时估计其位置和朝向,引导持机者拍到正确的角度,并将车辆记录为照片、3D 扫描或照片级真实的高斯泼溅模型。Laan Labs 为一家德国汽车制造商开发了一款应用,借助定制训练的姿态估计网络,引导卖车人拍出一致的高质量照片。
汽车是计算机视觉中很难处理的拍摄对象。车身体积大、表面光亮且反光,在不同光线和环境下外观各异,而拍摄它们的是卖家、车主和技师,而不是摄影师。Laan Labs 从两端着手解决这一问题:一端是能在相机画面中理解车辆的模型,另一端是让这些模型训练成本可承受的合成训练数据,其中超过 10,000 张带标注的图像是渲染生成的,而不是拍摄后手工标注的。
同样的采集也能服务于车间。对发动机舱、轮拱或内饰的扫描,为改装师或零件制造商提供了可据以设计的真实几何数据;而一份带日期的车辆 3D 记录,则能显示车辆在交接时、归还时或维修前的状态。
Laan Labs 如何提供帮助
- 车辆引导式拍摄
- 采集流程能识别车辆,告诉卖家每张标准外观和内饰照片应站在哪里拍,并在接受照片之前检查构图、光线和对焦,使不论谁拍摄的车辆信息页看起来都风格一致。
- 实时车辆姿态估计
- 神经网络可在设备端实时地通过手机相机估计汽车的位置和朝向,详见基于合成数据训练的实时 3D 汽车姿态估计。
- 合成训练数据
- 涵盖不同车型、颜色、光照、天气和背景的车辆照片级渲染图,其姿态、轮廓和关键点标注由 3D 场景计算得出,取代了视觉模型原本所需的大部分拍摄和手工标注工作。
- 车辆上及周围的 AR
- 将图形、功能和配件按真实比例锚定在实车上,可在手机、平板或头显中查看,用于产品讲解、配置选择、车主指导和服务说明。
- 状态与损伤记录
- 在入场登记、租赁归还、租车交接或首次出险通知时进行环绕采集,每张照片和每项发现都与其在车辆上的位置相关联。同样的方法也适用于保险理赔。
- 用于适配和定制零件的扫描
- 对发动机舱、轮拱、内饰和车身板件进行 LiDAR 和照片扫描,并导出为可用于 CAD 的网格,使支架、车身套件、车衣和内饰件都依据真实车辆而不是图纸来设计。
- 用于车辆信息页和展厅的照片级 3D
- 对车辆内外进行高斯泼溅采集,对漆面、玻璃和镀铬件的还原优于传统 3D 扫描,并可在浏览器中从车辆信息页直接打开。
从哪里开始
大多数汽车项目都从某一工作流程中的某一步开始,例如交易平台的车辆信息页照片、车队的归还检查,或某一系列后装零件的扫描。Laan Labs 在数周内构建可运行的原型,并在真实条件下用真实车辆进行测试,包括户外和弱光环境,因为这正是车辆视觉系统成败的关键所在。
成果可以作为白标应用交付,也可以作为现有应用内的组件交付,或者以训练好的模型及其背后的数据流程交付。请参阅计算机视觉与 AI 开发以及3D 采集与技术授权。
相关工作

汽车摄影
利用计算机视觉提升汽车摄影的质量

汽车数据集生成
利用合成数据降低汽车姿态估计神经网络的训练成本

移动 LiDAR 工作流程
专业人士如何将移动 LiDAR 扫描融入日常业务

3D Scanner 集成
授权使用 3D Scanner App 如何革新一家保险公司的工作流程

3D 车辆姿态估计
我们将演示如何用合成数据创建神经网络,完成车辆的实时 3D 姿态估计任务。

摄影测量与标注
如何只标注少量图像,就为成千上万帧视频打上标签

在 Mac 上用 Metal 训练 Gaussian Splat
大多数 Gaussian Splatting 训练器都基于面向 NVIDIA GPU 的 CUDA。我们把一个 CUDA splat 训练器移植到了 Metal,让它能在 Apple Silicon 上原生运行。成果就是 3D Splat App,一款在 Mac 本地训练 splat 的免费应用。
该领域的 Laan Labs 产品
- 3D Splat App — 在 Mac 上采集照片级真实的高斯泼溅模型
- RadianceView — 将扫描、高斯泼溅模型和照片汇总为一份状态记录
常见问题
手机能判断汽车的位置和朝向吗?
可以。Laan Labs 训练了一个神经网络,能通过手机相机实时估计汽车的 3D 姿态,并将其用于为一家德国汽车制造商开发的应用中,引导卖家站到每张照片的正确位置。该模型在设备端运行,因此引导会随着人的移动而实时响应。
为什么要用合成数据训练车辆模型?
汽车的真实照片需要在许多地点拍摄并手工标注,这既缓慢、昂贵又容易出错,对 3D 姿态来说尤其如此。合成图像由 3D 汽车模型渲染而成,精确的标注自动生成,并且可以覆盖难以收集的颜色、光照、天气和背景。Laan Labs 在一个汽车姿态估计项目中以这种方式生成了超过 10,000 张带标注的图像。
手机扫描的精度足以为车辆设计零件吗?
对于空间布置、间隙、走线以及板件或舱室的大致形状,是足够的:iPhone 和 iPad 的 LiDAR 精度约为厘米级,TrueDepth 传感器则可在近距离解析更精细的细节。必须达到毫米级或更高配合精度的零件,例如安装面和螺栓孔位,应对照结构光或激光扫描结果进行核对,或直接测量。Laan Labs 构建的工作流程会在合适的环节使用各种手段。
如何处理光亮的漆面和玻璃?
反光和透明表面对深度传感器和摄影测量来说都很困难。高斯泼溅能很好地还原它们的外观,因为它对光线离开表面的方式进行了建模,而引导式采集则通过控制角度和覆盖范围提供帮助。如果需要光亮板件的干净几何数据,哑光扫描喷剂或专用扫描仪仍是可靠的方案。