跳至主要内容

汽车

面向车辆的计算机视觉与 3D 采集:引导式拍摄、实时姿态估计、状态记录,以及用于适配和定制零件的扫描。

Laan Labs 为汽车制造商、经销商、在线交易平台、保险公司和后装市场企业打造计算机视觉与 3D 采集软件。手机可以识别车辆,实时估计其位置和朝向,引导持机者拍到正确的角度,并将车辆记录为照片、3D 扫描或照片级真实的高斯泼溅模型。Laan Labs 为一家德国汽车制造商开发了一款应用,借助定制训练的姿态估计网络,引导卖车人拍出一致的高质量照片。

汽车是计算机视觉中很难处理的拍摄对象。车身体积大、表面光亮且反光,在不同光线和环境下外观各异,而拍摄它们的是卖家、车主和技师,而不是摄影师。Laan Labs 从两端着手解决这一问题:一端是能在相机画面中理解车辆的模型,另一端是让这些模型训练成本可承受的合成训练数据,其中超过 10,000 张带标注的图像是渲染生成的,而不是拍摄后手工标注的。

同样的采集也能服务于车间。对发动机舱、轮拱或内饰的扫描,为改装师或零件制造商提供了可据以设计的真实几何数据;而一份带日期的车辆 3D 记录,则能显示车辆在交接时、归还时或维修前的状态。

Laan Labs 如何提供帮助

车辆引导式拍摄
采集流程能识别车辆,告诉卖家每张标准外观和内饰照片应站在哪里拍,并在接受照片之前检查构图、光线和对焦,使不论谁拍摄的车辆信息页看起来都风格一致。
实时车辆姿态估计
神经网络可在设备端实时地通过手机相机估计汽车的位置和朝向,详见基于合成数据训练的实时 3D 汽车姿态估计。
合成训练数据
涵盖不同车型、颜色、光照、天气和背景的车辆照片级渲染图,其姿态、轮廓和关键点标注由 3D 场景计算得出,取代了视觉模型原本所需的大部分拍摄和手工标注工作。
车辆上及周围的 AR
将图形、功能和配件按真实比例锚定在实车上,可在手机、平板或头显中查看,用于产品讲解、配置选择、车主指导和服务说明。
状态与损伤记录
在入场登记、租赁归还、租车交接或首次出险通知时进行环绕采集,每张照片和每项发现都与其在车辆上的位置相关联。同样的方法也适用于保险理赔。
用于适配和定制零件的扫描
对发动机舱、轮拱、内饰和车身板件进行 LiDAR 和照片扫描,并导出为可用于 CAD 的网格,使支架、车身套件、车衣和内饰件都依据真实车辆而不是图纸来设计。
用于车辆信息页和展厅的照片级 3D
对车辆内外进行高斯泼溅采集,对漆面、玻璃和镀铬件的还原优于传统 3D 扫描,并可在浏览器中从车辆信息页直接打开。

从哪里开始

大多数汽车项目都从某一工作流程中的某一步开始,例如交易平台的车辆信息页照片、车队的归还检查,或某一系列后装零件的扫描。Laan Labs 在数周内构建可运行的原型,并在真实条件下用真实车辆进行测试,包括户外和弱光环境,因为这正是车辆视觉系统成败的关键所在。

成果可以作为白标应用交付,也可以作为现有应用内的组件交付,或者以训练好的模型及其背后的数据流程交付。请参阅计算机视觉与 AI 开发以及3D 采集与技术授权。

该领域的 Laan Labs 产品

  • 3D Splat App — 在 Mac 上采集照片级真实的高斯泼溅模型
  • RadianceView — 将扫描、高斯泼溅模型和照片汇总为一份状态记录

常见问题

手机能判断汽车的位置和朝向吗?

可以。Laan Labs 训练了一个神经网络,能通过手机相机实时估计汽车的 3D 姿态,并将其用于为一家德国汽车制造商开发的应用中,引导卖家站到每张照片的正确位置。该模型在设备端运行,因此引导会随着人的移动而实时响应。

为什么要用合成数据训练车辆模型?

汽车的真实照片需要在许多地点拍摄并手工标注,这既缓慢、昂贵又容易出错,对 3D 姿态来说尤其如此。合成图像由 3D 汽车模型渲染而成,精确的标注自动生成,并且可以覆盖难以收集的颜色、光照、天气和背景。Laan Labs 在一个汽车姿态估计项目中以这种方式生成了超过 10,000 张带标注的图像。

手机扫描的精度足以为车辆设计零件吗?

对于空间布置、间隙、走线以及板件或舱室的大致形状,是足够的:iPhone 和 iPad 的 LiDAR 精度约为厘米级,TrueDepth 传感器则可在近距离解析更精细的细节。必须达到毫米级或更高配合精度的零件,例如安装面和螺栓孔位,应对照结构光或激光扫描结果进行核对,或直接测量。Laan Labs 构建的工作流程会在合适的环节使用各种手段。

如何处理光亮的漆面和玻璃?

反光和透明表面对深度传感器和摄影测量来说都很困难。高斯泼溅能很好地还原它们的外观,因为它对光线离开表面的方式进行了建模,而引导式采集则通过控制角度和覆盖范围提供帮助。如果需要光亮板件的干净几何数据,哑光扫描喷剂或专用扫描仪仍是可靠的方案。