
空间计算:AR、VR 与头显开发
能够理解并渲染物理世界的应用,覆盖 Apple Vision Pro、Meta Quest、Android XR、智能眼镜、手机和网页。
Laan Labs 为各类 AR、VR 和混合现实设备开发空间计算应用:Apple Vision Pro、Meta Quest、Android XR 头显、企业级头显、智能眼镜,以及 iPhone、iPad 和 Android 上的增强现实。工作涵盖完整的技术栈,从跟踪和场景理解,到扫描结果、网格和 Gaussian splat 的实时 3D 渲染,再到让用户能够通过双手、眼睛和手柄顺畅使用的交互设计。Laan Labs 发布了 AirDraw,一款面向 Apple Vision Pro 的 3D 绘画应用,并在航空航天零部件检测等客户项目中使用头显,检测人员可在现场查看 3D 采集结果和照片。
头显在价格、光学、输入方式和受众上各不相同,但所有头显面临的难题是一样的:稳定的跟踪,与真实房间对齐的虚拟几何,在每只眼睛 90 帧每秒的情况下处理数百万个图元仍能保持流畅的渲染,以及自然而无需学习的交互。自 ARKit 推出以来,Laan Labs 一直在构建增强现实,开发了 iPhone 上最早的 LiDAR 扫描应用之一,如今更在设备端原生训练和渲染 Gaussian splat。这些积累可以从一个平台延续到下一个平台。
这也意味着 Laan Labs 可以就哪种设备适合项目提供建议,而不是从自己偏爱的设备出发。Apple Vision Pro 提供最出色的显示效果以及手势和眼动输入,适合质量比单台成本更重要的专业用途。Meta Quest 以低得多的价格让更多人用上功能强大的混合现实,适合培训、现场部署和面向消费者的推广。Android XR 则开启了第三个生态系统。企业级头显和智能眼镜适合需要腾出双手的工业作业。而对许多产品来说,正确的答案仍然是用户口袋里已有的那部手机。
典型项目包括面向工业和房地产客户的测量、检测和文档记录工具,AR 产品可视化(例如在自己家中规划厨房),培训和引导式作业,创意工具,以及把 3D 采集成果带到工作现场所用设备上的查看器。
我们的工作
- Apple Vision Pro 与 visionOS
- 原生 visionOS 应用,支持手势和眼动交互、窗口、体积和沉浸式空间、共享体验,以及使用 RealityKit 或自定义 Metal 流程渲染的 3D 内容。
- Meta Quest 与 Android XR
- 面向 Meta Quest 和 Android XR 头显的混合现实与 VR 应用,使用透视、场景与房间理解、手部跟踪和手柄,可原生开发,也可使用 Unity、Unreal Engine 和 OpenXR 构建。
- 企业级头显与智能眼镜
- 面向工业头显和轻型智能眼镜的应用,适用于免提引导、远程专家支持以及在设备上叠加信息比沉浸感更重要的场景。
- 手机与平板电脑 AR
- iPhone 和 iPad 上的 ARKit,以及 Android 上的 ARCore,用于测量、可视化、采集和引导,支持世界跟踪、LiDAR 深度、人物遮挡和物体放置。依然是覆盖面最广的 AR 平台。
- 房间与场景理解
- 将在空间中走一圈的过程重建为墙壁、门、窗、家具和平面图,并附带语义标签,使虚拟内容能够响应真实房间,Laan Labs 的开源 OpenPlan3D 编辑器即采用了这一技术。
- 实时 3D 渲染
- 针对每种设备的帧预算调优的点云、网格和 Gaussian splat 定制渲染器,包括 3D Splat App 背后的 Metal 引擎,使真实场所的照片级真实感采集结果可以在头显中按真实比例漫步。
- 跨平台与 WebXR
- 通过 Unity、Unreal Engine 或 OpenXR 将同一体验交付到多种头显,并在无需安装任何内容时通过 WebXR 提供基于浏览器的 AR 和 VR。
- 从采集到查看器的流程
- 将手机或头显采集的内容经过处理,形成可共享的 3D 记录,并在浏览器、设备或头显中查看的工作流程,例如 RadianceView 检测平台。
工作方式
空间计算项目通常从在目标设备上制作一个简短的原型开始,因为评估 AR 或 VR 想法的唯一办法就是戴上设备亲自试用。Laan Labs 在数周内构建该原型,使用真实的跟踪和真实的内容,使是否推进以及头显的选择,都基于实际体验而非效果图。
正式开发随后涵盖整个应用:针对双手、眼睛和手柄的交互设计,为保持持续帧率而进行的性能调优,内容流程,应用商店提交或企业设备管理,以及随平台变化而持续进行的更新。
相关工作

资产记录
Laan Labs 如何借助空间计算和 AI 的快速检测与记录(RID),改变各行业对关键资产进行记录、检测和协作的方式。

虚拟厨房规划师
在 AR 中规划并预览您未来的厨房

工业测量
利用计算机视觉,减少空间管理的麻烦

RadianceView 飞机记录
退役客机在拆解之前,其零部件需要有一份记录。本文介绍 RadianceView 与 iPhone 如何完成这项工作:整机机身以高斯泼溅呈现,细节以照片留存,每一项发现都与其所处位置相关联。

Apple Vision Pro
我们在 Apple Vision Pro 上的动手实验,包括开发 visionOS 手指绘画应用 AirDraw,以及对空间计算开发的心得和这个平台让我们兴奋的地方。

3D 房间扫描
扫描空间,重点关注几何结构与物品清单。

ARKit 家用机器人
我们将向你展示如何在一个周末内组装一个由 ARKit 驱动的有趣小型家用机器人。

在 Mac 上用 Metal 训练 Gaussian Splat
大多数 Gaussian Splatting 训练器都基于面向 NVIDIA GPU 的 CUDA。我们把一个 CUDA splat 训练器移植到了 Metal,让它能在 Apple Silicon 上原生运行。成果就是 3D Splat App,一款在 Mac 本地训练 splat 的免费应用。
基于这项工作构建的产品
- AirDraw — 面向 Apple Vision Pro 的 3D 手指绘画
- 3D Splat App — 在 Mac 上训练和查看 Gaussian splat
- OpenPlan3D — 基于 RoomPlan 扫描生成的开源平面图
常见问题
AR、VR、混合现实和空间计算有什么区别?
虚拟现实(VR)用虚拟世界取代您所看到的一切。增强现实(AR)在真实世界之上叠加虚拟内容,通过手机屏幕或眼镜呈现。混合现实(MR)是一种 AR,其中的虚拟物体被锚定在真实房间中并与之交互,通常在带有摄像头透视功能的头显上实现。空间计算是一个更宽泛的术语,指能够理解三维空间并在其中工作的软件,涵盖以上所有形态。Laan Labs 在整个范围内都有开发经验。
我们应该为哪种头显开发?
这取决于谁来佩戴以及它需要做什么。Apple Vision Pro 拥有最出色的显示和输入,适合质量比设备成本更重要的专业用途。Meta Quest 便宜得多且部署广泛,适合培训、现场团队和消费类产品。Android XR、企业级头显和智能眼镜则各自适合特定需求。Laan Labs 通常建议先在最有希望的候选设备上做原型,并保持核心逻辑可移植。
现在值得为 Apple Vision Pro 开发吗?
对于消费类应用,受众仍然较小,因此 Laan Labs 通常建议将 Vision Pro 用于头显可以取代某项工作流程的专业和工业场景,例如检测、培训、设计评审和远程专家支持,也适合希望尽早积累该平台经验的公司。大部分代码可与 iPhone 和 iPad 共用,从而降低同时支持两者的成本。
一个应用能否在多种头显上运行?
可以,但需要权衡取舍。Unity、Unreal Engine 和 OpenXR 可让同一套代码库面向 Meta Quest、Android XR 和其他头显,Unity 内容也可在 Apple Vision Pro 上运行。原生开发则能提供最佳质量,并可使用各平台的最新功能。Laan Labs 通常会共用采集、数据和渲染逻辑,并为每种设备编写各自的交互层。
现有的手机 AR 应用能否移植到头显上?
通常可以。ARKit、RealityKit 和 SwiftUI 代码可以延续到 visionOS,Unity 或 ARCore 项目可以延续到 Quest 和 Android XR,而基于摄像头的功能、屏幕触控交互以及部分传感器访问则需要针对头显重新考虑。Laan Labs 可以评估现有应用,并估算哪些部分可直接迁移、哪些需要重建。
Gaussian splat 和大型扫描结果能在头显中运行吗?
可以。Laan Labs 构建定制渲染器,可在头显、手机和平板电脑上显示包含数百万个图元的 Gaussian splat、点云和网格,并调优采集流程,使内容适配各设备的内存和帧预算。按真实比例在真实场所的照片级真实感采集结果中漫步,是头显最具说服力的用途之一。