Cocos CreatorXR：降低 XR 行业开发门槛，释放元宇宙内容创作力

在元宇宙快速发展背景下，AR/VR 产业仍处于技术升级、供应链配套不足的初级阶段，需要 XR 全产业链的通力协作。中国第四届光学大会系列峰会，国际 XR 生态赋能峰会以产业链配套技术突破和商业细分应用场景开拓为主线，汇聚行业内领军企业针对现阶段发展共性问题展开研讨，共同助力 AR/VR 产业通路完善与可持续发展。Cocos XR 行业专家蒋立鑫受邀参加并进行了主题分享：《元宇宙下的 XR 内容孵化器》。

80、90 年代就已经有 VR 的概念，国内开始火起来是在 16 年，称作 VR 元年。经过了相对漫长的发展，市面上的很多的 VR 设备，其实都已经相当成熟了。很多厂商更加看好 AR，认为 AR 是大势所趋，相对于 VR，AR 目前还处于相对初期的阶段。AR 主要分为两个大部分，眼镜端和移动端。眼镜端目前国内外很多厂家都在做。另一个部分是移动端，也就是通过手机，iPad 这些移动端设备，来展示 AR 能力，因为目前移动端的算力是足够的，包括一些 AR 眼镜，还是需要通过连接线，借助手机的运算能力。移动端也能够支持深度摄像机，LiDAR，陀螺仪等功能。

VR 和 AR 有很多的设备和厂家，相应的也诞生了很多的 SDK。比较主流的包括谷歌的 ARCore，苹果的 ARKit，华为的 AR Engine，基于 Web 的 WebXR，国内的还有 EasyAR，原来奥地利的 Wikitude，被高通收购改造成为高通目前的 Spaces 方案。

不管是 VR、AR 还是 MR，都是新一代的移动计算终端平台，也是各种移动应用增长的全新的平台。新的移动终端会带来更加沉浸，更真实的交互体验，也给我们提供更新颖的内容，是元宇宙内容应用的最佳载体。

未来要实现这样的美好场景，还需要解决很多问题，首先是生态碎片化的问题，SDK种类很多，各家的厂商有各自专用的平台。工具集多样，接口不统一，这就导致 VR 或 XR 应用多平台发布的成本非常高。应用发布的步骤也非常繁琐，目前发布到不同的平台都要做很多的繁琐的操作。此外还有 Debug 困难的问题，目前的整体的 XR 设备保有量还是偏少，开发人员进行开发的难度也会更高。

Cocos CreatorXR 的诞生，就是为了解决以上的问题。首先，Cocos CreatorXR 是基于 OpenXR 的标准来编写的，支持市面上主流设备的一键打包发布。

各家厂商，各个 SDK 有各种各样的 API 和不同的能力。针对这一问题，Cocos CreatorXR 在底层进行了封装和抹平，统一通过用组件的方式去调用。主要分为设备映射、虚拟移动、交互、XR UI 四个方面。

首先是设备映射，我们通过 HMDCtrl 头显控制器，来控制双目和单目渲染，支持调节瞳距，通过 TargetEye 渲染目标相机来支持单目和双目渲染，通过 PoseTracker 位姿追踪，可以进行 3Dof、6Dof 位姿追踪。

交互方面，通过监听 XRController 手持控制器，这个组件能够去监听手柄上发射的内容。此外我们还基于 Cocos Input System 接入 OpenXR 信号，支持多种控制器信号的接入，包括 Gamepad、TouchPad、键盘鼠标、陀螺仪等。

通过我们的交互器组件和交互物组件，支持直接交互、射线交互，还支持自定义交互，可以满足开发者或 CP 的特殊交互方式。

虚拟移动方面，除了根据头显进行移动，还支持通过手柄，在身体不动的情况下进行移动，通过移动、转向、传送这三种方式进行位移。

XR UI 目前主要有三种需求，一种是 HUD，贴在整个屏幕的最上方，也就是 2D UI，一般是不会跟游戏或者是场景产生交互，单纯的做一些 tips 的作用。另外两种属于 3D UI，具有深度信息的，实现遮挡关系。包括与场景元素相结合的 UI。例如游戏中的血条，会根据角色进行移动或者角色死亡而消失的。

除了以上功能框架以外，Cocos CreatorXR 还有一些独有的特性优势。首先是存量项目的快速转换，XR 设备中目前还是很缺内容的，我们提供了这个功能，可以将原有的基于 Cocos 开发的游戏，快速从移动端转化到 XR 端。第二是多平台的适配，快捷打包发布。开发者可以一键发布到不同的各个平台。我们还支持网页端的快速预览，提供了基于 Web 的调试模式，从而提高调试效率。我们还提供图形后端智能化，基于 Cocos 引擎能力，可以根据自己的需求进行图形后端的选择。

Web 预览支持单目和双目渲染。可通过键盘和鼠标的操作去模拟 HMD 和手柄的控制操作。

在 AR 方面，Cocos CreatorXR 将支持 ARCore，ARKit，AR Engine，WebXR。AR 能力方面，Cocos CreatorXR 已经支持运动追踪，平面追踪，图像追踪。未来会支持物体追踪，面部追踪，环境解析等。

我们还计划布局 AR Capture APP 和模拟预览这两个部分，通过 AR Capture APP 可以进行平面扫描、物理扫描，将扫描的现实物体通过云服务发布到编辑器当中，在编辑器中进行编辑与创作，降低创作门槛。

在模拟预览方面，除了 Web Preview，Cocos CreatorXR 还支持 Video Replay，可以在设备上录像，通过云服务的方式回传到编辑器，解析这个过程中到底触发了哪些事件，有哪些错误，提高开发效率。Simulate Scene，可以模拟 AR 场景的扫描条件，快速的响应开发效率。Reality Scene，可通过云服务的方式让远方的开发者和同事进行现实世界的扫描调试，能够大大提高开发效率。

未来，Cocos 将不断为开发者提供更完善的开发工具，助力开发者的创意快速落地，释放元宇宙内容创作力，从而促进设备的销量，使行业的生态达到一个良性的循环。我今天的分享就到这里了，谢谢大家。