在2021年10月的时候，Facebook已有超过1/5人员（10000人）在VRAR部门，然后还改名为Meta，全面进军元宇宙。据预测，2026年25%的人每天将至少在元宇宙中花费一小时。

进入元宇宙的方式到底是VR还是AR？VR AR 殊路同归，之间的界限越来越模糊，最终将成为进入元宇宙的设备之一。

苹果在iOS14.5版本，更新了其短视频剪辑软件Clips。内置LiDAR机型的用户可使用AR功能。谷歌在2022年开发者大会上也透露了具备实时翻译功能的AR眼镜。苹果和谷歌对AR的持续投入，将带动全球AR各行各业的渗透。

苹果Clips的AR功能

谷歌AR眼镜实时翻译功能

目前，有一些AR应用程序与沉浸式技术无关，只是简单地模拟增强现实，或者根本不需要AR来实现（假AR）。找到真正非同寻常的AR解决方案，就像海底捞针一样困难。有些是单纯很酷，很好玩：

展示酷炫的AR效果

AR实时求解数独

本文试图从以下几个方面，寻找那颗“针”：

* 场景，有哪些值得关注的消费级场景？

场景1 Web AR

场景2 增强现实空间

场景3 沉浸式教育

场景4 沉浸式叙事

场景5 信息可视化

场景6 品牌与营销

场景7 游戏娱乐

场景8 数字宠物

* 设计，设计师可以做什么？

* 技术，基础设施条件成熟了吗？

* 交叉学科，颠覆式创新机遇

* AR历史部分，本文暂不赘述

以下为正文：

🌍 场景

有哪些值得关注的消费级场景？

场景1

Web AR

AR正在推动Web向前发展，搜索＋AR让我们进入Web三维时代。Google搜索，在结果中添加显示“3D视图”的选项，可以使用AR模式浏览。目前可用的3D内容包括用于教育目的的一系列动物和科学内容。

然而，浏览器尚未完全实现统一标准的AR的能力，不过使用加载JS库的方式，我们可以实现标准的Web AR能力，比如谷歌开源的model-viewer，适配IOS和安卓，对于不支持AR的还有降级方案：网页展示3D模型。

关于AR的图像追踪，面部追踪等，得益于AI技术的发展，在web中运行深度学习模型已经变得非常容易，性能也比早些年有所提高，mind-ar-js 提供了基于Tensorflow.js的Image Tracking和Face Tracking。

演示了一个基于大白鲨3D模型的案例，可以让你在真实环境中了解大白鲨的体型有多大。

Easily display interactive 3D models on the web & in AR

mind-ar-js的演示效果

场景2

增强现实空间

Spatial Augmented Reality，简称SAR，指的是用户不需要佩戴任何设备，只用裸眼就可以看到虚拟世界叠加在物理空间，通常使用投影仪。投影仪是一种设备，如何把虚拟世界和现实融合得更好，则需要空间理解相关的算法。

还有另一分支方向，就是跟主题乐园结合。主题乐园，一种实体空间，由于其娱乐的属性，成为了AR技术的绝佳落地场景。用AR技术在特定的旅游地点设置虚拟活动，游客抵达指定地点时，引导他们通过AR去”遇见“传说中或影视中的知名形象IP，并通过与虚拟形象互动完成特定任务，完成体验。

来自developer.sony.com 投影仪里必须得看索尼的这款超短焦投影仪Xperia Touch，可将您的墙壁或桌子变成交互式触摸屏。

Google申请了一项专利，希望通过了解人们所处的周围环境，将相关的虚拟对象放置在混合现实视图中。

当用户在智能手机或眼镜上打开AR体验时，应用会在物理环境中寻找空白区域。通过判断附近的物体，推断物理空间的背景，以便可以识别出适合环境的相关虚拟物体。

有点类似于我们在聚会时谈到的，把现有的互联网服务，比如电子邮件通过AR技术，复原为现实空间中的某种物体，比如家门口的收件箱。

Dreamground，这是三星技术和增强现实的强大组合，消费者可以在这里探索，创造和玩耍。

场景3

沉浸式教育

使用AR，更为直观地讲述我们不容易可见的知识，比如生物实验、宇宙形成等，降低教学工具或材料的投入。

医疗健康业界对AR的投入特别显著，3 D技术公司的3d4medical开发了的解剖学软件Complette Anatomiy软件加入着AR功能。用户在宽面制作可调整尺寸的标本，在AR近距离感知标本，进行各操作。良好的造型让用户明确理解人体器官的大小和关系的大小，学习解剖练习操作。

Big Bang AR，为宇宙的诞生和进化，制作了一个混合现实之旅，将带您回到138亿年前，探索空间，时间和可见宇宙是如何形成的。

场景4

沉浸式叙事

主要用于新闻/故事，新闻制作的一种形式，它允许第一人称体验新闻报道和纪录片中描述的事件或情况。它为观众创造了一种“在场”的感觉，并提供了一个亲身参与故事的机会。

《时代周刊》杂志推出的一种体验新方式“TIME Immersive”。这款身临其境的应用程序可在谷歌游戏和Apple App Store中使用，利用AR和VR的强大功能，将故事和报道带入生活。例如该APP允许用户沉浸在1969年7月阿波罗11号登月的历史当中。

TIME AR应用程序，“希望利用记者和摄影师的技能，以新的方式将与新闻相关的内容带给用户”。从本质上讲，该APP旨在加深记者和观众之间更深层的联系。

NASA 推出的首部交互式数字漫画小说《First Woman：NASA’s Promise for Humanity》，通过拍照，把用户作为主角植入。

Acqua Alta 是一本弹出式立体书，其书本里的纸制建筑构成了增强现实中的故事背景。使用AR技术，讲述了《镜中的十字架》这一故事。

场景5

信息可视化

信息可视化主要把一些图表信息和需要高亮的特殊信息进行AR的呈现，比如应用于体育赛事里的对胜负取关键作用的信息（击剑的剑光、足球的轨迹等）。

另一个跟信息可视化相关的是地图。我们每天都在外奔波，只要频繁与用户接触，就有了商业变现的机会，为了改进出行的体验，地图应用开始着手用AR来提升指路、导航的体验，更为可视化地指示方向（之前只看手机地图，还是有很多人会走错路）

日本将AR应用于击剑比赛。在第72届日本击剑锦标赛上，AR技术将剑尖端的轨迹可视化，将剑尖端运动的轨迹变成立体图像。从而提高观赏性，帮助裁判做出决定的人可以帮助选手复盘比赛。

谷歌发布了早些时候的AR步行指南，它的应用范围更广。谷歌地图（GoogleMaps）功能现在被称为实时视图，它可以通过使用箭头和街道名称实时帮助用户在周围环境中进行引导。

场景6

品牌与营销

结合AR可以产生新的体验感受，促使消费者参与其中，从而达成品牌/交易的目的，因而也成为了广告营销的手段之一。产品化的AR营销技术，在AR品牌营销场景中开始清晰，比如AR影像展、AR饮料瓶，如何在标准化的同时，设计一种灵活可定制的模块，是此类产品的技术核心。

通过AR可以完成虚拟试妆和虚拟试穿。虚拟试妆主要用于口红、美瞳等，虚拟试穿则有帽子、首饰、鞋子，通过AR试穿鞋子目前已经比较成熟，也被各种鞋类品牌所采用。由于衣服类的对算法的要求较为复杂，目前暂未看到成熟的应用。

百事可乐用AR营销，联合《星球大战：天行者崛起》发售限量可乐罐。百事可乐早些时候，还联合过《蜘蛛侠：英雄远征》。

Pinfinity AR，AR与徽章、纪念品结合，本身IP具有收藏价值，通过AR赋予玩家个性化玩法，包括视频、音频等，使得用户的参与感更强，更加凸显出IP的收藏价值。

零售商 Tenth Street Hats 在网站上使用了 AR 技术，实时将帽子的图像叠加到用户的头部，这样用户就可以通过手持设备试戴选定的帽子。AR 显着提高了用户的购买信心。数据显示，订单转化率提高了52%，同时消费者使用该工具的时间越久，平均订单价值就越高。

奢侈品品牌 Gucci 推出了一款帮助用户虚拟试穿鞋类的 Snapchat AR 滤镜。Snapchat 用户可以在手机上选择看中的鞋子，使用手机摄像头进行试穿。如果喜欢试穿的鞋款，就可以直接点击“立即购买”按钮进行购买。

场景7

游戏娱乐

通过AR技术，玩家可以真实触摸到实体化的游戏场景或者角色，比以往更具有沉浸感，包括在现实世界中玩游戏和与游戏人物合影留念等。

任天堂《马里奥赛车Live:家庭巡回赛》。该游戏将马里奥大叔搬到现实中,玩家可以真实触摸到实体化的游戏角色,与AR技术的结合让马里奥系列游戏比以往的更具有沉浸感。

AR Poser 能让用户和数字人物合影。迪士尼研究院Disney Research在探索各种不同的技术应用，其中一项技术AR Poser。通过识别摄像头前的人类用户姿势。系统调用姿势库中最为接近的一组预定3D姿势，从而数字人物和人类较为合适地摆放在一起，完成合影。

场景8

数字宠物

1996年，日本人横井昭裕发明了一款新玩具，新玩具命名为Tamagotch，是蛋Tamago和手表Watch二词结合的新创词，在中国我们称为电子宠物。从那时候起，我们就开始习惯电子宠物的玩法，给宠物投喂、洗澡、铲屎，如此循环，把宠物养大直至死亡。利用AR技术，包括手势识别、3D引擎等技术，现在我们可以领养一只更为真实、生动的数字生物。

HamstAR 是一款移动端的 AR 游戏，它是一个电子宠物，用户可以通过手机或者穿戴一个小型硬件设备来和一只数字宠物-仓鼠互动。

🆚 设计

设计师可以做什么？

从事AR项目的设计师扮演着探险家的角色。他们试验并尝试各种方法，以便找到最适合自己产品的方法，并为将要使用它的人提供价值。

设计师可以设计独特的跨屏协同体验。手机和电脑有各自适用的场景，而AR可以引入现实空间，相当于有了3块屏幕，互相之间会碰撞出什么火花？甚至是设计超乎用户预期的体验，隔空取物的体验。

借助各种AR开放能力，设计师还可以设计各种各样的AR滤镜，甚至是鞋子，比如在脸上涂鸦、空间中的AR布展等等。

另外，对于空间设计师而言，可以如何参与到AR的设计中呢？在黑设会聚会中，嘉宾给我们介绍了视错觉空间艺术，其中有一个手法是使用格子来变换空间，这在AR空间变换中绝对是“万金油”。我们可以采用格子来产生独特的空间体验。这是设计师可以发力的地方，研究变换空间的手法，应用到AR空间里。

微软Your Phone、戴尔Dell Mobile Connect，华为Huawei Share 和联想Lenovo one 等，相继发布类似的功能：将手机投射到 PC，投屏似乎成了一种趋势。本质上，投屏的目的是为了协同（协作）。

adobe有一款应用，老师在电脑上标注，学生通过手机AR查看书籍上的标注，实现了不同屏幕、不同用户角色的互动。

一款由Cyril Diagne（艺术家/设计师/程序员）所开发的可“克隆万物”的app。一部手机，基本只靠对准镜头，然后移动，即可完成以往至少需要5个步骤才能完成的工作：手机拍照、传输至电脑、抠图、复制粘贴、调整位置。再一次验证了一项新技术的本质是由各种以往的小技术所重组而成。新技术带来了新体验，AR作为连接虚拟与现实的桥梁，实现了屏幕之间的“物理交流”，体验由此超越用户预期。

借助于Tensorflow.js, FaceMesh 和 Three.js，实现在脸上涂鸦。

运动品牌 Nike 申请了一个能够让设计师通过 AR 提高工作效率的专利。这个系统允许设计师通过佩戴的 AR 设备显示出在3D软件所设计的衣服或者球鞋。设计的产品也可以叠加到现实世界。

空间视错觉的设计手法

🚀 技术

基础设施条件成熟了吗？

硬件方面，AR眼镜能否跟手机一样人手一部呢？成为日常的随身携带物品。有人认为苹果将在 2025 年发布一款智能眼镜外形的 AR 设备，并且在 2030 年将会发布隐形眼镜形态的 AR 设备。

算法方面，依赖于三维重建，我们可以把网络世界与真实世界的社交进行融合。通过把现实中的人、物体带入虚拟世界，AR有了丰富多样的3D数字内容可以使用。

除了3D数字内容本身的创作之外，专业级开发工具方面，Google有ARCore增强现实体验构建平台。ARCore 利用不同的 API 让您的手机能够感知其环境、理解现实世界并与信息进行交互。一些在 Android 和 iOS 上同时提供的 API 支持共享 AR 体验。

非专业级玩家，有易于使用的工具，构建AR项目。使没有技术背景的人们创造和创新成为可能，无需编码即可创建AR项目。

设计师自制概念图图片来自：AntonioDeRosa

in3D 人体重建，它可以对你的身体进行建模，并可拓展其他应用，每个人借此都拥有了虚拟世界的真实化身。

Display.land，采用类似于摄影测量法的原理，支持SLAM定位，可以让你通过智能手机或平板电脑的摄像头就能捕捉到真实环境的3D建模，准确性可达厘米级别。

在打开Display.land的iOS端或安卓端应用后，你便可以开始扫描环境，在完成扫描后，将捕捉到的数据上传至云端的服务器进行处理。接着，你可以对处理完成的3D扫描结果进行标记和编辑，并可在线分享给朋友。

Siggraph2022上一篇论文，直接使用照片重建文化遗迹，该项目介绍了一种用于在存在不同光照的情况下，从互联网照片集进行高效和准确的表面重建图片生成3D模型的新方法。

微软公司利用人工智能三维重建技术以数字方式保护和恢复文化遗产

谷歌ARCore developers.google.cn/ar

一款基于web AR.js的工具，可以简单三步就完成AR项目的构建。AR.js Studio是一个能够让大众免费构建Web AR而无需编写代码的一个网站。让用户无需登录，只需访问他们的URL链接，即可选择呈现的方式（基于标记的AR，基于位置的AR，基于图像的AR），然后便可开始使用向导式流程完成全部的构建。

抖音特效开放平台，提供AR创作工具 effect.douyin.com

Spark AR是Facebook创作AR的平台，使用户能够为Facebook和Instagram创建交互式增强现实体验。

☕️ 交叉学科

颠覆式创新机遇？

AR既是一项技术，也是新的设计手法。可以被各行各业所采用，于是具备了跨学科的可能。当两种不同领域的东西重组在一起，往往能找到创新的机会。

AR增强平面设计，这个项目叫Post-print。2017年启动，是毕业生 Serafim Mendes 在 ESAD Matosinhos 的 Communication Design 硕士论文/期末项目的成果。这是一个旨在探索增强现实(AR)与平面设计的创造性可能性的项目。通过使用实时的、交互式的 3D 动态视觉作为交流工具。