Facebook推出《头号玩家》触觉手套原型，随后被指控抄袭-技术圈

我们将如何接触虚拟世界

”

作者 | 吴彤

编辑 | 青暮

从收购Oculus VR至今，Facebook已经走过7年。这一路走来，公司将VR“游戏世界”扩容为“虚拟世界”，用“元宇宙”的名号叫出响来，并将Meta扶持为公司大icon，力证7年之路，若非暗痒，则为裂动。触觉手套落眼于2030年，旨在解决元宇宙的核心挑战之一：我们将如何接触虚拟世界？

在Meta之前，许多玩家都想做出真正通往虚拟世界的“触手”，它不仅是VR眼镜，还有更加真实感的、超越视觉与听觉的新方式：触觉反馈手套！

从今年3月开始，Meta(原名Facebook)的现实实验室 (RL) 就开始了触觉感知手套的新项目，直到昨天，Meta正式推出触觉感知手套，并分享了关于软体机器人、微流控处理器、手部跟踪、触觉渲染和感知科学方面的工作进展。

这款吊足了8个月胃口的触觉手套到底什么样？是否如他们所说，“这将是2030年的人与世界无接触式交互的未来技术”？

Meta表示，目前这款手套可以在虚拟世界中再现现实生活中的一系列触觉感觉，包括模拟人手抚摸材质纹理的感觉、压力反馈以及振动反馈。

在展示图中，可以看到这个手套设置了4道气囊垫，每道约有15个，沿手指呈脊状分布。背部有白色的传感器，可追踪手指在空间中的移动情况。并且手套内外两侧也设置了多根传感器，可动态捕捉佩戴者的手指弯曲状态。

当戴上手套进入VR或AR体验时，一个复杂的控制系统会调整气囊的充气水平，在手上的不同部位产生不同的压力。比如，如果你用指尖触摸一个虚拟物体，会感到物体压迫手部皮肤，而如果你握着一个虚拟物体，手指的驱动器就会变硬，产生一种阻力感。这些感觉与视觉和听觉感知共同作用，从而产生身体与虚拟物体接触的“错觉”。

究其根本，这项技术到底新奇在何处？作为元宇宙的“头号玩家”，Meta的技术与其他玩家有何不同？

用触觉手套“触摸”数字世界

如何增强人与虚拟世界的联系？

Reality Labs 的负责人Sean Keller 说，他们一直在推进关于AR/VR 交互和感知输入输出的研究，为下一个计算时代构建传播界面：即推动跨触觉、肌电图输入、软机器人、设计、感知科学、应用机器学习等领域的研究。

自2014年收购Oculus VR公司以来，7年时间里，Meta的现实实验室(Reality Labs)一直在开发虚拟游戏环境，同时也在开发更加适配游戏环境的可穿戴设备。

最初是在Quest 上建立手部追踪，从而操纵虚拟物体，但在实际体验中并没有建立手部感觉。

在 2015 年，实验室又开发了第一个触觉原型：一根带有执行器的手指，但劣势明显，缺少整体的手部感知。

在今年3月，实验室又推出手腕腕带，通过手部肌电(electromyography, EMG)传感器平移电机神经信号，将手腕到手的动作指令转化为数字指令，从而动态化地适应虚拟环境。这项技术大大推进了感知输入的研究进程，但在感知交互上，腕部感知也对更加系统的“抓”、“握”等力度感知绕道而走。

而且，从众多进场的玩家来看，模拟触摸并非新研究，比如将 VR 与控制器振动结合起来，也能让人们感觉像在触摸物体。许多公司都在研究可穿戴设备，既可以跟踪用户手部动作，也可以提供触觉，比如温度感知。但这并不是Meta现实实验室的首要目标。

随着众玩家的介入，非核心技术一定会在第一时间让短视玩家的技术壁垒荡然无存。能复刻现实世界的触觉感知才能掘出一条技术护城河。

目前触觉手套解决的就是全方位触觉感知的问题。

最开始，为了提供逼真的触感，触觉手套需要在整个手上安装数百个执行器（微型电机），以使佩戴者的手部运动与触摸虚拟物体时协同。但是过多的的机械执行器会产生过多的热量，既不舒适又太大、太硬、太贵太耗电。

是否可以用柔软、柔韧的驱动器代替机械驱动器？如果驱动器可以根据佩戴者的动作改变形状，就可以假设执行器根本不存在，与手部融为一体。

新技术就采用了更加新颖的软体机器人，用微型气囊取代了笨重的机电组件。这种柔软、轻便的触觉手套，最明显的优势是解决了外部器件过于异化的问题，同时还明显提高了 AR/VR 中双向交互问题：帮助计算机准确理解和反映佩戴者的手部动作，并为佩戴者再现一系列复杂、细微的感觉，例如压力、纹理和振动来创造用手感受虚拟物体的效果。

为了控制这些新的软执行器，他们正在构建世界上第一个高速微流体处理器：手套上的微型微流体芯片，通过告诉阀门何时开关，从而控制执行器的气流。

现实实验室的Andrew Stanley说到：“我们和其他微流体研究的不同之处在于，我们强调一切都非常轻巧、可穿戴和响应快速，在手上创造可信的触觉，让虚拟世界变得「有形」。”

2

触觉渲染：做出对虚拟环境的准确反应

即使有一种控制气流的方法，系统也需要知道何时何地提供正确的感觉。这需要先进的手部跟踪技术，使计算机能够准确地知道手部在虚拟场景中的位置，人是否与虚拟对象接触，以及手如何与对象交互。

因此，还需要一款为 AR/VR 界面构建触觉渲染的软件，可以根据手的位置和对虚拟环境的理解，几乎实时地向手套上的执行器发送指令，包括纹理、重量和刚度等。

RL 软件工程师 Forrest Smith 说，“人们通常将‘渲染’视为视觉效果，我们还使用‘渲染’来表示触觉：首先获取人与虚拟世界的交互状态，并将其渲染到执行器，从而获得相应的感觉。然后为了渲染与对象的实时交互，还需要模拟相应的物理状态。”

强化学习研究工程师Justin Clark 指出：一个物理引擎（用于视频游戏中模拟对象的交互软件）决定了手与虚拟环境交互的方向，幅度，力度。然后，触觉渲染算法将此信息与触觉设备的特性（例如其各个执行器的位置和属性）相结合，以便向设备发送正确的指令。

软件工程师 Andrew Doxon 补充道：“其中一个挑战是构建适用于不同类型执行器并支持各种触觉体验的软件。最终，我们还需要构建工具，让人们能够像创建视觉或音频内容一样创建触觉内容。”

3

将听觉、视觉和触觉感知结合起来

随着工作的进行，第三个挑战出现了：为了使纹理和感觉发挥作用，他们必须以模仿现实的方式模拟触摸物理，但不能完全重新创建现实世界的物理学。

因此，他们想到多感官整合：研究人类感官如何协同工作，从而建立我们对世界的整体理解。

UX 研究科学经理 Sophie Kim 曾说到，“我们的大脑非常擅长接收一点触觉信号、一点视觉信号、一点听觉信号，然后将它们融合在一起，形成全方位的感觉，并使你的大脑确信有一个物体在你手上。”

RL 感知研究科学家 Jess Hartcher-O'Brien说到：如果我拿起一个物体，我已经对它的材料类型以及重量有了一些假设，然后我抓拿起它，触觉系统会验证这是什么材料，大脑会识别摩擦力和惯性；视觉系统会根据我手臂移动的方式，计算出这个物体的密度或重量。最终这些线索会综合起来，形成关于这个物体的本体感觉。

这种思路套用在触觉手套上，就是让佩戴者的感知系统相信它正在感受物体的重量，通过用致动器轻轻拉动佩戴者手指的皮肤来模拟握持物体上的重力、拉力。但这一切都必须计算准确。

4

更舒适的材质

随着程序的成熟，手套舒适度就要提上日程。如何将传感器和机器人执行器集成到手套本身材料中，其实是个非常大的挑战。

比如，一副僵硬、沉重或其他不舒服的手套，或者一个很容易脱落的手套，会立即把佩戴者打出沉浸式体验。因此，手套需要重量轻、柔软且高度耐用。

RL 研究过程工程师 Katherine Healy 说，“矛盾是我们必须将所有的技术制成缩小版，这样才能在有限的手套上安装更多的东西，还要兼具美观和舒适。”

这项工作涉及到材料科学的工作。材料小组一开始想到发明一种新型便宜的聚合物，既可以像塑料和硅胶那样舒适又可拉伸，又可以在分子水平上定制以产生新功能。这需要全新的制造技术来将这些新材料变成非常细的纤维，然后缝制成手套。

“但仅导电的纱线并不能满足人们在 VR 中进行交互所需的所有功能，这就是为什么我们探索如何在同一纤维或织物中构建多种功能——包括导电、电容和传感功能，并制出更纤薄、更耐磨的手套外形，”RL 研究科学经理 Kristy Jost 补充道。

制造纤薄、轻便的触觉手套是一项挑战，定制这些手套以适应数十亿人又是另一个挑战。

这就是为什么材料小组在探索制造技术，同时又保证每只手套可定制，以获得最大的触觉精度和舒适度。这样做意味着开发设计和制造微型执行器的新方法，并创建新的编织和刺绣工艺以将它们精确地嵌入手套中。

“目前，手套可以由熟练的工程师和技术人员单独制造，由他们制造子系统作为手套组装配件，”Healy 说，“这个过程要尽可能使用半自动化工艺，因此还要发明新的制造工艺。”

5

Meta公布愿景后，抄袭指控随即而来

“我相信，在即将到来的 AR/VR 和元宇宙人机交互革命中，触觉将是至关重要的，”RL 研究科学经理 Nicholas Colonnese 说。

“当我们开始触觉手套项目时，我们问自己是否可以构建一种可大规模生产、价格合理的消费设备，让人们可以在任何地方体验任何有形的界面，”Healy 说，“我们无法发明新材料、新传感器和执行器、新的集成方法和系统、新的渲染算法、新的物理引擎，但我们已经开辟了一条可行的道路，可以让我们到达那里。”

不过颇为戏剧的是，就在Mate讲述完愿景不久后，HaptX公司CEOJake Rubin便声称Meta微流体AR/VR体感手套方案与HaptX的专利高度相似。

HaptX表示，在过去十年他们开创了微流体触觉反馈技术，为此更是申请了不少专利。HaptX还指出，此前曾接待过Meta工程师、科研人员和高管，向他们展示其体感技术。无疑认为Meta存在抄袭和偷师学艺的嫌疑。

12月9日-11日，雷锋网将主办第六届GAIR全球人工智能与机器人大会，大会中，我们会举办“下一代互联网——元宇宙技术高峰论坛”，邀请知名UGC游戏平台、VR/AR/MR厂商、社交公司、NFT资深人士、人工智能企业等多个行业的从业者，向观众清晰展示元宇宙的未来。详情点击【阅读原文】查看大会介绍。