---

视学算法报道  

编辑：好困 小咸鱼

想象一下，你正在和朋友的3D虚拟化身拼一个3D虚拟拼图。

当你从桌子上拿起一块虚拟拼图时，能真切地感受到拼图就在手中，就是手指会停住的那种，效果大概就像下面这样。

拿起来观察的时候，不仅能够看到，也能摸到拼图边缘的锋利和表面的光滑。然后，把拼图放到正确的位置时，「咔哒」一下，严丝合缝。

再想象一下，你来到一家咖啡馆「掏出」一个虚拟的屏幕和键盘。

这个键盘可大可小，而且还能在「红轴」、「青轴」等各种不同手感之间来回切换，虽然看起来其实就是在敲空气。

是不是看起来非常像「元宇宙」中的场景？

没错，这就是Meta的现实实验室（Reality Labs, RL）在解决元宇宙中的一个核心挑战——「如何触摸虚拟世界」上做出的一点点努力。

无非就是研发了7年，整了点新的材料、新的传感器、新的执行器、新的集成和系统方法、新的渲染算法以及新的物理引擎。

毕竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎么行。

用手套触摸「元宇宙」

现在的VR技术，虽然能通过手持设备操作虚拟的物体，但是用户却完全无法感受到它们。

这个时候，如果有一个时尚、舒适、实惠、耐用、柔软、轻便的触觉手套，就能解决在使用VR和AR时面临的交互问题了。

这个手套不仅可以准确地将佩戴者的手部动作反馈给计算机，而且还能重现一系列复杂、细微的感觉，如压力、纹理和振动，创造出用手感受虚拟物体的效果。

如果想还原真实的触感，手套上就必须搭载数百个执行器 （微小的马达），并且能够以一种协同运动的方式使佩戴者感觉他们正在触摸一个虚拟物体。

然而，工作刚开始两年，团队就遇到了传统电子和金属器件的限制。

用现有的机械执行器制作出的手套无法舒适地佩戴一整天。不仅僵硬、昂贵、耗电，而且无法呈现真实的触觉感受。

Meta RL则希望可以通过全新的材料制作一种柔软且有韧性的执行器，而且还可以根据佩戴者的动作改变形状。

「显然，你不能在手上安放1000个电机和各种用来连通的电线，」Meta RL研究硬件工程总监Tristan Trutna解释道，「即便能实现，从物理层面上来说，也并不适合。手套的质量和使用时产生的热量都太大了。」

现实你也猜到了，这种执行器并不存在。

于是，团队决定转向软体机器人和微流体的新兴领域，这其中的技术分别常用于假肢和PoC诊断设备。

经过一番研究，近两年Meta RL在气动执行器（使用气压来产生力）和电动执行器（在有电场的情况下改变形状或大小）方面都取得了重大突破。

为了控制这些新的软执行器，Meta RL制造了世界上第一个高速微流体执行器。通过手套上的一个微小的微流体芯片，告诉阀门应该在何时以多大程度打开和关闭，从而控制输入执行器的气流。

Meta RL研究科学家Andrew Stanley指出，「对于VR或AR的触觉互动来说，执行器需要非常迅速地对指尖进行加压，而利用空气就可以做到。」

有了流体逻辑电路，Meta RL能够通过减少控制大量执行器所需的机电阀门的数量来消除系统中沉重的组件。

精确构建画面的触觉「渲染」

即使有了控制气流的方法，手套也需要知道何时何地提供正确的感觉。

这就需要使计算机能够准确地知道你的手在虚拟场景中的位置，你是否接触到了虚拟物体，以及你的手是如何与物体互动的。

为此，Meta RL推出了一种新的渲染软件，能够根据手的位置和对虚拟环境的理解，包括其中虚拟物体的纹理、重量和硬度，在准确的时间向手上的执行器发送正确的指令。

「通常认为『渲染』是指视觉效果」，Meta RL软件工程师Forrest Smith说，「我们也用『渲染』这个词来形容触觉。我们在这里做的是把虚拟世界的状态和你与它的互动，渲染到执行器上，这样你就能感受到相应的感觉。」

其中，物理引擎（用于模拟视频游戏中物体互动的软件）决定了你的手在与虚拟物体互动时应该接受的力的方向、大小和位置。

而触觉渲染算法将这些信息与触觉设备的特性（如各个执行器的位置和属性）相结合，从而能向设备发送正确的指令。

结合听觉、视觉和触觉的反馈

随着团队的工作进入第四年，第三个挑战出现了。

为了使触觉发挥作用，Meta RL必须模仿现实来建立物理模型，但又不能完全重现现实世界的物理学。

虽然触觉手套可以提供有价值的反馈，但它们不能完美地阻止你的手指在试图抓住一个虚拟物体时闭合，也不能阻止你的手在虚拟桌子上停留时穿过桌子。

这怎么解决呢？

于是，他们又转向了感知科学和多感官整合，去研究人类的感官如何共同作用以建立我们对世界的理解。

佩戴者体验研究科学经理Sophie Kim解释了该团队是如何利用人类的感知能力来创造足以令人信服的感觉的。

她说：「我们的大脑非常善于利用一点点触觉信号、一点点视觉信号、一点点听觉信号，并将它们融合在一起，真正感受到这种感觉，并确信有一个物体存在于你的手中。」

Meta RL感知研究科学家Jess Hartcher-O'Brien描述了在VR和AR中的感官整合可能是怎样一种感觉。

「例如，当我准备拿起一个立方体时，会对它的材料类型和它可能的重量有一个假设。」

「在触碰到这个立方体的一瞬间，我就会把关于它的材料属性的视觉线索和触觉反馈结合在一起。」

「当我去操作这个物体时，我的大脑会识别摩擦力和惯性，并能计算出这个物体的密度或重量。」

「我的视觉系统正在根据我的手臂如何移动而更新。感觉告诉我，我的手臂在空间中的位置，它的移动速度，以及我的肌肉正在做什么。」

而这就是触觉手套的神奇之处了，它甚至可以让佩戴者的感知系统相信自己正在感受一个物体的重量。

佩戴者手指的皮肤会被执行器轻轻地拉动，从而模仿重力对所持物体的拉扯，当然，这一切都必须在时间上完全同步。

在2017年底的一项实验中，Meta RL使用指尖上的单一振动触觉设备，在VR中的一系列不同材料制成的虚拟球体（木头、大理石、泡沫）从空中落下时提供触觉反馈。

当每个球体落到受试者的虚拟手指尖上时，都有独特的视觉、听觉和触觉反馈提示。

Keller表示，「所有的时间和工程对这种音频-视觉-触觉体验来说都是恰到好处的。你可以感觉到这是一块泡沫、木材或大理石。你可以体验到这些材料在落下时轻轻地打在你的手指上的感觉。」

发明未来：Meta RL刚刚开始

在VR和AR中提供可信的触觉体验所需的一些技术目前还不存在，但Meta RL仍在不断推动技术水平的提高，创造新的突破，使触觉手套成为现实。

「我相信，在即将到来的AR/VR和元宇宙的人机交互革命中，触觉将是至关重要的」，Meta RL Research科学经理Nicholas Colonnese说，「在未来，我们可能会呈现一个『触觉点击』，在你向元空间的朋友打招呼时分享定制的『触觉握手』。」

Meta RL的触觉手套项目开始时是一个「登月项目」，但随着团队成功创新并完成了几十个学科的研究飞跃，它的可行性越来越高。

「当我们开始触觉手套项目时，我们问自己，我们是否能建立一个可大规模生产的、消费者负担得起的消费设备」，Keller说。

「当时，我们认为做不到，因为没有新的材料、新的传感器和执行器、新的集成和系统方法、新的渲染算法、新的物理引擎，什么都没有，这根本不可能，但时至今日，我们可以很骄傲地说，我们已经开辟了一条可行的道路，可以让我们达到目标。」

时间过去了七年，而对于他们来说，这才刚刚开始。

「Meta现实实验室是一个创新的锻造厂」，Keller补充说，「你可以看到你创造的这些东西是如何实际影响人们和人们的生活的，这是非常有意义的。」 

参考资料：

https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/

https://www.youtube.com/watch?v=v9bbbYcgMqQ

点个在看 paper不断！