告别VR噩梦!Meta Reality Labs破解虚拟痛点,重塑全新VR世界

共 4093字,需浏览 9分钟

 ·

2023-08-11 06:23



  新智元报道  

编辑:Amandine Lumina
【新智元导读】在SIGGRAPH 2023大会上,来自Meta Reality Labs的两个原型机让我们看到了「未来的一瞥」
「世界上有两种人:认为VR将改变世界的人,以及还没尝试过VR的人。

这是VR界宣传自己的一句陈词滥调了。

但对于第一次体验VR的人来说,那一刻带来的冲击力是毋庸置疑的。

未来VR很有可能成为我们生活那种的一部分,8月6日至10日在洛杉矶举行的SIGGRAPH 2023大会上,来自Meta Reality Labs Research的两个原型机将会给我们机会看到这「未来的一瞥」。

Yang Zhao和Grace Kuo

第一个是Butterscotch Varifocal,它将Half Dome系列原型的变焦技术与我们在2022年首次亮相的视网膜分辨率VR显示器结合了起来。

Yang Zhao佩戴Butterscotch变焦研究原型机

第二个是Flamera,它是一款计算相机,采用光场技术实现无需再投影的VR穿透(passthrough)。

就像我们在2021年首次分享的反向穿透(reverse passthrough)演示一样,它的外观和功能与现代头戴式设备迥然不同,甚至看上去有些奇怪,但仔细研究后会发现它并不像乍看之下奇异。

Grace Kuo佩戴Flamera研究原型机

现在,Butterscotch Varifocal和Flamera都还处于研究阶段。

Butterscotch 变焦镜头:聚焦细节

现今的头戴式设备在虚拟世界的沉浸感方面做得非常出色,但仍受限于固定的焦距。

大部分人能够识别距离眼睛约1米左右的物体,但物体与我们的脸部靠得太近,就很难清晰进行视觉聚焦。

大多数VR开发者设计时都会考虑到这一点,调整虚拟场景中的物体和动作的距离,让用户在一个较为自然和舒适的距离内看到虚拟世界中的事物,并保持清晰的视觉焦点。

但在使用VR进行工作时,有时会需要在虚拟屏幕上阅读文本,或者是观察一个有趣的物体,欣赏其中的细节。

这时传统VR头显通常具有的固定焦距就成为了阻碍。

Butterscotch Varifocal中的「varifocal」 即「变焦」。它利用眼动追踪技术,能够在用户接近物体或虚拟屏幕时,根据用户的视觉焦点动态调整焦距。

同时,Butterscotch Varifocal还结合了视网膜分辨率显示屏(retinal-resolution),确保保用户能够清晰地看到近距离的细节,也能在远距离看到整个虚拟场景。

Butterscotch Varifocal致力于提高分辨率和增强视觉舒适性,实现了变焦技术并配备了视网膜级别的分辨率显示屏,大约每度显示60个像素(PPD),这足以达到人眼视力分辨的极限。

Flamera:穿透功能(Passthrough)的全新尝试


一般来说,VR头显的带来的沉浸感越强越好。但完全与现实切断联系也会带来许多麻烦。
混合现实(MR)和穿透功能(Passthrough)能够让虚拟世界与物理现实融合。
这样一来,虚拟内容可以带到物理环境中。同时,用户在沉浸式的虚拟空间中也可以捕捉到现实世界的画面。
这个功能主要是通过VR头显上的摄像头实现的,它通常在眼睛前方几英寸的地方。
即当用户启用穿透功能时,头显上的摄像头就会捕捉周围的实际环境,并将图像传递到虚拟现实环境中,使用户可以在虚拟世界中看到现实世界的画面。
但这里存在着一个问题:
摄像头捕捉到的视图与人眼看到的不同,尽管图像在返回时会重新计算并投影给用户,但这很可能会在这个过程中发生视觉异常。
为了解决这一挑战,Grace Kuo表示:他们设计了一种光学架构,可以直接捕捉与肉眼看到的光线相同的光线。
为了让这个具有特殊架构适配VR头显,Reality Labs Research团队从头开始设计头显,最终得到了能够实现更好的穿透图像质量和更低的延迟的摄像头。

Grace Kuo
Demo or Die:通往SIGGRAPH之路

长久以来,团队一直秉持着「要么展示,要么死亡」(Demo or Die)的精神。
Lanman介绍说,「Demo or Die」一词起源于MIT媒体实验室,成千上万的研究人员在那里学会了这个口头禅。
他表示,关键是要使用demo来解释「为什么」,而不是「什么」,比如为什么他们想要变焦、光场直通和HDR。
SIGGRAPH技术的核心,就是演示新兴的、硬件驱动的技术,鼓励SIGGRAPH社区用他们的才能解决计算机图形和交互方面的问题。
Starburst取得了令人振奋的成功,并斩获了SIGGRAPH 2022的新兴技术最佳展示奖。
以下是一些团队希望告诉读者的话——
直通是一项重要的技术,可以让人们在戴着头显时与周围环境保持联系。
通过构建不受商业化产品限制的demo,我们可以测试新技术,展示VR中的不同体验。
我希望,尝试过我们demo的人能够一窥未来的VR会是什么样子——即使头显的外观与我们今天习惯的外观大不相同。
——Grace Kuo
通过我们的工作,我希望人们可以从第一人称的角度看到,VR可以为他们解锁哪些体验和能力。
——Yang Zhao
虽然这种VR不会立即在商店里买到,但如果需求存在,技术继续进步,就很可能会有那样一天。
——Olivier Mercier
「VR的可能性与目前市场上可用的功能之间存在很大区别。我们的两个SIGGRAPH新兴技术demo提供了一个独特的机会,让我们看到如果每个轴都被推到更高的质量,在不考虑实际生产限制的情况下,可以创造出多么逼真的虚拟体验。
我希望那些计划参加SIGGRAPH的人仔细看这两个demo。SIGGRAPH是一个非常有才华的学术社区,如果只有一小部分成员将注意力转移到这些挑战上,都会推动时间线,在VR/MR中开发更好的视觉体验。
对于那些SIGGRAPH以外的人,我希望他们从中寻求解决方案,来应对这些跨越硬件和软件的艰巨挑战。
——Douglas Lanman

One More Thing...

那么,我们应该选择去工业界还是去研究实验室呢?
Lanman认为,在研究团队中,可以构建任何给定概念的原型。
但必须承认,这些原型中的大多数并不会成为消费产品,它们对于大规模生产是不切实际的,比如需要妥协产品尺寸、重量、成本或功率,或者需要等待几种技术成熟。
以变焦为例,团队从1990年代的论文中了解了这个概念,2015年才首次开始研究,2018年开始公开谈论。
在那段时间里,Oculus(现在的Meta Quest)作为一家初创公司快速发展,并推出了三代头显。
产品团队的责任是快速行动,而只有研究界才拥有特权考虑未来某一天的事情,而不是现在需要发生的事情。
因此,在作为一名研究界科学家工作了二十年后,我的看法是:研究的主要职责是指出产品还欠缺什么。
没有人要求变焦或解决会聚-调节冲突,光场直通或反向直通。
我们需要和更广泛的SIGGRAPH社区仪器,实现计算成像概念,拉动时间表。
近十年来,我们一直在讨论新兴的显示技术,比如变焦。
虽然无法说出,何时这些技术能应用于产品,但demo会说服大多数人:这些挑战值得解决。
参考资料:
https://www.meta.com/en-gb/blog/quest/reality-labs-research-display-systems-siggraph-2023-butterscotch-varifocal-flamera/




浏览 1963
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报