裸眼3D？不，这可能是“自拍的未来”！-技术圈

大数据文摘出品

作者：刘俊寰

11月23日，《牛津英文词典》宣布选择放弃“2020年度词汇”的评选，将2020年形容为“无法用一个单词妥帖概括的一年”。

每年，“年度词汇”的评选，《牛津英文词典》会根据英文新闻等超过110亿个英文单词组成的语料库分析总结，希望能“反映本年度的风气、民众心情和关注焦点”，同时最终被选择的“年度词汇”还需要“具有文化意义的持久潜力”。

比如，2013年的“年度词汇”之一Selfie（自拍）。

根据统计，较之于前一年，2013年社交网站上“selfie”一词的使用率激增17000%。

如今，7年过去了，不知道大家的自拍技术都有怎样的突飞猛进呢？反正文摘菌可手握大家的老婆新垣结衣的自拍黑照呢。

不知道大家有没有想过，7年了，无人驾驶都开始在各地测试了，iPhone都出到12了，为什么自拍的方式一直没有变过呢？

这个问题也一直困扰着华盛顿大学和谷歌的研究人员们，近日，他们终于推出了一种全新的自拍方式，保证让你发在朋友圈的图像更加生动和仿真。

先来看看他们定义的“自拍的未来”到底是个什么东西：

虽然看上去确实比单纯的图像本身要更拟人一些，三维模型也让周围的环境都显露无疑，但是这晃来晃去的，文摘菌的眼睛都快给晃晕了。

nerfies鼓励人们分享更多

看看自己的微信，相信很多人的朋友圈都是自拍，简直就是“不自拍就会会死星人”。

2016年5月，The Outnet和舆情监测平台Pulsar对Facebook、Instagram、Twitter上发布的与“愉悦感”“兴奋感”相关的3300万份帖子进行了分析，结果显示，自拍更多了，但不再只是为了对外展示个人魅力，创造“美好的自我幻想”，而是通过自拍更好的认识自我，记录生活与成长的真实体验，比如进行减肥打卡、长跑记录等。

既然大多数积极的词汇都与“自拍”相关，那为什么我们不去分享更多呢？

抱着这样的设计理念和构想，nerfies就诞生了。

我们知道，要创建3D场景，通常需要一些特殊的硬件，比如LIDAR扫描仪，该扫描仪主要使用激光测量物距，从而可以更好地创建3D模型。现在，iPhone 12 Pro和12 Pro Max上也内置了LIDAR传感器。但要知道，这些特殊硬件并不便宜，也不是那么简单就能使用的。

不过，nerfies可就不一样了。如果你想要创建一个nerfies这样的“自拍”，你只需要从多个不同角度，拿着手机在自己面前来回晃动一下，同时确保自己始终保持在画面中，就这么简单。

就像这样：

根据官方介绍，nerfies是一种在给定时刻创建更全面的自拍的方法，观看者不仅可以观看2D图像，还可以在3D模式下缩放和平移对象，全程也无需任何其他特殊设备，用到的只有配备了摄像头的智能手机和一点点CPU处理能力。

论文链接：

https://nerfies.github.io/

如何解决又贵又麻烦的问题

要根据这种视频数据创建3D模型，研究人员使用了一种称为神经辐射场（Neuro Radiance Fields，简称NeRF）的方法，该方法可以从不同角度拍摄物体的多个图像，使用这些二维数据来计算和生成三维模型，同时允许其他人从不同的角度进行操作和观看。

不过，NeRF方法有一个问题，它要求拍摄对象在整个过程中保持完全静止。这对于我们来说，难度还是有的，因此NeRF方法需要利用到大型相机阵列，让其同时从多个角度捕捉一个人的图像，但是这就回到了和LIDAR一样的问题上了，摄像机阵列又贵又麻烦。

所以，在这个过程中，让被拍摄对象自己摇动手机捕捉自己的影像，可能是一种更容易的方法。但为了从多个角度生成静止图像，整个过程可能需要持续几秒钟的时间，这意味着拍摄对象不断运动。

为了解决这个问题，研究小组开发了一种称为可变形神经辐射场（简称D-NeRF）的新方法，该方法能够比较框架，以确定对象在它们之间移动了多少，然后自动计算必要的变形，这样就可以调整提取出的不完美的二维图像数据，将其仍用于创建准确的交互式3D模型。

D-NeRF通过优化附加的连续体积变形场来增强神经辐射场（NeRF），该场将每个观察点扭曲为规范的5D NeRF。研究人员还观察到，这些类似NeRF的形变场倾向于局部极小值，于是为基于坐标的模型提出了从粗到精的优化方法，该方法可实现更强大的优化。通过将原理从几何处理和物理模拟应用于类似NeRF的模型，提出了变形场的弹性正则化，进一步提高了鲁棒性。

研究人员通过使用装备有两部手机的设备收集数据进行评估，这两部手机可以拍摄时间同步的照片，并在不同的视点上产生相同姿势的训练/验证图像，这也证明了这种方法的确忠实地重建了非刚性变形的场景，并以高保真度再现了看不见的景象。

不仅如此，nerfies还可以通过对两个输入帧的变形潜在代码，进行插值来为场景设置动画。

如果未来某天，nerfies真的流行起来，只要有人看到别人在Instagram上分享的美食照片，他们还能看看四周的餐厅环境如何。

或者，如果一个业余时尚达人分享了自己在试穿一件上衣时的nerfie，其他人还能调整相机的位置，看看这件衣服要怎么搭配裤子和鞋子。

也就是说，nerfies可能会为社交媒体提供全新的视角，但与此同时，由于许多人可能在偷偷穿着睡裤在家办公，nerfies也会让这些人暴露无遗吧。