谷歌开发了一种新方法，可将人们在互联网上的旅游照片转换为3D
共 1518字，需浏览 4分钟
·
2020-08-26 09:05
大数据文摘出品
来源：vice
编译：Luna
谷歌研究人员提供了一种新的机器学习方法，可以将人们在互联网上的旅游照片转换为令人难以置信的细致的3D场景。
谷歌研究人员使用从互联网和机器学习模型里的照片，重构了世界著名地标的令人难以置信的细致的3D场景。在该项目的GitHub页面上，研究人员分享了柏林勃兰登堡门，巴黎圣心教堂和罗马许愿池的3D场景，这些场景都是从Flickr等在线网站拍摄的照片中创建的。他们使用了效果震撼的3D渲染，在构建3D场景中可以移动来自相机的视图，并通过不同的灯光效果，来改变场景的外观。
研究人员最近在arXiv预印服务器上的一篇题为《野外的NeRF：不受约束的照片集的神经辐射场》的论文中，分享了他们的方法。他们将其称为NeRF-W，此方法建立于神经辐射场（NeRF）的基础上，也可以用于从一组照片中重建原3D场景。但是，如果将此方法用于在受控环境之外的照片上，可能就有困难。“神经辐射场（NeRF）隐秘模拟了神经网络权重内的辐射场和场景密度，”研究人员在论文中写道：“然后将直接体积渲染用于合成新的视图，展示了迄今为止，在一系列具有挑战性的场景中保前所未有的逼真效果。”
论文链接：
“但是，NeRF被证明仅在受控设置下能有效果：在较短的时间内捕获场景，在拍摄时间段内光影稳定，并且场景中的所有内容都要是静态的。”该论文写道。
研究人员继续解释说，使用超出这些参数的图像时，NeRF可能失灵。举个例子来说，使用由不同人拍摄并张贴到Flickr上的Trevi Fountain旅游照片合集，生成效果就欠佳。这是由于光线变化、图像曝光的不同、或者图片进行过后处理等因素，为照片带来了差异。此外，从互联网获取的照片通常有人或汽车之类的移动物体。
“两名摄影师可能站在同一地点拍摄同一地标，但是在这两张照片之间的时间里，世界可能发生巨大变化，“论文写到，”汽车和行人可能动了，构图可能变化了，季节和天气可能改变，太阳也可能在天空中移动。在这些条件下，最终生成的模型就可能包含重影，或者被处理的过度平滑，或产生其他瑕疵。”作者在论文中解释说，NeRF-W通过引入扩展功能解决了这个问题，该扩展功能使NeRF认为世界上所有事物都是静态的，使之柔和化，从而产生了更好的结果。
使用网络图片来构建和测试，NeRF-W3D空间产生的可以增强现实感，它也适合用作虚拟现实应用程序中经常需要的逼真3D重建模型。
相关报道：
免！费！
阿里大数据训练营重磅开启！
贾扬清亲自出品，阿里技术专家亲自授课
3天get阿里大数据独门绝学！
入门Flink、Spark等开源技术知识
更有实战讲解！
扫码get你的专属训练营！
实习/全职编辑记者招聘ing
加入我们，亲身体验一家专业科技媒体采写的每个细节，在最有前景的行业，和一群遍布全球最优秀的人一起成长。坐标北京·清华东门，在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn
