2021年必读的10 个计算机视觉论文总结

数据派THU

共 4732字,需浏览 10分钟

 ·

2022-02-11 11:46

来源:DeepHub IMBA

本文共2000字,建议阅读10分钟

本文将带有清晰的视频解释和代码,文末尾列出了对每篇论文的完整参考。


2021 年排名前 10 的计算机视觉论文,包括视频演示、文章、代码和论文参考。

世界的经济活动在病毒的冲击下陷入了历史罕见的停滞中,但研究并没有放慢其狂热的步伐,尤其是在人工智能领域。今年的论文中除了一般的研究结果外还强调了许多重要方面,例如道德方面、重要偏见、治理、透明度等等。人工智能和我们对人脑及其与人工智能的联系的理解不断发展,显示出在不久的将来改善我们生活质量的有前景的应用。不过,我们应该谨慎选择应用哪种技术。

“科学不能告诉我们应该做什么,只能告诉我们可以做什么。”—— Jean-Paul Sartre, Being and Nothingness

以下是我总结的今年计算机视觉领域最有趣的 10 篇研究论文,简而言之,它基本上是一个精选的 AI 和 CV 最新突破列表,本篇文章将带有清晰的视频解释和代码(如果有)。本文末尾列出了对每篇论文的完整参考。如果还有什么推荐,请直接联系我。

DALL·E: Zero-Shot Text-to-Image Generation from OpenAI [1]


OpenAI 成功训练了一个能够从文本标题生成图像的网络。它与 GPT-3 和 Image GPT 非常相似,并产生了惊人的结果。

代码:https://github.com/openai/DALL-E



Taming Transformers for High-Resolution Image Synthesis [2]


将 GAN 和卷积方法的效率与Transformers 的表达能力相结合,为语义引导的高质量图像合成提供了一种强大且省时的方法。

代码:https://github.com/CompVis/taming-transformers



Swin Transformer: Hierarchical Vision Transformer using Shifted Windows [3]


Transformers 会取代计算机视觉中的 CNNs 吗?在不到 5 分钟的时间内,通过一篇名为 Swin Transformer 的新论文了解如何将 Transformer 架构应用于计算机视觉。

代码:https://github.com/microsoft/Swin-Transformer



Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [4]


视图合成的下一步:目标是拍摄一张图像,然后就可以进到图像中去探索风景!

DEMO:
https://colab.research.google.com/github/google-research/google-research/blob/master/infinite_nature/infinite_nature_demo.ipynb#scrollTo=sCuRX1liUEVM



Total Relighting: Learning to Relight Portraits for Background Replacement [5]


根据添加的新背景的亮度重新为肖像补光。你有没有想过改变图片的背景,但让它看起来很逼真?如果已经尝试过就会知道这并不简单。你在家里拍一张自己的照片然后改变成海滩的背景, 任何人都会在一秒钟内说“那是经过Photoshop处理的”。对于电影和专业视频,需要完美的灯光和艺术家来再现高质量的图像,这非常昂贵。你无法用自己的照片做到这一点。但是这篇论文做到了



Animating Pictures with Eulerian Motion Fields [6]


该模型只通过拍摄一张照片,就能够了解哪些粒子应该在移动,并可以在限循环中为它们设置逼真的动画,同时完全保留图片的其余部分,这样我们可以将图片转换成动画……

代码:https://eulerian.cs.washington.edu/



CVPR 2021 Best Paper Award: GIRAFFE — Controllable Image Generation [7]


使用修改后的 GAN 架构,他们可以在不影响背景或其他对象的情况下移动图像中的对象!

代码:https://github.com/autonomousvision/giraffe



TimeLens: Event-based Video Frame Interpolation [8]


TimeLens 可以理解视频帧之间粒子的运动,用我们肉眼看不到的速度重建真正发生的事情。它达到了智能手机和其他机型无法达到的效果!

代码:https://github.com/uzh-rpg/rpg_timelens



CLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis [9]


你有没有想过把照片的风格,比如左边这个很酷的绘画风格,应用到你选择的新照片上?这个模型能够做到,甚至可以仅从文本中实现这一点,并且还提供了可以立即尝试使用这种新方法及其适用于所有人的 Google Colab 。简单的拍一张你要复制的样式的图片,输入你要生成的文字,这个算法就会生成一张新的图片!结果非常令人印象深刻,特别它们可以由一行文本制成的!

DEMO:https://colab.research.google.com/github/kvfrans/clipdraw/blob/main/clipdraw.ipynb
https://colab.research.google.com/github/pschaldenbrand/StyleCLIPDraw/blob/master/Style_ClipDraw.ipynb



CityNeRF: Building NeRF at City Scale [10]


该模型称为 CityNeRF,是从 NeRF 发展而来的, NeRF 是最早使用辐射场和机器学习从图像构建 3D 模型的模型之一。但 NeRF 效率不高而且只适用于单一规模。在这里,CityNeRF 同时应用于卫星和地面图像,生成各种 3D 模型。简而言之他们将 NeRF 带入了城市规模。

代码:https://city-super.github.io/citynerf/



引用:


[1] A. Ramesh et al., Zero-shot text-to-image generation, 2021. arXiv:2102.12092

[2] Taming Transformers for High-Resolution Image Synthesis, Esser et al., 2020.

[3] Liu, Z. et al., 2021, “Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”, arXiv preprint https://arxiv.org/abs/2103.14030v1

[bonus] Yuille, A.L., and Liu, C., 2021. Deep nets: What have they ever done  for vision?. International Journal of Computer Vision, 129(3),  pp.781–802, https://arxiv.org/abs/1805.04025.

[4] Liu, A., Tucker, R., Jampani, V., Makadia, A., Snavely, N. and  Kanazawa, A., 2020. Infinite Nature: Perpetual View Generation of  Natural Scenes from a Single Image, https://arxiv.org/pdf/2012.09855.pdf

[5] Pandey et al., 2021, Total Relighting: Learning to Relight Portraits  for Background Replacement, doi: 10.1145/3450626.3459872, https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf.

[6] Holynski, Aleksander, et al. “Animating Pictures with Eulerian Motion  Fields.” Proceedings of the IEEE/CVF Conference on Computer Vision and  Pattern Recognition. 2021.

[7] Michael Niemeyer and Andreas Geiger, (2021), “GIRAFFE: Representing  Scenes as Compositional Generative Neural Feature Fields”, Published in  CVPR 2021.

[8] Stepan Tulyakov, Daniel Gehrig, Stamatios Georgoulis, Julius Erbach,  Mathias Gehrig, Yuanyou Li, Davide Scaramuzza, TimeLens: Event-based  Video Frame Interpolation, IEEE Conference on Computer Vision and  Pattern Recognition (CVPR), Nashville, 2021, http://rpg.ifi.uzh.ch/docs/CVPR21_Gehrig.pdf

[9] a) CLIPDraw: exploring text-to-drawing synthesis through language-image encodersb) StyleCLIPDraw: Schaldenbrand, P., Liu, Z. and Oh, J., 2021.  StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis.

[10] Xiangli, Y., Xu, L., Pan, X., Zhao, N., Rao, A., Theobalt, C., Dai, B.  and Lin, D., 2021. CityNeRF: Building NeRF at City Scale.


本文作者:Louis Bouchard


浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报