深度学习近10年,10篇必读论文总结

你好，我是郭震

深度学习领域2014-2023每年的标志性论文

2014

• 生成对抗网络（Generative Adversarial Nets）
  • Ian Goodfellow et al. 提出了GAN，开启了生成模型的新时代。

2015

• 深度残差网络（Deep Residual Learning for Image Recognition）
  • Kaiming He et al. 提出ResNet，极大提升了深度网络的性能和可训练性。

2016

• WaveNet: 生成原始语音波形的深度神经网络（WaveNet: A Generative Model for Raw Audio）
  • Aäron van den Oord et al. 在语音合成领域取得了突破性进展。

2017

• 注意力机制（Attention Is All You Need）
  • Ashish Vaswani et al. 通过提出Transformer模型，彻底改变了自然语言处理的面貌。

2018

• BERT: 深度双向Transformer的预训练（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding）
  • Jacob Devlin et al. 提出了BERT模型，显著提升了自然语言处理任务的性能。

2019

• 大规模语言模型GPT-2（Language Models are Unsupervised Multitask Learners）
  • OpenAI 提出了GPT-2模型，展示了大规模语言模型在多种任务上的能力。

2020

• EfficientDet: 可扩展且高效的目标检测模型（EfficientDet: Scalable and Efficient Object Detection）
  • Mingxing Tan et al. 通过EfficientDet在目标检测领域实现了新的效率和精度平衡。

2021

• Vision Transformer（An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale）
  • Alexey Dosovitskiy et al. 将Transformer架构成功应用于图像识别任务，开启了计算机视觉领域的新篇章。

2022

• DALL·E 2: 生成高质量图像的模型（Hierarchical Text-Conditional Image Generation with CLIP Guides）
  • OpenAI 提出了DALL·E 2，能够根据文本描述生成高质量、高分辨率的图像。

2023

• Pathways Language Model (PaLM): 缩放到数万亿参数的语言模型（Pathways Language Model: Scaling to Trillions of Parameters for Natural Language Understanding）
  • Google 提出了PaLM，展示了大模型在多语言理解和生成任务上的巨大潜力。