Yann LeCun 主讲的《深度学习》课程现已全部在线可看!
深度学习课程在网上一直有许多教学资源,比较出名的有吴恩达老师的《深度学习》课程。近日,由图灵奖得主、深度学习三巨头之一的 Yann LeCun 在纽约大学数据科学中心(CDS)主讲的《深度学习》2021 年春季课程(DS-GA 1008 )现已全部在线免费可看。本课程涉及深度学习和表示学习的最新技术,重点包括监督和无监督的深度学习、嵌入方法、度量学习、卷积和循环网络,以及这些技术在计算机视觉、自然语言理解和语音识别中的应用。目前这门课程只提供了英、法两种语言版本的讲义。课程主页:https://cds.nyu.edu/deep-learning/另外,学习这门课程的先决条件是你已经参与过 CDS 发布的 DS-GA 1001 数据科学入门课程或其他一门研究生级别的机器学习课程。课程资料示例如上图所示,点击超链接,就能跳转到相应的带英文字幕的教学视频(YouTube )、书面讲义、课件、以及带有 PyTorch 实现的可执行 Jupyter Notebooks。该课程由 Yann LeCun 与他的学生 Alfredo Canziani 等共同执教。Yann LeCun,美国国家工程院院士,纽约大学终身教授,2018 年图灵奖得主,卷积网络之父,与 Geoffrey Hinton、Yoshua Bengio 并称为「深度学习三巨头」。同时,他还是 Meta 首席 AI 科学家。Alfredo Canziani 是纽约大学库兰特数学科学研究所的计算机科学研究助理教授和深度学习研究科学家,由 Kyunghyun Cho 和 Yann LeCun 教授指导。此外,他拥有里雅斯特大学的电气工程学士学位和硕士学位,2012 年在克兰菲尔德大学获得理学硕士学位,并于 2017 年在普渡大学获得博士学位。他的主要研究方向为自动驾驶的机器学习。该课程为期 14 周,在线学习本课程的学生还可以通过的 Reddit 和 Discord 平台与讲师直接进行交流。共分为 8 个主题,每个主题的具体内容包括:主题 1 介绍深度学习:深度学习历史和资源;梯度下降和反向传播算法;神经网络推理;模块和架构;神经网络训练;
主题 2 参数共享:循环和卷积网络;实践中的 ConvNet;自然信号特性和卷积;循环神经网络、vanilla 和 LSTM;
主题 3 基于能量的模型(基础):基于能量的模型 (I);用于 LV-EBM 的推理;EBM 优点;基于能量的模型 (II);训练 LV-EBM;
主题 4 基于能量的模型(进阶):基于能量的模型 (III);Unsup 学习以及自动编码器;基于能量的模型 (VI);从 LV-EBM 到目标 prop 到(任何)自动编码器;基于能量的模型 (V);带有 PyTorch 和 GAN 的 AEs;
主题 5 关联记忆:基于能量的模型 (V);注意力以及 transformer ;
主题 6 图:Graph transformer 网络;图卷积网络 (I);图卷积网络 (II);
主题 7 控制:规划和控制;The Truck Backer-Upper;不确定性下的预测和规划;
主题 8 优化:优化 (I);优化 (II);
此外,该课程还涵盖视觉 SSL、低资源机器翻译、Lagrangian 逆向思维、最终项目和问答等其它主题进行探索。想进行深度学习研究的小伙伴,你不能错过该课程,相信你会收获满满。英文版讲义:https://atcold.github.io/NYU-DLSP21/en/week12/12/
YouTube 地址:https://www.youtube.com/playlist?list=PLLHTzKZzVU9e6xUfG10TkTWApKSZCzuBI
课程资料:https://github.com/Atcold/NYU-DLSP21