热议：如何成为一名优秀的AI架构师？

坚实的机器学习和深度学习理论基础

丰富的项目实战经验

业务理解能力

帮你打基础

带你做项目

大厂导师亲自带队，手把手传授一线业务经验

阶段一：基础准备及概述

Week01 基础理论及课程介绍

1. 课程安排与三大项目介绍（图像+语音+推荐）

2. 高性能计算技术深度学习应用概览。

3. 矩阵计算基础理论。

4. Cupy矩阵加速技术。

5. Numba 编译加速技术。

6. 练习：使用Cupy实现千万级矩阵加法运算。

Week02 并行及分布式框架概述

1. 经典并行计算方案介绍。

2. OPENMP技术详细介绍。

3. MPI技术详细介绍。

4. NV集合通信NCCL 技术介绍。

5. 练习：使用MPI/NCCL/OPENMP实现并行规约算法。

   
   

阶段二: 目标检测项目

Week 03 -Week 05

内容简介：

目标检测计算机视觉中的经典问题。目前已经广泛应用在行人跟踪、车牌识别、无人驾驶等领域。基于深度学习的目标检测算法由于具有较高的识别准确率逐渐成为主流。目标检测算法对实时性要求较高，本项目着力于解决这一问题。

学习目标：

通过目标检测这类以卷积模块为主的模型的解构，掌握并能够上手自己动手实现卷积等常规的神经网络算子，并使用TensorRT框架完成基于GPU的目标检测项目的部署。

Week 03 经典卷积网络回顾

1. 经典卷积网络模型回顾，从Lenet到Resnet。

2. 卷积参数设计及应用详解(分组卷积，空洞卷积等)。

3. 卷积层的正向和反向传播算法。

4. 卷积层的计算优化技术。

5. 练习：朴素2D Conv的Pytorch 插件实现(含反向传播)。

   
   

Week 04 目标检测算法

1. RCNN系列模型分析。

2. YOLO系列模型分析。

3. SSD系列模型分析。

4. Tensorrt框架入门。

5. 练习：Tensorrt SSD项目的部署。

   
   

Week 05  NvidiaTensort核心算法和Plugin开发

1. TensoRT 量化技术。

2. TensoRT混合推理的原理。

3. TensoRT的Plugin开发流程。

4. 练习：使用不同级别量化对比YOLO 推理性能。

   
   

阶段三：个性化语音合成项目实战

Week 06-10

内容简介： 

智能化的读书功能，允许选择语音音色来进行听书。导航的智能语音-如百度地图、高德地图、传统Garmin导航等，都支持选择不同语言进行实时导航。智能音箱-喜马拉雅FM的小雅、科大讯飞的智能语音输入，支持辨识活体语音，进行反馈处理再以语音方式反馈回复。这些问题背后都是基于Seq2Seq的深度学习合成模型，该模型结构复杂计算量大，本项目旨在通过通过优化解决这一问题。

学习目标：

掌握个性化语音合成中经典的声纹提取、基于Attention的合成模型、以及典型的基于卷积网络的声码器设计。在此基础上掌握基于ONNX的通用模型转换技术及基于TensorRT来进行模型部署推理加速。

Week 06：合成项目全貌概览

1. 合成项目整体介绍。

2. 声纹提取网络结构。

3. Tacotron/Tacoton2 结构介绍。

4. Wavenet、WaveRNN、WaveGlow 结构介绍。

5. 实践课：Pytorch 实现Google Speaker Embedding。

Week 07 计算图表示及优化

1. ONNX计算图表示方法介绍。

2. ONNX 图优化的常用技术。

3. Pytorch模型转ONNX技术介绍。

4. 实践课：实现Google Speaker Embedding 模块的onnx输出并进行图优化。

   
   

Week 08  Attention-Based Seq2Seq模型Tacotron2 

1. Tacotron2模型整体结构。

2. Attention技术回顾。

3. teacher forcing技术。

4. GRU算法的TensorRT实现。

5. 练习：将tacotron2模型输出为优化后的onnx模型并Tensorrt部署。

Week 09 声码器: Wave序列生成算法实战。

1. 声码器技术回顾。

2. wavenet模型解读。

3. WaveRNN模型解读。

4. WaveGLow模型解读。

5. 实践课：整体部署优化后的5s语音合成系统。

   
   

阶段四：分布式推荐系统

Week 10 – week12

内容介绍：

头条新闻推荐、抖音短视频推荐、京东商品推荐个性化推荐已经成为现代人们生活的一部分。推荐系统特征往往具备稀疏性的问题，如果解决大规模稀疏模型的训练时本项目拟解决的问题。

学习目标：

通过推荐系统这一大规模稀疏特征特性的模型结构，了解参数服务器的设计以及分布式环境下的反向传播算法的实现，以及常见梯度计算优化算法Local SGD,同时具备常用推荐模型的应用部署能力。

Week10 推荐系统概览

1. 经典推荐算法概述。

2. 基于LR的朴素新闻推荐系统设计。

3. 常用Layer的前向传播和反向传播算法。以fc和pooling为例。

4. 实践课：实现最基本的LR推荐。

   
   

Week11 分布式参数服务器

1. 参数服务器概述。

2. 分布式环境下的SGD算法。

3. Range 查询的高效实现。

4. 实践课：用pslite实现分布式大规模矩阵加法。

   
   

Week 12：分布式推荐系统实战

1. FM算法详细详细介绍。

2. DeepFM算法详细介绍。

3. 稀疏矩阵的全局参数更新算法。

4. 实战项目：用pslite实现分布式FM推荐算法。

   
   

阶段五 深度学习高级主题

Week13-Week15

内容介绍：

深度学习框架日新月异。国际上有Tensorflow、Pytorch、Keras等框架，国内有PaddlePaddle、旷世天元，清华计图等框架，那么这些框架遵循怎样的设计理念和发展发现，本阶段内容通过梳理典型框架的设计来让学员对这些问题有更为清晰和直观的认识。

学习目标： 掌握深度学习架构的设计思想及技术演进，通过对核心的框架通信技术的解读以及经典的图优化算子融合等技术的讲解，让读者未来对框架的使用更加熟练。

Week13 深度学习架构演进

1. 主流深度学习框架的核心设计思路对比。

   第一代系统

   第二代系统

   第三代系统

2. 实战项目：paddle中的program技术分析报告。

   
   

Week14 训练加速高级技术1

1. Local SGD原理。 

2. 并行执行器设计。

3. 实战项目：动手实现local sgd。

Week15 训练加速高级技术 2

1. 深度学习框架分布式通信技术。

2. 深度学习框架计算图fuse技术。

3. 实践课：TNN  fuse技术源码分析报告。

阶段六 结业答辩

Week16 闭幕式

课程总结

项目答辩

毕业典礼

毕业后希望跻身AI领域的大学生

想要实现技能提升，跳槽大厂的在职人士

你需要具备什么基础，才能达到最佳学习效果？

解决专业技能不扎实，硬实力薄弱的问题

解决实战经验不足，导致简历无项目可写的问题