10分钟了解图卷积神经网络的常用算法和发展方向

数学算法俱乐部

共 4550字,需浏览 10分钟

 ·

2021-11-27 09:39

近几年,机器学习在各个领域喷式发展,现已成为当下最热门的技术。掌握机器学习,你就比 80% 的人更具备竞争优势。


谷歌的无人驾驶、抖音的推荐系统、百度的人脸识别、大疆的无人机、科大讯飞的语音识别、小米的智能音箱……背后都是机器学习。


简单一点概括,机器学习就是计算机从数据中学习出规律和模式,以应用在新数据上做预测的任务。


然而,学习机器学习的资料很多,动辄就有几个G的材料可以下载或者观看。而很多朋友都有“收集癖”,一下子购买十几本书却束之高阁的人也不在少数……


究竟要怎样才能高效、系统地掌握机器学习前沿技术呢?为此,贪心科技重磅推出《机器学习高阶研修班》



在课程中,我们由浅入深的讲清楚每一个核心的细节以及前沿的技术、同时你将有机会参与到课题中,并通过课题来增加对领域的认知,让自己的能力更上一层。


如果你以后想从事相关课题的科研或准备出国留学申请该领域方向的博士硕士,将会有很大帮助。



机器学习高阶研修班


 ☑ 强化学习  ☑ 图神经网络  ☑ 深度贝叶斯  ☑ 凸优化

助你成为行业TOP10%的工程师

对课程有意向的同学

二维码咨询


01
内容亮点


全面的内容讲解:涵盖当今应用和科研领域最热门的四大技术方向,强化学习、深度贝叶斯、图神经网络、凸优化。


深入的技术剖析:深入剖析技术细节及各模块所涵盖最前沿技术,导师结合自身经历及学术应用前沿,为你指引未来方向。


提高创新创造力:深入了解一个领域是技术创新的必要条件,在全面学习深入该领域的同时,课程的创新项目及内容设计将会引导你的创新思考。


开放式项目实践:每个模块均设有开放式项目,导师团队全程辅导,课题最终可转换成创业项目或科研论文。


02
详细内容


技术模块一

强化学习



强化学习是机器学习的一个分支,相较于机器学习经典的有监督学习、无监督学习问题,强化学习最大的特点是在交互中学习。强化学习的范式非常类似于我们人类学习知识的过程,也正因此,强化学习被视为实现通用AI重要途径。


知识点讲解(详细请点击图片查看):

- Markov Decision Process

- Dynamic Programing

- Model-free Prediction

- Monte Carlo Learning

On-Policy Monte Carlo Control

Importance Sampling, Q-Learning

Policy Gradient

- Deep Reinforcement Learning

- Actor Critic

- Advanced Reinforcement Learning

- Bandit

- ......


应用讲解:

- 强化学习在游戏中的应用

- 强化学习在NLP中的应用(文本生成、多轮对话、机器写作..)

- 强化学习在金融领域中的应用

- 强化学习在多任务中的应用


项目作业:

-  固定项目: 基于HFO 场景的强化学习模型及基于Flappy Bird 场景的深度强化学习

-  开放式项目: 以小组为单位完成一个开放式项目(capstone),导师和助教全程指导,有可能项目成果就转变成你的一篇论文了呢


技术模块二

贝叶斯深度学习



贝叶斯深度学习(Bayesian Deep learning)是一项迅速崛起的技术,融合了深度学习和贝叶斯核心技术,使得模型本身可以更好地捕获数据中的不确定性,同时也能预测出结果的不确定性,同时贝叶斯模型也比较适合小数据量的场景。

知识点讲解(详细请点击图片查看):

- 贝叶斯深度学习是什么

- Probabilistic Programming

- 主题模型

- MCMC采样,吉布斯采样

- 变分法(VI), SVI

- Importance sampling

Rejection Sampling

- VAE, Reparameterization Trick

- MC dropout, uncertainty estimation

- 贝叶斯序列模型

- Adversial Learning

- ......


应用讲解:

- 贝叶斯模型在文本领域应用

- 贝叶斯模型在时序分析领域应用

- 贝叶斯模型在推荐领域应用

- 贝叶斯模型在医疗领域应用


项目作业:

-  固定项目: 基于修改版LDA的无监督情感分析模型

-  开放式项目: 以小组为单位完成一个开放式项目(capstone),导师和助教全程指导,有可能项目成果就转变成你的一篇论文了呢


技术模块三

图神经网络



图神经网络是指神经网络在图上应用的模型的统称,根据采用的技术不同和分类方法的不同,又可以分为下图中的不同种类,例如从传播的方式来看,图神经网络可以分为图卷积神经网络(GCN),图注意力网络(GAT,缩写为了跟GAN区分),Graph LSTM等等,本质上还是把文本图像的那一套网络结构技巧借鉴过来做了新的尝试。

知识点讲解(详细请点击图片查看):

- Inner Product, Hilbert Space

- CNN的卷积与池化

- Network community detection

- 拉普拉斯算子

- GCN

- Spatial Convolution, Mixture Model Network

- Attention机制,GAT

- Edge Convolution,近似优化问题

- Relative GCN, knowledge GCN

- ST-GCN, GraphSage的设计

- HyperGCN

- .....


应用讲解:

- GNN在推荐领域中的应用

- GNN在社交网络中的应用

- GNN在文本分析领域中的应用


项目作业:

-  固定项目: 基于修改版LDA的无监督情感分析模型

-  开放式项目: 以小组为单位完成一个开放式项目(capstone),导师和助教全程指导,有可能项目成果就转变成你的一篇论文了呢


技术模块四

凸优化



凸优化在人工智能领域有着举足轻重的地位,对于模型的训练实际上等同于对模型的优化。我们平时使用的sgd, adam, adagrad, L-BFGS这类算法均属于优化范畴。在AI的应用中,当我们构造了目标函数之后,接下来的工作即便是优化部分。如果你今后想做一些模型的改造、以及想看懂顶会文章的细节,凸优化是必备的基础。对于想深入AI领域的人来讲,学习凸优化是必不可少的。

知识点讲解(详细请点击图片查看):

- 线性规划问题以及Simplex Method

- Stochastic Programming

- 判定凸函数

- 二次规划问题

半定规划问题(semi-definite programming)

- 几何规划问题(geometric programming)

- 非凸函数的优化

- NP-hard问题的松弛化

- 整数规划(integer programming)

- 拉格朗日函数

- Duality, Strong Duality

- KKT条件

- LP, QP, SDP的对偶问题

- Subgradient Method

- Proximal Gradient Descent

- ....


应用讲解:

- 线性规划在运输问题中的应用

- 线性规划在投放优化中的应用

- 二次规划在投资组合优化中的应用

- 整数规划在打车匹配中的应用


项目作业:

-  固定项目: 利用优化理论完成投资策略

-  开放式项目: 以小组为单位完成一个开放式项目(capstone),导师和助教全程指导,有可能项目成果就转变成你的一篇论文了呢


03
你将收获


全面掌握机器学习领域技术,能够灵活应用在自己的工作中。


理解强化学习、深度贝叶斯技术、图神经网络、凸优化。


深入理解前沿技术理论和细节,具备修改模型创新能力,打下科研基础。


完成一系列课题,有可能成为一个创业项目或者转换成你的科研论文


短期内对一个领域有全面的认识,大大节省学习时间


认识一群拥有同样兴趣的人、相互交流、相互学习



机器学习高阶研修班


 ☑ 强化学习  ☑ 图神经网络  ☑ 深度贝叶斯  ☑ 凸优化

助你成为行业TOP10%的工程师

对课程有意向的同学

二维码咨询


04
研发及导师团队



蓝振忠

课程研发顾问

ALBERT模型的第一作者

西湖大学特聘研究员和博士生导师

Google AI实验室科学家

美国卡耐基梅隆大学博士

先后在NIPS, CVPR, ICCV, IJCAI等会议发表30篇以上论文,1000+引用次数


Jerry Yuan

课程研发顾问

美国微软(总部)推荐系统部负责人

美国亚马逊(总部)资深工程师

美国新泽西理工大学博士

14年人工智能, 数字图像处理和推荐系统领域研究和项目经验

先后在AI相关国际会议上发表20篇以上论文


李文哲

贪心科技CEO

美国南加州大学博士

曾任独角兽金科集团首席数据科学家、美国亚马逊和高盛的高级工程师

金融行业开创知识图谱做大数据反欺诈的第一人

先后在AAAI、KDD、AISTATS、CHI等国际会议上发表过15篇以上论文


杨老师

推荐系统,计算机视觉领域专家

香港城市大学博士,加州大学美熹德分校博士后

主要从事机器学习,图卷积,图嵌入的研究

先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文


王老师

毕业于QS排名TOP20名校

先后任职于亚马逊,华为,平安科技等AI研发部门

主要从事机器阅读理解,信息检索,文本生成等方向的研究

先后在AAAI, ICLR等发表数篇论文,拥有多项国家发明专利



05
授课方式


基础知识讲解
前沿论文解读
论文代码复现
该知识内容的实际应用
该知识的项目实战
该方向的知识延伸及未来趋势
Capstone开放式项目实战


06
需要完成的任务


▲读论文(20%):每个模块中,在指定的论文列表中选择至少2篇文章,并把summary发布在内部论坛中。


▲项目(80%):对于每个模块,以小组为单位,完成一个完整的项目或者课题,分几个阶段完成:

  • 1页课题计划 & 线上报告

  • 课题成果展示 & 最终答辩

  • 完整的课题Report


07
适合人群


大学生:

  • 理工科相关专业的本科/硕士/博士生,想系统性学习机器学习技术

  • 希望今后从事人工智能相关的工作

  • 希望今后想从事相关研究


在职人士:
  • 目前从事IT相关的工作,但今后想从事AI工作

  • 目前公司项目涉及到以上几个模块的内容、希望深入学习

  • 希望能够及时掌握前沿的机器学习技术


入学标准

1.理工科相关专业学生,或者IT从业者

2.具有良好的Python编程能力

3.有一定的机器学习、深度学习基础或成功完成贪心学院以下课程中的任意一门:

  • 中级机器学习训练营

  • 高阶自然语言处理训练营

  • 推荐系统训练营

  • 京东NLP项目实战训练营



机器学习高阶研修班


 ☑ 强化学习  ☑ 图神经网络  ☑ 深度贝叶斯  ☑ 凸优化

助你成为行业TOP10%的工程师

对课程有意向的同学

二维码咨询





机器学习高阶研修班


 ☑ 强化学习  ☑ 图神经网络  ☑ 深度贝叶斯  ☑ 凸优化

助你成为行业TOP10%的工程师

对课程有意向的同学

二维码咨询


浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报