为什么要进行图学习?谈一谈逆势而上的图神经网络
共 9949字,需浏览 20分钟
·
2021-01-11 13:59
点击上方 蓝字关注我们
问一问近几年来逆势而上的技术有什么?相信你一定会说出来一个:图神经网络。
图神经网络将会在人工智能的各个领域起着非常重要的作用,虽然目前还没有完全成为各大顶会的焦点,但不可否认,它将会。因为相对于一般的神经网络,图神经网络解决了一个很关键的问题,就是object跟object之间的关系,这个object可以是网络中的节点,图像中的像素,文本中的单词,语音中的音符,甚至是神经网络的基本操作。可以看出来,图神经网络可以与自然语言处理,计算机视觉,强化学习,甚至是最基本的缺失值补全这样的机器学习任务结合。图神经网络下面的一些特点:
(1)图神经网络能够实现强大的非结构学习的能力:
图神经网络能够从非结构化数据(例如:场景图片、故事片段等)中进行学习和推理。尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功,但许多实际应用场景中的数据是从非欧式空间生成的,传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。
(2)图神经网络可以学习时序以及非时序排序的特征学习:
GNN的输出不以节点的输入顺序为转移的。而在时空领域的建模,我们既可以关注无先后顺序的空间拓扑结构,也可以建模有顺序的时间维度,多一维度的信息,多一份决策的能力;
(3)图神经网络可以解决两个节点之间依赖关系的学习:
传统的神经网络中,这种依赖关系只能通过节点的特征来体现。图嵌入通过保留图的网络拓扑结构和节点内容信息,将图中顶点表示为低维向量,以便使用简单的机器学习算法(例如,支持向量机分类)进行处理。
除此之外,图神经网络在社交网络、广告推荐、搜索推荐、药物生成、智能体交互、高能物理学到社会科学和经济学等领域的复杂关系建模和互动系统构建起到重要作用。今天,给大家介绍一个长期关注图神经网络,干货满满的公众号,深度学习与图网络。该公众号,主要关注图神经网络,以及深度学习和机器学习相关内容,偶尔尝试解读一些有意思的研究工作,"但水平有限,欢迎来批评指正"。在研究方向上, 关注以下几个方面:
图与自然语言处理
图与计算机视觉
图与智慧交通
图与推荐
图优化与解决过平滑问题
图上节点分类
图池化与分类以及分子图生成
动态图,时空图嵌入
在研究动态上:公众号关注NeurIPS, ICML, KDD, CVPR等会议论文,TPAMI, TNNLS, TKDE, TKDD等期刊论文,以及关注Arxiv上与图网络相关的研究动态,同时关注GitHub上关于GNN 库。如果你也是上面研究方向的同学,欢迎关注与收藏。下面是最近的推送,看看有没有你需要的~:
近期40条精彩推送
图神经网络说难不难,说容易不容易。如果你还没有入门,不用着急,站在他人的肩膀上,你会看的轻松一点,欢迎参考从下面的学习路线
1 Tutorial教程合集(入门必读)
图系列|从图(Graph)到图卷积: 漫谈图神经网络模型(I)
图系列|从图(Graph)到图卷积: 漫谈图神经网络模模型(II)
图系列|从图(Graph)到图卷积: 漫谈图神经网络模模型(III)
图卷积神经网络Graph Convolutional Network(GCN):从问题到理论分析
图网络延伸GraphSage: Inductive learning 和 Transductive learning
SGC Networks,一种简化的图神经网络=>产生高达两个数量级的加速
图系列GIN|GNN模型到底有多强呢?Weisfeiler-Leman test来告诉你
斯坦福Jure Leskovec——图神经网络研究最新进展(附下载链接)
清华大学唐杰——图神经网络 (GNN) 算法及其应用138页PPT(附下载链接)
斯坦福大学Jure Leskovec—图神经网络GNN研究进展:表达性、预训练、OGB,71页ppt
2 深度思考(进阶)
3 综述论文
清华大学朱文武「基于深度学习的图表示」综述论文,51页pdf(附下载链接)
图综述|综述《A Gentle Introduction to Deep Learning for Graphs》
学习一个新的领域最好是从综述开始,因为综述已经非常全面概括了目前该领域的论文,进行了合理的分类。公众号已经整理打包好第3部分全部的综述论文,后期新的论文会加入进去。如果你也需要,在下面公众号回复:图网络资料就可以了。
4 图相关专题
5 会议论文合集
ICML20 | 连续图神经网络;常数曲率图神经网络;贝叶斯图神经网络
论文汇总 | (全部)AAAI'20图相关论文合集,涉及各个方面
论文汇总 | 15篇ICLR'20与图网络学习有关的论文汇总(第一期)
论文汇总 | 14篇ICLR'20与图网络学习有关的论文汇总(第二期)
论文汇总 | 14篇ICLR'20与图网络学习有关的论文汇总(第三期)
论文简讯 | AAAI'20中五篇与图神经网络相关论文,涉及图分类,动态图建模,知识图谱对齐,交通预测等
6 论文快讯
图表示学习和几何深度学习workshop(II): node2vec与强化学习;双曲嵌入;Group卷积中的注意力等
ELLIS Workshop: April 2020图网络最新研究进展(I)
论文汇讯: 图网络新应用:新燃料发现,有机化学逆合成,多任务学习,单一场景中的检测等等
图机器学习-图拉普拉斯算子的离散正则性,141页ppt,Discrete regularity graph Laplacians
KDD19开源论文 Heterogeneous Graph Neural Network
论文快讯:5篇Graph相关内容:多标签建模;因果结构学习;N-gram Graph等等
论文快讯: 图网络相关的最新文献,涉及Graph Embedding 综述,交通预测、停车位可用性预测,图匹配等
7 相关资料
一个新的领域如果有一些系统的辅助的资料就不会被带偏,迷失方向。博客公众号,论文相对于完整的书籍还是缺乏系统性,为此公众号系统收集了图网络相关的资料,书籍等。如果你也需要,在公众号,回复:图网络资料就可以领取
8 深度解析
深度解读:KDD2020|混合时空图卷积网络:更精准的时空预测模型
深度解读:Transformer for Graph Classification:无监督的学习下图分类(代码已经公开)
深度解读:图系列|三篇图层次化表示学习(Hierarchical GNN):图分类以及节点分类
深度解读:团队新作 | 多尺度图卷积神经网络:有效统一三维形状离散化特征表示
深度解读:ICLR20|CUHK及NUS提出两个指标度量与提升图网络消息传递
论文解读:KDD'18异质信息网络嵌入学习—HEER模型结构,解决存在多决种关系的问题
论文解读:KDD'19 Deep Learning on Graph 最佳论文:自然语言生成(NLG)任务
论文解读:图表示学习中的对抗与攻击KDD'18 Best Paper: Adversarial Attacks
论文解读:GMNN:图马尔可夫网络,关系数据进行建模,变分EM框架训练模型
论文解读:普林斯顿高研院, 浙大, CMU和MIT联合提出图核函数与图神经网络的融合方法
论文解读:NeurIPS'20|Hyperbolic Graph Convolutional Neural Networks
论文解读:ICCV'19 Workshop 论文解读:用图神经网络改善视频的多标签分类
方案解读:CIKM'19 挑战杯「用户行为预测」冠军方案分享:「初筛-精排」两阶求解框架
论文解读:KDD'19 | 图神经网络预测知识图谱中的节点重要性
论文解读:图系列|图神经常微分方程,如何让 GNN 在连续深度域上大显身手?
9 动态时空图专题
10 动作识别专题
图系列|通过神经网络搜索(NAS)图卷积网络进行人体骨骼的动作识别
11 代码实战教程
图代码实战|Amazon图神经网络库DGL零基础上手指南-以节点分类为例
图代码实战|在PyTorch框架下使用PyG和networkx对Graph进行可视化
上面的内容有点多,是不是看的有点懵,建议收藏一下。后期可以按照关键词在深度学习与图网络公众号历史消息中进行搜索就可以了。
最后在说明一下哈,如果你也需要第三部分和第七部分的资料,在下面的公众号领取。暗号:图网络资料,拒绝任何套路,纯干货分享。