内容简介

刘忠雨

毕业于华中科技大学，资深图神经网络技术专家，极验科技人工智能实验室主任和首席技术官。在机器学习、深度学习以及图学习领域有6年以上的算法架构和研发经验，主导研发了极验行为验证、深知业务风控、叠图等产品，极验科技目前服务于全球 26万家企业。

李彦霖

毕业于武汉大学，极验人工智能实验室技术专家。一直从事机器学习、深度学习、图学习领域的研究工作。在深度神经网络算法研发、图神经网络在计算机视觉以及风控中的应用等领域实践经验丰富。

周洋

工学博士，毕业于武汉大学，目前在华中师范大学任教。曾受邀到北卡罗莱纳大学访学，长期在大数据挖掘前沿领域进行探索和研究，并应用于地理时空大数据、交通地理等诸多方向，已发表SCI&SSCI及核心期刊论文10余篇。

作品目录

前言
第1章　图的概述 1
1.1　图的基本定义 1
1.1.1　图的基本类型 2
1.1.2　邻居和度 4
1.1.3　子图与路径 4
1.2　图的存储与遍历 5
1.2.1　邻接矩阵与关联矩阵 5
1.2.2　图的遍历 6
1.3　图数据的应用场景 7
1.4　图数据深度学习 10
1.5　参考文献 13
第2章　神经网络基础 17
2.1　机器学习基本概念 17
2.1.1　机器学习分类 17
2.1.2　机器学习流程概述 18
2.1.3　常见的损失函数 21
2.1.4　梯度下降算法 23
2.2　神经网络 25
2.2.1　神经元 25
2.2.2　多层感知器 27
2.3　激活函数 29
2.3.1　S型激活函数 30
2.3.2　ReLU及其变种 30
2.4　训练神经网络 33
2.4.1　神经网络的运行过程 34
2.4.2　反向传播 34
2.4.3　优化困境 36
2.5　参考文献 38
第3章　卷积神经网络 39
3.1　卷积与池化 39
3.1.1　信号处理中的卷积 39
3.1.2　深度学习中的卷积操作 42
3.1.3　池化 46
3.2　卷积神经网络 46
3.2.1　卷积神经网络的结构 47
3.2.2　卷积神经网络的特点 49
3.3　特殊的卷积形式 51
3.3.1　1×1卷积 51
3.3.2　转置卷积 52
3.3.3　空洞卷积 54
3.3.4　分组卷积 55
3.3.5　深度可分离卷积 55
3.4　卷积网络在图像分类中的应用 56
3.4.1　VGG 56
3.4.2　Inception系列 57
3.4.3　ResNet 60
3.5　参考文献 62
第4章　表示学习 65
4.1　表示学习 65
4.1.1　表示学习的意义 65
4.1.2　离散表示与分布式表示 66
4.1.3　端到端学习是一种强大的表示学习方法 68
4.2　基于重构损失的方法—自编码器 69
4.2.1　自编码器 69
4.2.2　正则自编码器 71
4.2.3　变分自编码器 72
4.3　基于对比损失的方法—Word2vec 75
4.4　参考文献 79
第5章　图信号处理与图卷积神经网络 81
5.1　矩阵乘法的三种方式 81
5.2　图信号与图的拉普拉斯矩阵 83
5.3　图傅里叶变换 85
5.4　图滤波器 90
5.4.1　空域角度 93
5.4.2　频域角度 94
5.5　图卷积神经网络 96
5.6　GCN实战 101
5.7　参考文献 109
第6章　GCN的性质 111
6.1　GCN与CNN的联系 111
6.2　GCN能够对图数据进行端对端学习 115
6.3　GCN是一个低通滤波器 120
6.4　GCN的问题—过平滑 122
6.5　参考文献 127
第7章　GNN的变体与框架 129
7.1　GraphSAGE 129
7.1.1　采样邻居 130
7.1.2　聚合邻居 131
7.1.3　GraphSAGE算法过程 132
7.2　GAT 134
7.2.1　注意力机制 134
7.2.2　图注意力层 137
7.2.3　多头图注意力层 138
7.3　R-GCN 140
7.3.1　知识图谱 140
7.3.2　R-GCN 141
7.4　GNN的通用框架 143
7.4.1　MPNN 143
7.4.2　NLNN 146
7.4.3　GN 147
7.5　GraphSAGE实战 148
7.6　参考文献 153
第8章　图分类 155
8.1　基于全局池化的图分类 155
8.2　基于层次化池化的图分类 156
8.2.1　基于图坍缩的池化机制 157
8.2.2　基于TopK的池化机制 165
8.2.3　基于边收缩的池化机制 168
8.3　图分类实战 169
8.4　参考文献 177
第9章　基于GNN的图表示学习 179
9.1　图表示学习 180
9.2　基于GNN的图表示学习 182
9.2.1　基于重构损失的GNN 183
9.2.2　基于对比损失的GNN 184
9.3　基于图自编码器的推荐系统 188
9.4　参考文献 195
第10章　GNN的应用简介 197
10.1　GNN的应用简述 197
10.2　GNN的应用案例 199
10.2.1　3D视觉 199
10.2.2　基于社交网络的推荐系统 203
10.2.3　视觉推理 205
10.3　GNN的未来展望 208
10.4　参考文献 209
附录A　符号声明 211
· · · · · ·

作者简介

刘忠雨

毕业于华中科技大学，资深图神经网络技术专家，极验科技人工智能实验室主任和首席技术官。在机器学习、深度学习以及图学习领域有6年以上的算法架构和研发经验，主导研发了极验行为验证、深知业务风控、叠图等产品，极验科技目前服务于全球 26万家企业。

李彦霖

毕业于武汉大学，极验人工智能实验室技术专家。一直从事机器学习、深度学习、图学习领域的研究工作。在深度神经网络算法研发、图神经网络在计算机视觉以及风控中的应用等领域实践经验丰富。

周洋

工学博士，毕业于武汉大学，目前在华中师范大学任教。曾受邀到北卡罗莱纳大学访学，长期在大数据挖掘前沿领域进行探索和研究，并应用于地理时空大数据、交通地理等诸多方向，已发表SCI&SSCI及核心期刊论文10余篇。

精彩摘录

4.1.3端到端学习是一种强大的表示学习方法深度学习的模型不同于传统的机器学习模型，比如对于图像分类任务来说，传统机器学习需要人工提取一些描述性的特征，比如SIFT特征，即前面提到的特征工程，然后使用分类器进行图像类别的判断，模型性能的好坏很大程度上取决于所提取特征的好坏。而使用卷积神经网络可以解决这个问题，比如Alexnet，它以原始图像作为输人，而不是特征工程得到的特征，输出直接是预测的类别，这种学习方式称为端到端学习（end-to-endlearning）对于上述的例子，我们可以这么理解，卷积网络的前面部分主要是完成自动特征提取，然后将提取的特征送入到分类器中进行分类，换句话说，卷积网络的前面部分可以看作是在进行表示学习，即端到端学习可以看作是表示学习与任务学习的组合，但它们不是完全分裂的。具体来说，它们是联合优化的，反向传播算法将误差从输出层向前传递直到输入层，优化算法动态地调节模型参数使得模型可以自动提取到与任务相关的判别性特征，这显示出了深度学习模型相比于其他方法的优越性。

——引自章节：4.1.3　端到端学习是一种强大的表示学习方法 68