在图卷积网络中的可导池化操作

在图卷积网络中的可导池化操作
FesianXu 20210627 at Baidu search team

前言

我们在之前的博文[1,2,3]中初步讨论过图卷积网络的推导和信息传递的本质等,本文继续讨论在图卷积网络中的可导池化操作。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢
∇ \nabla 联系方式:
e-mail: FesianXu@gmail.com

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用

微信公众号

qrcode


这一篇鸽了很久了,今天突然想到就顺手写完了吧。之前我们在[1,2,3]中曾经讨论过图卷积网络的推导,以及其和消息传递(message passing)之间的关系,但是我们还没有讨论一个重要问题,那就是在图卷积网络中的池化(pooling)操作。池化操作对于一个卷积网络来说是很重要的,特别是对于节点众多的大规模图卷积网络,池化可以使得网络的参数大幅度减少,增强泛化性能并且提高模型的层次性结构化特征性能等。如何在图卷积网络中定义出如同在卷积网络中的可导的池化操作呢?单纯的聚类操作因为缺乏梯度流,不能实现端到端的训练而不能直接使用,在文章[4]中提出了DiffPool算子,该算子可以实现图卷积网络的可导池化。

pool

Fig 1. 对于卷积网络中的池化操作,要怎么才能在图卷积网络中找到其合适的替代品呢?

DiffPool

DiffPool的思路很简单,可以用Fig 2表示,其中的 X l ∈ R n l × d \mathbf{X}^{l} \in \mathbb{R}^{n^{l} \times d} XlRnl×d是上一层的输出特征,而 n l n^{l} nl表示第 l l l层的节点数。其中的DiffPool操作其实很简单,就是用一个分配矩阵(assign matrix)去进行自动聚类,有:
X ( l + 1 ) = ( S l ) T Z l ∈ R n ( l + 1 ) × d A ( l + 1 ) = ( S l ) T A l S l ∈ R n ( l + 1 ) × n ( l + 1 ) (1) \begin{aligned} \mathbf{X}^{(l+1)} &= (S^{l})^{\mathrm{T}} Z^{l} \in \mathbb{R}^{n^{(l+1)} \times d} \\ A^{(l+1)} &= (S^{l})^{\mathrm{T}} A^{l} S^{l} \in \mathbb{R}^{n^{(l+1)} \times n^{(l+1)}} \end{aligned} \tag{1} X(l+1)A(l+1)=(Sl)TZlRn(l+1)×d=(Sl)TAlSlRn(l+1)×n(l+1)(1)
其中的 S l ∈ R n l × n ( l + 1 ) S^{l} \in \mathbb{R}^{n^{l} \times n^{(l+1)}} SlRnl×n(l+1)就是第 l l l层的分配矩阵,注意到其是一个实矩阵。

diffpool

Fig 2. DiffPool的示意简图。

现在的问题在于分配矩阵如何学习得到,可以认为DiffPool是一个自动端到端聚类的过程,其中分配矩阵代表了该层聚类的结果。如Fig 2所示,我们发现第 l l l层的分配矩阵和特征都是由共同输入 X l \mathbf{X}^{l} Xl学习得到的,我们有:
Z l = G N N l , e m b ( A l , X l ) S l = s o f t m a x ( G N N l , p o o l ( A l , X l ) ) (2) \begin{aligned} Z^{l} &= \mathrm{GNN_{l,emb}} (A^l, \mathbf{X}^l) \\ S^l &= \mathrm{softmax}(\mathrm{GNN_{l,pool}}(A^l, \mathbf{X}^l)) \end{aligned} \tag{2} ZlSl=GNNl,emb(Al,Xl)=softmax(GNNl,pool(Al,Xl))(2)
其中的 G N N x x x ( ) \mathrm{GNN_{xxx}}() GNNxxx()表示的是由图卷积单元层叠若干次而成的卷积模块,其中每一层可以表示为
H ( k ) = M ( A , H ( k − 1 ) ; W ( k ) ) = R e L U ( D ~ 1 2 A ~ D ~ 1 2 H ( k − 1 ) W ( k − 1 ) ) (3) H^{(k)} = M(A, H^{(k-1)}; W^{(k)}) = \mathrm{ReLU}(\tilde{D}^{\frac{1}{2}} \tilde{A} \tilde{D}^{\frac{1}{2}} H^{(k-1)} W^{(k-1)}) \tag{3} H(k)=M(A,H(k1);W(k))=ReLU(D~21A~D~21H(k1)W(k1))(3)
其中的 R e L U ( . . . ) \mathrm{ReLU}(...) ReLU(...)表示的是经典的消息传递过程,具体见[3]。注意到 S l S^l Sl的形状决定了下一层的节点数 n ( n + 1 ) n^{(n+1)} n(n+1),参考公式(3),这个超参数由 W ( k − 1 ) ∈ R d × n ( l + 1 ) W^{(k-1)} \in \mathbb{R}^{d \times n^{(l+1)}} W(k1)Rd×n(l+1)指定,而显然有 D ~ 1 2 A ~ D ~ 1 2 ∈ R n l × n l , H ( k − 1 ) ∈ R n l × d \tilde{D}^{\frac{1}{2}} \tilde{A} \tilde{D}^{\frac{1}{2}} \in \mathbb{R}^{n^{l} \times n^{l}}, H^{(k-1)} \in \mathbb{R}^{n^{l} \times d} D~21A~D~21Rnl×nl,H(k1)Rnl×d。为了约束分配矩阵的值的范围,对其进行了概率分布化,也即是 s o f t m a x ( ⋅ ) \mathrm{softmax}(\cdot) softmax(),按论文的说法,是逐行(row-wise)生效的。

G N N l , e m b ( ⋅ ) \mathrm{GNN_{l,emb}}(\cdot) GNNl,emb()中则负责特征 Z l Z^l Zl的生成,再与分配矩阵 S l S^l Sl进行DiffPool,见式子(1),即完成了整个操作。

辅助训练目标

然而据文章说,在实践中,单纯依靠梯度流去训练可导池化版本的GNN难以收敛,需要加些辅助约束条件。作者加了几个先验约束,第一作者认为 一个节点邻居的节点应该尽可能地池化到一起 (nearby nodes should be pooled together),通过Frobenius 范数进行约束,有式子(4)
L L P = ∣ ∣ A l − S l ( S l ) T ∣ ∣ F (4) L_{LP} = ||A^l -S^{l}(S^{l})^{\mathrm{T}}||_F \tag{4} LLP=AlSl(Sl)TF(4)
另一个约束是,分配矩阵的应该每一行尽可能是一个one-hot向量,这样每个聚类结果才能更清晰地被定义出来。通过最小化熵可以对其进行约束,有:
L E = 1 n ∑ i = 1 n H ( S i ) (5) L_E = \dfrac{1}{n} \sum_{i=1}^n H(S_i) \tag{5} LE=n1i=1nH(Si)(5)
其中 H ( S i ) H(S_i) H(Si)表示对 S l S^l Sl的第 i i i行求熵(entropy)。作者声称在图分类损失中添加(4)和(5)约束可以有着更好的性能,即便训练收敛需要更长的时间才能达到。从结果Fig 3中可以发现的确是添加了约束的效果要好些。其中在GraphSAGE的基线上,和其他池化方法(SET2SET,SORTPOOL)的对比说明了DiffPool的有效性和先进性。

result

Fig 3. 实验结果图。

More

那么DiffPool得到的分配矩阵结果是否可靠呢?是否可以看成是聚类的结果呢?作者在原文中也提及了这件事儿,并且对池化结果进行了可视化,如Fig 4所示。可以发现DiffPool其的确是对节点进行了合理的聚类。

vis

Fig 4. DiffPool结果的可视化,可以形成合理的聚类结果。

就笔者个人的读后感而已,DiffPool的操作类似于现在流行的自注意学习机制,分配矩阵不妨可以看成是自注意力矩阵对节点进行聚类,也可以认为自注意力机制在图网络中也是生效的。

Reference

[1]. https://fesian.blog.csdn.net/article/details/88373506

[2]. https://blog.csdn.net/LoseInVain/article/details/90171863

[3]. https://blog.csdn.net/LoseInVain/article/details/90348807

[4]. Ying, Rex, Jiaxuan You, Christopher Morris, Xiang Ren, William L. Hamilton, and Jure Leskovec. “Hierarchical graph representation learning with differentiable pooling.” arXiv preprint arXiv:1806.08804 (2018).

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战,可谓是杀敌无数,见怪不怪了!在某知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表:零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时,为空表。 在比较复杂的线性表中,一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言,按照其应用领域,可以粗略地分成三类。 有的语言是多面手,在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类,比如说 C,Java, Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后,该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情,很多情况下,他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言,首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图: 上码: 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况,重点关注在中国市场扮演重要角色的全球及本土铪生产商,呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外,针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…