通用框架

MPNN（Message Passing Neural Network）

消息传递神经网络

• MPNN包含两个阶段：

  • 消息传递阶段

    Message Passing

    • 消息传递阶段运行$T$个时间步，包含两个子函数：消息函数$M_t$和节点更新函数$U_t$。使用消息$m_v^t$，隐状态$h_v^t$的更新函数如下：

      $${\mathbf{m}}_{\mathbf{v}}^{\mathbf{t}+1}=\sum _{\mathbf{w}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{M}}_{\mathbf{t}}({\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}},{\mathbf{h}}_{\mathbf{w}}^{\mathbf{t}},{\mathbf{e}}_{\mathbf{vw}})$$

      $${\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}+1}={\mathbf{U}}_{\mathbf{t}}({\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}},{\mathbf{m}}_{\mathbf{v}}^{\mathbf{t}+1})$$
      其中，$e_{vw}$表示从$v$到$w$的边的特征

  • 读出阶段

    Readout

    • Readout阶段使用读出函数R来计算全图的表示：

      y ^ = R ( { h v T ∣ v ∈ G } ) \bm{ \hat{y} = R(\{h_v^T | v \in G\}) } y^​=R({hvT​∣v∈G})

• MPNN可以通过设置不同的消息函数、节点更新函数和读出函数来变成不同的模型

NLNN（Non-Local Neural Network，NLNN）

非局部神经网络

• NLNN利用DNN捕捉远程依赖关系，NLNN的非局部运算会针对特定位置计算所有位置的的特征加权总和，位置既可以是时间维度上的位置，也可以是空间维度上的位置。NLNN可以看作是多种“Self-Attention”机制的统一。

• 泛化的非局部运算的一般定义如下：

  $${\mathbf{h}}_{\mathbf{i}}^{{}^{\prime }}=\frac{1}{\mathbf{C}(\mathbf{h})}\sum _{\forall \mathbf{j}}\mathbf{f}({\mathbf{h}}_{\mathbf{i}},{\mathbf{h}}_{\mathbf{j}})\mathbf{g}({\mathbf{h}}_{\mathbf{j}})$$
  其中，i是目标位置，j的选择应枚举所有可能的位置。$f(h_i,h_j)$用于计算位置i和j之间的Attention Score。$g(h_j)$表示输入$h_j$的变换，因子$\frac{1}{C(h)}$用于将结果归一化

  • 函数g的选择

    • 线性变换

      $$\mathbf{g}({\mathbf{h}}_{\mathbf{j}})={\mathbf{W}}_{\mathbf{g}}{\mathbf{h}}_{\mathbf{j}}$$

  • 函数f的选择

    • 高斯函数

      $$\mathbf{f}({\mathbf{h}}_{\mathbf{i}},{\mathbf{h}}_{\mathbf{j}})={\mathbf{e}}^{{\mathbf{h}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{h}}_{\mathbf{j}}}$$
      其中，$h_i^T{h}_j$是点积相似度，且有$C(h)=\sum _{\forall j}f(h_i,h_j)$

    • 嵌入高斯函数

      Self-Attention是嵌入高斯函数的一个特例

      $$\mathbf{f}({\mathbf{h}}_{\mathbf{i}},{\mathbf{h}}_{\mathbf{j}})={\mathbf{e}}^{\mathbf{\theta }({\mathbf{h}}_{\mathbf{i}}{)}^{\mathbf{T}}\mathbf{\Phi }({\mathbf{h}}_{\mathbf{j}})}$$
      其中，$\theta (h_i)=W_{\theta }{h}_i$，$\Phi (h_j)=W_{\Phi }{h}_j$，且$C(h)=\sum _{\forall j}f(h_i,h_j)$

    • 点积函数

      $$\mathbf{f}({\mathbf{h}}_{\mathbf{i}},{\mathbf{h}}_{\mathbf{j}})=\mathbf{\theta }({\mathbf{h}}_{\mathbf{i}}{)}^{\mathbf{T}}\mathbf{\Phi }({\mathbf{h}}_{\mathbf{j}})$$
      其中，$C(h)=N$，$N$表示$h$中的位置个数

    • 拼接函数

      $$\mathbf{f}({\mathbf{h}}_{\mathbf{i}},{\mathbf{h}}_{\mathbf{j}})=\mathbf{ReLU}({\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}[\mathbf{\theta }({\mathbf{h}}_{\mathbf{i}})||\Phi ({\mathbf{h}}_{\mathbf{j}})])$$
      其中，$w_f$是将向量投影到标量的权重向量，$有C(h)=N$

    • 非局部块（Non-local Neural Networks）

      Paper : Non-local Neural Networks

      $${\mathbf{z}}_{\mathbf{i}}={\mathbf{W}}_{\mathbf{z}}{\mathbf{h}}_{\mathbf{i}}^{{}^{\prime }}+{\mathbf{h}}_{\mathbf{i}}$$

GN

Paper : Relational inductive biases, deep learning, and graph network

GN，囊括并扩展了各种GNN，以及MPNN和NLNN

• GN块包含3个更新函数Φ，以及3个聚合函数ρ：

$$\begin{array}{lr}{\mathbf{e}}_k^{\prime }={\varphi }^e\left({\mathbf{e}}_k,{\mathbf{v}}_{r_k},{\mathbf{v}}_{s_k},\mathbf{u}\right)& {\overline{\mathbf{e}}}_i^{\prime }={\rho }^{e\to v}\left(E_i^{\prime }\right)\\ {\mathbf{v}}_i^{\prime }={\varphi }^v\left({\overline{\mathbf{e}}}_i^{\prime },{\mathbf{v}}_i,\mathbf{u}\right)& {\overline{\mathbf{e}}}^{\prime }={\rho }^{e\to u}\left(E^{\prime }\right)\\ {\mathbf{u}}^{\prime }={\varphi }^u\left({\overline{\mathbf{e}}}^{\prime },{\overline{\mathbf{v}}}^{\prime },\mathbf{u}\right)& {\overline{\mathbf{v}}}^{\prime }={\rho }^{v\to u}\left(V^{\prime }\right)\end{array}$$