DAN
Dual Attention Network for Scene Segmentation (CVPR2019)
https://arxiv.org/pdf/1809.02983.pdf
[Pytorch] https://github.com/junfu1115/DANet

特点：

1. 提出了Dual Attention Networks (DANet)在spatial和channle维度来捕获全局特征依赖，提出position attention module去学习空间特征的相关性，提出channel attention module去建模channle的相关性;
2. 在Position Attention Module中，特征图A(C×H×W)首先分别通过3个卷积层得到3个特征图B，C，D，然后reshape为C×N，其中N=H×W，之后将reshape后的B的转置与reshape后的C相乘再通过softmax得到spatial attention map S(N×N)，接着把S与D做乘积再乘以尺度系数α再reshape为原来形状，最后与A相加得到最后的输出E。其中α初始化为0，并逐渐的学习分配到更大的权重。可以看出E的每个位置的值是原始特征每个位置的加权求和得到的;
   
3. 在Channel Attention Module中，分别对A做reshape和reshape与transpose，将得到的两个特征图相乘再通过softmax得到channel attention map X(C×C),接着把X与A做乘积再乘以尺度系数β再reshape为原来形状，最后与A相加得到最后的输出E。其中β初始化为0，并逐渐的学习分配到更大的权重。