GlobalAveragePooling1D

GlobalAveragePooling1D与GlobalMaxPooling1D类似,通常输入有两种shpe

  • (batch_size, steps, features)
  • (batch_size, features, steps)

steps是指句子的每个单词,features对应每个单词的维度,与图像处理中的channels相对应,所以源代码将第一种shape理解为channels_last,第二种shpe理解为channels_first
既然是全局池化,两种shpe输出的shape相同(batch_size, features)

之前一直对nlp中的通道不太理解,单词的维度即为通道。以池化为例,池化的操作对象不太可能为单词的表达维度,如果是对单词的表达维度池化,那么输出的维度只有句子长度maxlen,这个长度显然不足以表达我们提取的特征,而单词的表达维度通常高于句子长度,提取的特征也就更多,当然这里只是便于我们理解。

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐