论文地址:https://arxiv.org/abs/1602.07360
模型地址:https://github.com/DeepScale/SqueezeNet

1. 论文思想

提出一种新的卷积组合方式替代原来的3*3的卷积。类似于bottleneck layer减少参数数目。但是不太像MobileNet是提出了一种新的卷积计算方式来减少参数,加速计算。

2. 网络结构设计策略

  1. 用3*3的替代1*1的filter。 (NiN, GoogLeNet)
  2. 减少3*3的输入channel数目。 (bottleneck layer)
  3. 延迟下采样(so that convolution layers have large activation maps. (He & Sun)

3. 组合方式

819060-20171112144442466-1841114033.png

  1. squeeze中的1*1的卷积为了减少输入到3*3中的channel数目

  2. expand中的1*1和3*3的卷积,也算是一种效果的综合吧。(不能全是3*3的,不然论文就没有什么创新了。不能全是1*1的卷积,估计会影响效果。)

4. 网络结构

819060-20171112144522497-1637335139.png

  1. SqueezeNet
  2. SqueezeNet with simple bypass(类似于ResNet,因为要做加操作,要求两个输入的channel num一样,所以只能在某些层加bypass)
  3. SqueezeNet with complex bypass(添加1*1的卷积,打破上面那个限制)

819060-20171112144839419-1126569168.png

  1. compression info 应用的是Deep compression里面的稀疏性和量化的方法。

5. 组合方式探索

  1. 探索了几个超参数不同组合方式对网络大小以及准确率的影响。

  2. 结果

819060-20171112145009341-12346432.png

6. 总结

  1. 在AlexNet上实现了50x的缩减,模型大小小于0.5MB。
  2. 探索较深网络的时候,可以尝试这种方法。
  3. 又是一篇在1*1的卷积上做工作的文章。(MobileNet, ShuffleNet)

转载于:https://www.cnblogs.com/zhonghuasong/p/7821639.html

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐