我知道He等人提出的残差映射。但是最近我在EfficientNetB0架构中遇到了这种映射,
残差单位将先前的映射添加到已处理的块,但是在这里它们是相乘的。有人可以解释此操作的重要性以及此映射的名称吗?您能否链接一些描述此问题的论文?
这被称为“挤压和激励”或“ SE”块(参见Hu等人的论文)。该块的目标是基于对每个通道的重要性和通道之间的依存关系的“全局”理解,对上一层通道进行加权。参见下图(摘自论文):
详细而言,剩余连接和“ SE”连接之间的区别是(同样,从纸张上的图):
特别是在您发送的grpah中,似乎它们使用1x1 pointwize卷积而不是完全连接的层,但是想法很相似。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
点击生成二维码
我来说两句