论文：https://arxiv.org/pdf/2007.00992.pdf
代码：https://github.com/clovaai/rexnet
ref
https://mp.weixin.qq.com/s/wn6n8tEeDA7z6tFSaoaf5g

作者认为：传统的网络架构设计范式会产生表达瓶颈问题，进而影响模型的性能。为研究表达瓶颈问题，作者研究了上万随机网络生成的特征的matric rank，同时进一步研究了网络的层通道配置方案。基于前述研究发现，作者提出了一组简单而有效的设计原则消除表达瓶颈问题。在基准网络上采用上述设计原则进行轻微调整即可取得ImageNet上的性能显著提升；

作者所提出的一组设计原则如下：

最后，结合一系列的分析得出了该文的网路架构设计新范式：(1) 选择合适的激活函数，比如Swish-1；(2)网络的通道层采用递增方式设计；(3)网络需要具有更多的扩展层(该文设置了16个，而非已有网络中的4个)。

首先，给出几个术语：(1) 如果某个层的输出通道数大于输入通道数，那么将其称之为扩张层；(2) 如果某个层的输出通道数小于输入通道数，那么将其称之为收缩层.

作者将结合上述设计原则而设计的网路架构称之为ReXNet(Rank eXpandsion Networks)。结合上述设计原则，MobileNetV2的改进架构信息见下表，此时称之为ReXNet。

MobileNetV1的改进架构信息见下表，该网络称之为ReXNet-plain。