请选择 进入手机版 | 继续访问电脑版
查看: 177|回复: 3

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

  [复制链接]

106

主题

198

帖子

750

积分

版主

Rank: 7Rank: 7Rank: 7

积分
750
若羽AI 发表于 2019-11-1 17:18:21 | 显示全部楼层 |阅读模式
谷歌论文:
https://arxiv.org/pdf/1905.11946.pdf
壕无人性
回复

使用道具 举报

106

主题

198

帖子

750

积分

版主

Rank: 7Rank: 7Rank: 7

积分
750
若羽AI 发表于 2019-11-1 17:19:35 | 显示全部楼层
讨论的核心,就是深度卷积神经网络的深度、宽度、分辨率,分别设到什么程度,可以帮助网络更好地拟合非线性特性,提取图像语义特征并用合理的计算资源完成模式识别工作。

In this paper, we want to study and rethink the process of scaling up ConvNets. In particular, we investigate the central question: is there a principled method to scale up ConvNets that can achieve better accuracy and efficiency? Our empirical study shows that it is critical to balance all dimensions of network width/depth/resolution, and surprisingly such balance can be achieved by simply scaling each of them with constant ratio. Based on this observation, we propose a simple yet effective compound scaling method. Unlike conventional practice that arbitrary scales these factors, our method uniformly scales network width, depth, and resolution with a set of fixed scaling coefficients. For example, if we want to use 2 N times more computational resources, then we can simply increase the network depth by α^N , width by β^N , and image size by γ^N , where α, β, γ are constant coefficients determined by a small grid search on the original small model. Figure 2 illustrates the difference between our scaling method and conventional methods.

做了个对照组实验,不同深度、宽度、分辨率,网络的FLOPS(元素级加法、乘法操作数量)与ImageNet数据集Top-1准确集的变化情况。


基线实验的设置方法:


然后,就是壕无人性的工程实验记录结果了。


对应的方法,其实就是图像分类中屡见不鲜的“迁移学习”方法,用大数据集上蒸馏过的预训练模型帮助垂直的小数据集进行训练。虽然何凯明一度质疑这方法有效性,但经过ImageNet数据集大风大浪的模型有较好的提取特征的功能,对普通人还是有效的。

讨论中也特别关注先预训练ImageNet方法,然后再在小数据集(比如“Stanford Cars”)进行效果的有效性。

论文作者的初衷是找到一种灵活变化神经单元深度、宽度与分辨率的模型,同时不降低准确率,它用了,而且确实管用。

顺便安利下我做EfficientNet模型转
回复 支持 反对

使用道具 举报

106

主题

198

帖子

750

积分

版主

Rank: 7Rank: 7Rank: 7

积分
750
若羽AI 发表于 2019-11-1 17:21:07 | 显示全部楼层
代码(Keras):https://github.com/qubvel/efficientnet
回复 支持 反对

使用道具 举报

106

主题

198

帖子

750

积分

版主

Rank: 7Rank: 7Rank: 7

积分
750
若羽AI 发表于 2019-11-1 17:21:53 | 显示全部楼层
我写的转成tf-lite的demo:
https://zhuanlan.zhihu.com/p/89599048
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表主题
    750
    积分
    198
    帖子
    106
    主题
快速回复 返回顶部 返回列表