论文笔记 《Convolutional Neural Networks at Constrained Time Cost》

论文出处，http://arxiv.org/pdf/1412.1710v1
Kaiming He在CVPR15的工作。拜大神，一下子中了5篇。

文章比较偏工程，讨论的是，如果限定了时间的总开销，那么depth，kernel size, layer width等因素那个是最重要的呢？最后作者的总结是depth最重要，kernel size和layer width不一定。

本文是没有什么理论的，但设计实验比较有意思，做对照实验可以参考。

于是文章总结起来只看Section 4的小标题和对应的结论即可：

• 4.1. Trade-offs between Depth and Filter Sizes 答案是Depth重要
• 4.2. Trade-offs between Depth and Width 答案是Depth重要
• 4.3. Trade-offs between Width and Filter Sizes 答案是不知道哪个重要
• 4.4. Is Deeper Always Better? 答案是，不是，deep到一定程度有反效果
• 4.5. Adding a Pooling Layer 通过pooling来增加layer width，效果提升
• 4.6. Delayed Subsampling of Pooling Layers 结论是Pooling不做down sample效果会好