出处：http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
也来关注下CNN tricks
概述
主要核心内容就是上图了。
数据预处理的tricks
耳熟能详的tricks
- 4.2 随机打乱训练样本
- 4.3 中心化样本，即减去均值
- 4.3 正则化样本的标准差的为1
对照Caffe的AlexNet实现，4.2旧版本的leveldb不支持，但现在新版本的caffe应该是支持了，4.3的减去均值是有做的，正则化样本的标准差为1没有做。
网络设置的tricks
- 4.6 权重初始化
- 4.7 学习率的选择
对照Caffe的AlexNet实现，权重的标准差和学习率均是0.01的量级。
不是太对的上，不过上面的计算是以sigmoid为激活函数时候作为参考的。
总结
提到一些技巧，略有指导意义吧，具体怎么调还是靠自己，囧。
