新东西和新课题，我一般是从review或者survey开始，CNN的发展史,其中有张表做了AlexNet,VGG,GoogLeNet,ResNet在ILSVRC上的战绩对比。带着一堆问题，看到这篇文章An intuitive Explanation of Convolutional Neural Networks,从一个简单的ConvNet开始谈，极大的帮助自己整理了概念，回头看CNN的发展史中的内容，会有新的理解。偶然间看到这篇文章深度神经网络结构以及Pre-training的理解，我只看了Pre-training的部分，作者做了大量的调研，很合自己口味，应该不会让读到的同学失望。

读文献中，会自然引起自己兴趣的话题：

Batch Normalizaton,关于BN,这篇博客画了一张图来讲解motivation(保持分布的同时，要保持模型的表达能力)

DropOut作为一种防止过拟合的策略，将输出随机置0，不同的人有不同的认识。与之类似还有另外一个东西DropConnect,将权重随机置0,DropConnect的计算量更大却没有显著提高性能。很多文献提到：如何选择Drop Ratio,需要调参？

AlexNet,CNN的发展史中讲到AlexNet，实际论文中还有很多trick。

零基础入门深度学习

这是一个系列共7篇文章，从感知器到BP传播算法到CNN，R(ecurrent)NN,LSTM,R(ecursive)NN,讲解简明扼要，但是存在部分小错误。

谈谈深度学习中的Batch_Size,文中讲了需要batch_size的原因,batch_size大小对精度和速度的权衡,同时给出了一个例子LeNet在MNIST上测试结果，很有说服力。同时该作者在知乎相同问题下的回答也是最高票。

inception模型给出了一张CNN的结构演化图，同时给出了“网络变大”的三个缺点。