CNN中应⽤dropout需要了解的所有最新知识Dropout
正则化的直观理解在神经⽹络（深度学习）训练过程中，为了降低模型的过拟合程度，我们会按照⼀定的概率，随机将某些神经元暂时从⽹络中丢弃。
这是⼯程上常⽤的⼀种做法，理解起来也很简单。根据AndrewNG的最新课程《深度学习》，笔者⼜对其有了更多认识。
关于Dropout需要知道的
Dropout只发⽣在模型的训练阶段，预测、测试阶段则不⽤Dropout
直观认识：Dropout随机删除神经元后，⽹络变得更⼩，训练阶段也会提速
事实证明，dropout已经被正式地作为⼀种正则化的替代形式
有了dropout，⽹络不会为任何⼀个特征加上很⾼的权重（因为那个特征的输⼊神经元有可能被随机删除），最终dropout产⽣了收缩权重平⽅范数的效果
Dropout的功能类似于L2正则化，但Dropout更适⽤于不同的输⼊范围
如果你担⼼某些层⽐其它层更容易过拟合，可以把这些层的keep-prob值设置的⽐其它层更低
Dropout主要⽤在计算机视觉领域，因为这个领域我们通常没有⾜够的数据，容易过拟合。但在其它领域⽤的⽐较少
Dropout的⼀⼤缺点就是代价函数不再被明确定义，所以在训练过程中，代价函数的值并不是单调递减的
总结
Dropout是正则化的⼀种，它有助于防⽌过拟合
使⽤时，先关闭Dropout，设置keep-prob为1，使代价函数的值单调递减，然后再打开Dropout

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。