6. 为什么要用Batch Normalization（BN）？批归一化（BN）算法的优点：

• 减少了人为选择参数。在某些情况下可以取消 dropout 和 L2 正则项参数,或者采取更小的 L2 正则项约束参数；
  

• 减少了对学习率的要求。现在我们可以使用初始很大的学习率或者选择了较小的学习率，算法也能够快速训练收敛；
  

• 可以不再使用局部响应归一化。BN 本身就是归一化网络(局部响应归一化在 AlexNet 网络中存在)
  

• 破坏原来的数据分布，一定程度上缓解过拟合（防止每批训练中某一个样本经常被挑选到，文献说这个可以提高 1% 的精度）。
  

• 减少梯度消失，加快收敛速度，提高训练精度。
  

7. 为什么需要非线性激活函数？

• 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。
  

• 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。
  

• 使用非线性激活函数 ，以便使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据，以及表示输入输出之间非线性的复杂的任意函数映射。使用非线性激活函数，能够从输入输出之间生成非线性映射。
  

8. 如何选择激活函数？

选择一个适合的激活函数并不容易，需要考虑很多因素，通常的做法是，如果不确定哪一个激活函数效果更好，可以把它们都试试，然后在验证集或者测试集上进行评价。然后看哪一种表现的更好，就去使用它。

以下是常见的选择情况：

① 如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。
② 如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu的一个优点是：当是负值的时候，导数等于 0。
③ sigmoid 激活函数：除了输出层是一个二分类问题基本不会用它。
④ tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
⑤ ReLu 激活函数：最常用的默认函数，如果不确定用哪个激活函数，就使用 ReLu 或者 Leaky ReLu（GANs），再去尝试其他的激活函数。如果遇到了一些死的神经元，我们可以使用 Leaky ReLU 函数。

9. 池化层的作用和设置？

池化操作通常也叫做子采样或降采样，在构建卷积神经网络时，往往会用在卷积层之后，通过池化来降低卷积层输出的特征维度，有效减少网络参数的同时还可以防止过拟合现象。

池化操作可以降低图像维度的原因，本质上是因为图像具有一种“静态性”的属性，这个意思是说在一个图像区域有用的特征极有可能在另一个区域同样有用。因此，为了描述一个大的图像，很直观的想法就是对不同位置的特征进行聚合统计。例如，可以计算图像在固定区域上特征的平均值 (或最大值)来代表这个区域的特征。

注意：但是池化层也不是越多越好，根据其原理可以发现，池化层增多在某种意义上会导致原始图像信息的损失，就像平均和最大并不完全能代表整体。

10. 全连接层的作用？

大多数神经网络中高层网络通常会采用全连接层(Full Connected Layer)，通过多对多的连接方式对特征进行全局汇总，可以有效地提取全局信息。但是全连接的方式需要大量的参数，是神经网络中最占资源的部分之一，因此可能最需要使用局部连接(Local Connected Layer)，仅在局部区域范围内产生神经元连接，能够有效地减少参数量。


版权声明：本文为CSDN博主「不会写作文的李华」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_40195360/article/details/90233251