详解神经网络基础部件BN层

来源 | OSCHINA 社区

作者 | 华为云开发者联盟——嵌入式视觉

原文链接：https://my.oschina.net/u/4526289/blog/8108513

一，数学基础

1.1，概率密度函数

1.2，正态分布

import seaborn as sns
x1 = np.random.normal(0, 1, 100)
x2 = np.random.normal(0, 1.5, 100) 
x3 = np.random.normal(2, 1.5, 100) 
plt.figure(dpi = 200)
sns.kdeplot(x1, label="μ=0, σ=1")
sns.kdeplot(x2, label="μ=0, σ=1.5")
sns.kdeplot(x3, label="μ=2, σ=2.5")
#显示图例
plt.legend()
#添加标题
plt.title("Normal distribution")
plt.show()

import numpy as np
import matplotlib.pyplot as plt
plt.figure(dpi = 200)
plt.style.use('seaborn-darkgrid') # 主题设置
def nd_func(x, sigma, mu):
 """自定义实现正太分布的概率密度函数
 """
    a = - (x-mu)**2 / (2*sigma*sigma)
    f = np.exp(a) / (sigma * np.sqrt(2*np.pi))
 return f
if __name__ == '__main__':
    x = np.linspace(-5, 5)
    f = nd_fun(x, 1, 0)
    p1, = plt.plot(x, f)
    f = nd_fun(x, 1.5, 0)
    p2, = plt.plot(x, f)
    f = nd_fun(x, 1.5, 2)
    p3, = plt.plot(x, f)
 plt.legend([p1 ,p2, p3], ["μ=0,σ=1", "μ=0,σ=1.5", "μ=2,σ=1.5"])
 plt.show()

二，背景

2.1，如何理解 Internal Covariate Shift

2.2，Internal Covariate Shift 带来的问题

1. 网络层需要不断适应新的分布，导致网络学习速度的降低。
2. 网络层输入数据容易陷入到非线性的饱和状态并减慢网络收敛，这个影响随着网络深度的增加而放大。

2.3，减少 Internal Covariate Shift 的一些尝试

1. 白化（Whitening）: 即输入线性变换为具有零均值和单位方差，并去相关。
   白化过程由于改变了网络每一层的分布，因而改变了网络层中本身数据的表达能力。底层网络学习到的参数信息会被白化操作丢失掉，而且白化计算成本也高。
2. 标准化（normalization）

三，批量归一化（BN）

3.1，BN 的前向计算

3.2，BN 层如何工作

3.3，训练和推理式的 BN 层

3.4，实验

3.5，BN 层的优点

1. BN 使得网络中每层输入数据的分布相对稳定，加速模型训练和收敛速度。
2. 批标准化可以提高学习率。在传统的深度网络中，学习率过高可能会导致梯度爆炸或梯度消失，以及陷入差的局部最小值。批标准化有助于解决这些问题。通过标准化整个网络的激活值，它可以防止层参数的微小变化随着数据在深度网络中的传播而放大。例如，这使 sigmoid 非线性更容易保持在它们的非饱和状态，这对训练深度 sigmoid 网络至关重要，但在传统上很难实现。
3. BN 允许网络使用饱和非线性激活函数（如 sigmoid，tanh 等）进行训练，其能缓解梯度消失问题。
4. 不需要 dropout 和 LRN（Local Response Normalization）层来实现正则化。批标准化提供了类似丢弃的正则化收益，因为通过实验可以观察到训练样本的激活受到同一小批量样例随机选择的影响。
5. 减少对参数初始化方法的依赖。

参考资料

1. 维基百科 - 正态分布
2. Batch Norm Explained Visually — How it works, and why neural networks need it
3. 15.5 批量归一化的原理
4. Batch Normalization 原理与实战

这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦