批量转lpr可撤销（批规范化）

当前大家对于批规范化都是颇为感兴趣的，大家都想要了解一下批规范化，那么小美也是在网络上收集了一些关于批规范化的一些信息来分享给大家，希望能够帮到大家哦。

1、批规范化是指在每次随机梯度下降时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0。

2、方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入，从而保证整个网络的capacity。

本文到此结束，希望对大家有所帮助。