算法面经手撕系列(2)--手撕BatchNormlization

BatchNormlization

  BatchNormlization的编码流程：

1. init阶段初始化$C_{i}n$大小的scale向量和shift向量，同时初始化相同大小的滑动均值向量和滑动标准差向量；
2. forward时沿着非channel维度计算均值、有偏方差
3. 依据得到均值和有偏方差进行归一化
4. 对归一化的结果进行缩放和平移

代码

 代码如下：

class BN(nn.Module):
    def __init__(self,C_in):
        super(BN,self).__init__()

        self.scale=nn