PyTorch InstanceNorm,BatchNorm, LayerNorm区别
对于形状为[N, C, H, W]的输入数据，不同归一化层计算的均值和方差形状如下
| 归一化类型 | 均值/方差形状 | reduce维度 | 推理实时计算var/mean |
|---|---|---|---|
| BatchNorm | [C] | N, H, W | No |
| InstanceNorm | [N, C] | H, W | Yes |
| LayerNorm | [N] | C, H, W | Yes |
对于形状为[N, C, H, W]的输入数据，不同归一化层计算的均值和方差形状如下
| 归一化类型 | 均值/方差形状 | reduce维度 | 推理实时计算var/mean |
|---|---|---|---|
| BatchNorm | [C] | N, H, W | No |
| InstanceNorm | [N, C] | H, W | Yes |
| LayerNorm | [N] | C, H, W | Yes |