返回Glossary

批量归一化

MLArchitecture

一种技术,将层输入在小批次上归一化为零均值和单位方差,然后应用学习的仿射变换。批量归一化稳定训练,使更高的学习率成为可能,并充当正则化器。它在卷积神经网络中是标准的,但在Transformer中不太常见,后者通常使用层归一化。

Related terms