Fp32LayerNorm

class torchtune.modules.Fp32LayerNorm(*args: Any, **kwargs: Any)

围绕 LayerNorm 的包装器，以支持混合精度训练。

forward(x: Tensor) → Tensor

参数:

x (torch.Tensor) – 输入张量。

返回值:

规范化输出张量，其形状与 x 相同。

返回类型:

torch.Tensor