RMSNorm

class torchtune.modules.RMSNorm(dim: int, eps: float = 1e-06)

fp32 中的均方根归一化。

参见：https://pytorch.ac.cn/docs/stable/generated/torch.nn.RMSNorm.html

参数:

• dim (int) – 嵌入大小

• eps (float) – 避免除以零的小值。默认值：1e-6

forward(x: Tensor) → Tensor

参数:

x (torch.Tensor) – 要归一化的输入张量

返回值:

归一化和缩放后的张量，其形状与 x 相同。

返回类型:

torch.Tensor