RMSNorm

class torchtune.modules.RMSNorm(dim: int, eps: float = 1e-06)

实现 https://arxiv.org/abs/1910.07467 中介绍的根均方归一化。

参考实现（用于正确性验证）可以在此处找到：https://github.com/facebookresearch/llama/blob/main/llama/model.py

参数：

• dim (int) – 嵌入尺寸

• eps (float) – 小值，避免除以零。默认值：1e-6

forward(x: Tensor) → Tensor

参数：

x (torch.Tensor) – 要归一化的输入张量

返回值：

与 x 形状相同的归一化和缩放张量。

返回类型：

torch.Tensor