BatchRenorm1d

类 torchrl.modules.BatchRenorm1d(num_features: int, *, momentum: float = 0.01, eps: float = 1e-05, max_r: float = 3.0, max_d: float = 5.0, warmup_steps: int = 10000, smooth: bool = False)

BatchRenorm 模块 (https://arxiv.org/abs/1702.03275)。

代码改编自 https://github.com/google-research/corenet

BatchRenorm 是标准 BatchNorm 的增强版本。与 BatchNorm 不同，它在初始热身阶段后利用运行统计数据对批次进行归一化。这种方法减少了在长期训练期间可能出现的“离群”批次的影响，使 BatchRenorm 在长期训练中更加鲁棒。

在热身阶段，BatchRenorm 的功能与 BatchNorm 层完全相同。

参数:

num_features (int) – 输入张量的特征数量。

关键字参数:

• momentum (float, optional) – 计算运行均值和方差的动量因子。默认为 0.01。

• eps (float, optional) – 添加到方差中的小值，以避免除零。默认为 1e-5。

• max_r (float, optional) – 缩放因子 r 的最大值。默认为 3.0。

• max_d (float, optional) – 偏差因子 d 的最大值。默认为 5.0。

• warmup_steps (int, optional) – 运行均值和方差的热身步数。默认为 10000。

• smooth (bool, optional) – 如果 True，则行为将从常规 batch-norm（当 iter=0 时）平滑过渡到 batch-renorm（当 iter=warmup_steps 时）。否则，当 iter=warmup_steps 时，行为将从 batch-norm 切换到 batch-renorm。默认为 False。

forward(x: Tensor) → Tensor

定义每次调用时执行的计算。

应由所有子类覆盖。

注意

尽管前向传播（forward pass）的实现需要在本函数中定义，但之后应调用 Module 实例而不是直接调用此函数，因为前者会处理已注册的钩子（hooks），而后者则会默默忽略它们。