AdditiveGaussianModule

class torchrl.modules.tensordict_module.AdditiveGaussianModule(*args, **kwargs)

加性高斯 PO 模块。

参数：

• spec (TensorSpec) – 用于采样动作的规范。采样的动作将在探索后投影到有效的动作空间。

• sigma_init (标量, 可选) – 初始 epsilon 值。默认值：1.0

• sigma_end (标量, 可选) – 最终 epsilon 值。默认值：0.1

• annealing_num_steps (整数, 可选) – sigma 达到 sigma_end 值所需步数。默认值：1000

• mean (浮点数, 可选) – 每个输出元素正态分布的均值。默认值：0.0

• std (浮点数, 可选) – 每个输出元素正态分布的标准差。默认值：1.0

关键字参数：

action_key (嵌套键, 可选) – 如果策略模块有多个输出键，则其输出规范将为 CompositeSpec 类型。需要知道在哪里找到动作规范。默认值：“action”

注意

在训练循环中包含对 step() 的调用以更新探索因子至关重要。由于很难捕获此遗漏，因此如果省略此操作，将不会发出警告或引发异常！

forward(tensordict: TensorDictBase) → TensorDictBase

定义每次调用时执行的计算。

应由所有子类覆盖。

注意

尽管正向传递的步骤需要在此函数中定义，但应该随后调用 Module 实例，而不是此函数，因为前者会处理运行注册的钩子，而后者会静默地忽略它们。

step(frames: int = 1) → None

sigma 衰减的一步。

在对该方法调用 self.annealing_num_steps 次后，后续调用将变为无操作。

参数：

frames (整数) – 自上次步骤以来的帧数。默认为 1。