ClipPPOLoss

class torchrl.objectives.ClipPPOLoss(*args, **kwargs)

裁剪 PPO 损失。

裁剪重要性加权损失按如下方式计算

loss = -min( weight * advantage, min(max(weight, 1-eps), 1+eps) * advantage)

参数：

• actor_network (ProbabilisticTensorDictSequential) – 策略算子。

• critic_network (ValueOperator) – 值函数算子。

关键字参数：

• clip_epsilon (scalar, optional) – 裁剪 PPO 损失方程中的权重裁剪阈值。默认值：0.2

• entropy_bonus (bool, optional) – 如果为 True，则会在损失中添加熵奖励，以鼓励探索性策略。

• samples_mc_entropy (int, optional) – 如果从策略算子检索到的分布没有熵的封闭形式公式，则将使用蒙特卡罗估计。samples_mc_entropy 将控制用于计算此估计的样本数量。默认值为 1。

• entropy_coef (scalar, optional) – 计算总损失时的熵乘数。默认值为 0.01。

• critic_coef (scalar, optional) – 计算总损失时的评论家（价值函数）损失乘数。默认值为 1.0。将 critic_coef 设置为 None 以将值损失从前向传播输出中排除。

• loss_critic_type (str, optional) – 值差异的损失函数。可以是“l1”、“l2”或“smooth_l1”之一。默认值为 "smooth_l1"。

• normalize_advantage (bool, optional) – 如果为 True，则在使用优势值之前将其标准化。默认值为 False。

• normalize_advantage_exclude_dims (Tuple[int], optional) – 从优势值标准化中排除的维度。负维度有效。这在多智能体（或多目标）设置中非常有用，其中智能体（或目标）维度可能从缩减中排除。默认值：()。

• separate_losses (bool, optional) – 如果为 True，则策略和评论家（价值函数）之间共享的参数将仅通过策略损失进行训练。默认值为 False，即梯度会传播到策略和评论家损失的共享参数。

• advantage_key (str, optional) – [已弃用，请改用 set_keys(advantage_key=advantage_key)] 输入 tensordict 中期望写入优势值的键。默认值为 "advantage"。

• value_target_key (str, optional) – [已弃用，请改用 set_keys(value_target_key=value_target_key) 代替] 输入 tensordict 中期望写入目标状态值的键。默认值为 "value_target"。

• value_key (str, optional) – [已弃用，请改用 set_keys(value_key) 代替] 输入 tensordict 中期望写入状态值的键。默认值为 "state_value"。

• functional (bool, optional) – 模块是否应该函数化。函数化允许元强化学习等功能，但会使分布式模型（DDP、FSDP 等）无法使用，并且会带来一些开销。默认值为 True。

• reduction (str, optional) – 指定应用于输出的缩减方式："none" | "mean" | "sum"。"none"：不应用缩减；"mean"：输出的总和将除以输出中的元素数量；"sum"：输出将被求和。默认值："mean"。

• clip_value (bool or float, optional) – 如果提供 float 值，它将用于计算相对于输入 tensordict 值估计的价值预测的裁剪版本，并用其计算价值损失。裁剪的目的是限制极端价值预测的影响，帮助稳定训练并防止大幅更新。然而，如果价值估计是由当前版本的价值估计器完成的，则裁剪将无效。如果提供 True，则将使用 clip_epsilon 参数作为裁剪阈值。如果未提供或为 False，则不执行裁剪。默认值为 False。

注意

如果 actor 和价值函数共享参数，可以通过仅将价值网络的头部传递给 PPO 损失模块来避免多次调用公共模块

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = ClipPPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = ClipPPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

无论是否激活 separate_losses，这都将有效。

forward(tensordict: TensorDictBase = None) → TensorDictBase

它被设计用来读取一个输入 TensorDict 并返回另一个 tensordict，其中包含名为“loss*”的损失键。

将损失分解到其组成部分后，训练器就可以在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也会被记录。

参数：

tensordict – 包含计算损失所需值的输入 tensordict。

返回值：

一个没有批处理维度的新 tensordict，其中包含各种名为“loss*”的损失标量。损失必须以此名称返回，因为训练器将在反向传播之前读取它们。