ClipPPOLoss

class torchrl.objectives.ClipPPOLoss(*args, **kwargs)

剪切 PPO 损失。

剪切重要性加权损失的计算方法如下

loss = -min(weight * advantage, min(max(weight, 1-eps), 1+eps) * advantage)

参数：:

• actor_network (ProbabilisticTensorDictSequential) – 策略运算符。

• critic_network (ValueOperator) – 值运算符。

关键字参数：:

• clip_epsilon (标量, 可选) – 剪切 PPO 损失方程中的权重剪切阈值。默认值：0.2

• entropy_bonus (布尔值, 可选) – 如果为 True，将向损失添加熵奖励以支持探索性策略。

• samples_mc_entropy (整数, 可选) – 如果从策略运算符检索到的分布没有熵的封闭形式公式，则将使用蒙特卡罗估计。 samples_mc_entropy 将控制用于计算此估计的样本数量。默认值： 1。

• entropy_coef (标量, 可选) – 计算总损失时的熵乘数。默认值： 0.01。

• critic_coef (标量, 可选) – 计算总损失时的评价器损失乘数。默认值： 1.0。

• loss_critic_type (字符串, 可选) – 值差异的损失函数。可以是“l1”、“l2”或“smooth_l1”之一。默认值： "smooth_l1"。

• normalize_advantage (布尔值, 可选) – 如果为 True，则在使用之前将对优势进行归一化。默认值： False。

• separate_losses (布尔值, 可选) – 如果为 True，策略和评价器之间的共享参数将仅在策略损失上进行训练。默认值： False，即，梯度将传播到策略和评价器损失的共享参数。

• advantage_key (字符串, 可选) – [已弃用，请改用 set_keys(advantage_key=advantage_key)] 预期在其中写入优势的输入 tensordict 键。默认值： "advantage"。

• value_target_key (字符串, 可选) – [已弃用，请改用 set_keys(value_target_key=value_target_key)] 预期在其中写入目标状态值的输入 tensordict 键。默认值： "value_target"。

• value_key (字符串, 可选) – [已弃用，请改用 set_keys(value_key)] 预期在其中写入状态值的输入 tensordict 键。默认值： "state_value"。

• functional (布尔值, 可选) – 模块是否应该被功能化。功能化允许元 RL 等功能，但会使使用分布式模型 (DDP、FSDP 等) 变得不可能，并会带来一些成本。默认值： True。

• reduction (字符串, 可选) – 指定要应用于输出的缩减： "none" | "mean" | "sum"。 "none"：不应用任何缩减， "mean"：输出的总和将除以输出中元素的数量， "sum"：输出将求和。默认值： "mean"。

• clip_value (布尔值 或 浮点数, 可选) – 如果提供了一个 float，它将用于计算相对于输入 tensordict 值估计的值预测的剪切版本，并使用它来计算值损失。剪切的目的是限制极端值预测的影响，帮助稳定训练并防止出现大的更新。但是，如果当前版本的价值估计器对价值进行了估计，它将不会有任何影响。如果提供 True，则 clip_epsilon 参数将用作剪切阈值。如果没有提供或为 False，则不会执行剪切。默认值： False。

注意

如果 actor 和价值函数共享参数，可以通过仅将值网络的头部传递给 PPO 损失模块来避免多次调用公共模块

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorCriticOperator(common, actor_head, value_head)
>>> loss_module = PPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = PPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

无论 separate_losses 是否被激活，这都会起作用。

forward(tensordict: TensorDictBase) → TensorDictBase

它被设计为读取输入 TensorDict 并返回另一个 tensordict，其中损失键名为“loss*”。

将损失分成其组成部分，然后可以由训练器在整个训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数：:

tensordict – 一个输入 tensordict，其中包含计算损失所需的价值。

返回值：:

一个新的 tensordict，没有批次维度，其中包含各种损失标量，这些标量将被命名为“loss*”。至关重要的是，损失必须使用此名称返回，因为它们将在反向传播之前由训练器读取。