KLPENPPOLoss

class torchrl.objectives.KLPENPPOLoss(*args, **kwargs)

KL 惩罚 PPO 损失。

KL 惩罚损失的公式如下：

loss = loss - beta * KL(old_policy, new_policy)

“beta”参数会动态调整，以匹配新旧策略之间的目标 KL 散度，从而在策略之间保持一定程度的距离，同时防止它们相距过远。

参数：:

• actor_network (ProbabilisticTensorDictSequential) – 策略操作符。

• critic_network (ValueOperator) – 值操作符。

关键字参数：:

• dtarg (标量, 可选) – 目标 KL 散度。默认为 0.01。

• samples_mc_kl (int, 可选) – 如果无法找到解析公式，用于计算 KL 散度的样本数量。默认为 1。

• beta (标量, 可选) – 初始 KL 散度乘数。默认为 1.0。

• decrement (标量, 可选) – 如果 KL < dtarg，beta 应该减小多少。有效范围：decrement <= 1.0 默认为 0.5。

• increment (标量, 可选) – 如果 KL > dtarg，beta 应该增加多少。有效范围：increment >= 1.0 默认为 2.0。

• entropy_bonus (bool, 可选) – 如果 True，将向损失中添加熵奖励，以鼓励探索性策略。默认为 True。

• samples_mc_entropy (int, 可选) – 如果从策略操作符中获得的分布没有熵的闭合形式公式，将使用蒙特卡洛估计。samples_mc_entropy 将控制用于计算此估计值的样本数量。默认为 1。

• entropy_coef (标量, 可选) – 计算总损失时的熵乘数。默认为 0.01。

• critic_coef (标量, 可选) – 计算总损失时的评论家损失乘数。默认为 1.0。

• loss_critic_type (str, 可选) – 用于价值差异的损失函数。可以是“l1”、“l2”或“smooth_l1”之一。默认为 "smooth_l1"。

• normalize_advantage (bool, 可选) – 如果 True，在使用优势值之前会对其进行归一化。默认为 False。

• normalize_advantage_exclude_dims (Tuple[int], 可选) – 从优势值标准化中排除的维度。负数维度有效。这在多智能体（或多目标）设置中很有用，其中智能体（或目标）维度可以从约简中排除。默认为 ()。

• separate_losses (bool, 可选) – 如果 True，策略和评论家之间的共享参数将仅通过策略损失进行训练。默认为 False，即梯度会传播到策略和评论家损失的共享参数。

• advantage_key (str, 可选) – [已弃用，请改用 set_keys(advantage_key=advantage_key)] 期望写入优势值的输入 tensordict 键。默认为 "advantage"。

• value_target_key (str, 可选) – [已弃用，请改用 set_keys(value_target_key=value_target_key)] 期望写入目标状态值的输入 tensordict 键。默认为 "value_target"。

• value_key (str, 可选) – [已弃用，请改用 set_keys(value_key) 代替] 期望写入状态值的输入 tensordict 键。默认为 "state_value"。

• functional (bool, 可选) – 模块是否应该功能化。功能化允许像 meta-RL 这样的特性，但使得无法使用分布式模型（DDP、FSDP 等），并带来一些额外开销。默认为 True。

• reduction (str, 可选) – 指定应用于输出的约简方式："none" | "mean" | "sum"。“none”：不应用约简；“mean”：输出总和除以输出元素数量；“sum”：对输出求和。默认为 "mean"。

• clip_value (float, 可选) – 如果提供，将根据输入的 tensordict 值估计计算价值预测的截断版本，并用其计算价值损失。截断的目的是限制极端价值预测的影响，帮助稳定训练并防止大幅更新。但是，如果价值估计是由当前版本的价值估计器完成的，则此参数无效。默认为 None。

注意

如果 actor 和价值函数共享参数，可以通过仅将价值网络的头部传递给 PPO 损失模块来避免多次调用公共模块

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = KLPENPPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = KLPENPPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

无论 separate_losses 是否激活，这都将奏效。

forward(tensordict: TensorDictBase = None) → TensorDict

它旨在读取一个输入的 TensorDict 并返回另一个带有命名为“loss*”的损失键的 tensordict。

将损失拆分成其组成部分后，训练器可以使用它们在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也会被记录。

参数：:

tensordict – 一个包含计算损失所需值的输入 tensordict。

返回：:

一个新的没有批处理维度的 tensordict，包含各种将被命名为“loss*”的损失标量。这些损失必须以此名称返回，因为它们将在反向传播之前被训练器读取，这一点至关重要。