KLPENPPOLoss¶
- class torchrl.objectives.KLPENPPOLoss(*args, **kwargs)[源代码]¶
KL 惩罚 PPO 损失。
- KL 惩罚损失具有以下公式
loss = loss - beta * KL(old_policy, new_policy)
“beta” 参数会动态调整，以匹配新策略和旧策略之间的目标 KL 散度，从而有利于两者之间的某种程度的距离，同时仍然防止它们相距太远。
- 参数：
actor_network (ProbabilisticTensorDictSequential) – 策略运算符。
critic_network (ValueOperator) – 值运算符。
- 关键字参数：
dtarg (标量, 可选) – 目标 KL 散度。默认为
0.01。samples_mc_kl (整数, 可选) – 如果找不到解析公式，则用于计算 KL 散度的样本数量。默认为
1。beta (标量, 可选) – 初始 KL 散度乘数。默认为
1.0。decrement (标量, 可选) – 如果 KL < dtarg，beta 应减少多少。有效范围：decrement <= 1.0 默认为
0.5。increment (标量, 可选) – 如果 KL > dtarg，beta 应增加多少。有效范围：increment >= 1.0 默认为
2.0。entropy_bonus (布尔值, 可选) – 如果为
True，将向损失添加一个熵奖励，以支持探索性策略。默认为True。samples_mc_entropy (整数, 可选) – 如果从策略运算符检索到的分布没有熵的封闭形式公式，将使用蒙特卡罗估计。
samples_mc_entropy将控制用于计算此估计的样本数量。默认为1。entropy_coef (标量, 可选) – 计算总损失时的熵乘数。默认为
0.01。critic_coef (标量, 可选) – 计算总损失时的评论家损失乘数。默认为
1.0。loss_critic_type (字符串, 可选) – 用于价值差异的损失函数。可以是“l1”、“l2”或“smooth_l1”之一。默认为
"smooth_l1"。normalize_advantage (布尔值, 可选) – 如果为
True，优势将在使用之前进行规范化。默认为False。separate_losses (布尔值, 可选) – 如果为
True，策略和评论家之间的共享参数将仅在策略损失上进行训练。默认为False，即梯度将传播到策略和评论家损失的共享参数。advantage_key (字符串, 可选) – [已弃用，请改为使用 set_keys(advantage_key=advantage_key)] 预计将在其中写入优势的输入 tensordict 键。默认为
"advantage"。value_target_key (字符串, 可选) – [已弃用，请改为使用 set_keys(value_target_key=value_target_key)] 预计将在其中写入目标状态值的输入 tensordict 键。默认为
"value_target"。value_key (字符串, 可选) – [已弃用，请改为使用 set_keys(value_key)] 预计将在其中写入状态值的输入 tensordict 键。默认为
"state_value"。functional (布尔值, 可选) – 模块是否应功能化。功能化允许元 RL 等功能，但会使使用分布式模型（DDP、FSDP 等）变得不可能，并会带来一些成本。默认为
True。reduction (字符串, 可选) – 指定要应用于输出的归约：
"none"|"mean"|"sum"。"none"：不应用任何归约，"mean"：输出的总和将除以输出中的元素数量，"sum"：输出将被求和。默认："mean"。clip_value (浮点数, 可选) – 如果提供，它将用于计算价值预测相对于输入 tensordict 价值估计的裁剪版本，并使用它来计算价值损失。裁剪的目的是限制极端价值预测的影响，有助于稳定训练并防止出现大的更新。但是，如果当前版本的价值估计器已完成价值估计，则它将不会产生任何影响。默认为
None。
注意
如果演员和价值函数共享参数，可以通过仅将价值网络的头部传递给 PPO 损失模块来避免多次调用公共模块。
>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"]) >>> actor_head = SomeActor(in_keys=["hidden"]) >>> value_head = SomeValue(in_keys=["hidden"]) >>> # first option, with 2 calls on the common module >>> model = ActorCriticOperator(common, actor_head, value_head) >>> loss_module = PPOLoss(model.get_policy_operator(), model.get_value_operator()) >>> # second option, with a single call to the common module >>> loss_module = PPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)
无论是否激活 separate_losses，这都将起作用。
