快捷方式

KLPENPPOLoss

class torchrl.objectives.KLPENPPOLoss(*args, **kwargs)[源代码]

KL 惩罚 PPO 损失。

KL 惩罚损失具有以下公式

loss = loss - beta * KL(旧策略, 新策略)

“beta” 参数是动态调整的,以匹配新策略和旧策略之间的目标 KL 散度,从而在防止两者相差太远的同时,倾向于两者之间保持一定的距离。

参数:
  • actor_network (ProbabilisticTensorDictSequential) – 策略运算符。

  • critic_network (ValueOperator) – 价值运算符。

关键字参数:
  • dtarg (标量, 可选) – 目标 KL 散度。默认为 0.01

  • samples_mc_kl (int, 可选) – 如果找不到解析公式,则用于计算 KL 散度的样本数。默认为 1

  • beta (标量, 可选) – 初始 KL 散度乘数。默认为 1.0

  • decrement (标量, 可选) – 如果 KL < dtarg,beta 应该减少多少。有效范围:decrement <= 1.0 默认值:0.5

  • increment (标量, 可选) – 如果 KL > dtarg,beta 应该增加多少。有效范围:increment >= 1.0 默认值:2.0

  • entropy_bonus (bool, 可选) – 如果 True,则会在损失中添加熵奖励,以鼓励探索性策略。默认为 True

  • samples_mc_entropy (int, 可选) – 如果从策略运算符检索到的分布没有熵的闭式公式,则将使用蒙特卡罗估计。samples_mc_entropy 将控制用于计算此估计的样本数。默认为 1

  • entropy_coef (标量, 可选) – 计算总损失时的熵乘数。默认为 0.01

  • critic_coef (标量, 可选) – 计算总损失时的评论家损失乘数。默认为 1.0

  • loss_critic_type (str, 可选) – 价值差异的损失函数。可以是 “l1”、“l2” 或 “smooth_l1” 之一。默认为 "smooth_l1"

  • normalize_advantage (bool, 可选) – 如果 True,则在使用前将对优势进行归一化。默认为 False

  • separate_losses (bool, 可选) – 如果 True,则策略和评论家之间的共享参数将仅在策略损失上进行训练。默认为 False,即,梯度会传播到策略和评论家损失的共享参数。

  • advantage_key (str, 可选) – [已弃用,请改用 set_keys(advantage_key=advantage_key)] 输入 tensordict 键,期望在其中写入优势。默认为 "advantage"

  • value_target_key (str, 可选) – [已弃用,请改用 set_keys(value_target_key=value_target_key)] 输入 tensordict 键,期望在其中写入目标状态值。默认为 "value_target"

  • value_key (str, 可选) – [已弃用,请改用 set_keys(value_key)] 输入 tensordict 键,期望在其中写入状态值。默认为 "state_value"

  • functional (bool, 可选) – 模块是否应被函数化。函数化允许元学习等功能,但使得无法使用分布式模型(DDP、FSDP 等),并且会带来少量成本。默认为 True

  • reduction (str, 可选) – 指定应用于输出的归约方式:"none" | "mean" | "sum""none":不应用归约,"mean":输出的总和将除以输出中的元素数量,"sum":输出将被求和。默认值:"mean"

  • clip_value (float, 可选) – 如果提供,它将用于计算相对于输入 tensordict 值估计的裁剪版本的值预测,并使用它来计算价值损失。裁剪的目的是限制极端值预测的影响,帮助稳定训练并防止大的更新。但是,如果价值估计是由当前版本的价值估计器完成的,则它将不起作用。默认为 None

注意

如果 actor 和价值函数共享参数,则可以通过仅将价值网络的头部传递给 PPO 损失模块来避免多次调用公共模块

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = KLPENPPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = KLPENPPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

无论 separate_losses 是否激活,这都将起作用。

forward(tensordict: TensorDictBase = None) TensorDict[源代码]

它旨在读取输入 TensorDict 并返回另一个 tensordict,其中损失键命名为 “loss*”。

将损失分解为其组成部分,然后可以由训练器使用,以记录整个训练过程中的各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 具有计算损失所需值的输入 tensordict。

返回:

一个新的 tensordict,没有批量维度,包含各种损失标量,这些标量将被命名为 “loss*”。损失以这个名称返回至关重要,因为它们将在反向传播之前被训练器读取。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源