PPOLoss

class torchrl.objectives.PPOLoss(*args, **kwargs)

一个父类 PPO 损失函数类。

PPO（Proximal Policy Optimization，近端策略优化）是一种无模型、在线的强化学习算法，它利用记录的（批量）轨迹执行多次优化步骤，同时积极防止更新后的策略与其原始参数配置偏离过多。

PPO 损失函数有不同的变体，取决于其约束优化实现方式：ClipPPOLoss 和 KLPENPPOLoss。与它的子类不同，这个类没有实现任何正则化，因此应该谨慎使用。

有关 PPO 的更多详情，请参阅：“Proximal Policy Optimization Algorithms”，https://arxiv.org/abs/1707.06347

参数：

• actor_network (ProbabilisticTensorDictSequential) – 策略算子。通常是一个 ProbabilisticTensorDictSequential 子类，它将观察作为输入，并输出一个动作（或多个动作）及其对数概率值。

• critic_network (ValueOperator) – 值函数算子。评论家通常将观察作为输入，并在输出键中返回一个标量值（默认为 state_value）。

关键字参数：

• entropy_bonus (bool, optional) – 如果 True，则会将熵奖励添加到损失函数中，以鼓励探索性策略。

• samples_mc_entropy (int, optional) – 如果从策略算子获得的分布没有熵的闭式公式，则将使用蒙特卡洛估计。samples_mc_entropy 将控制用于计算此估计的样本数量。默认为 1。

• entropy_coef (scalar, optional) – 计算总损失时熵的乘数。默认为 0.01。

• critic_coef (scalar, optional) – 计算总损失时评论家损失的乘数。默认为 1.0。将 critic_coef 设置为 None 以将值损失从前向输出中排除。

• loss_critic_type (str, optional) – 用于值差异的损失函数。可以是“l1”、“l2”或“smooth_l1”之一。默认为 "smooth_l1"。

• normalize_advantage (bool, optional) – 如果 True，则在使用优势值之前会对其进行归一化。默认为 False。

• normalize_advantage_exclude_dims (Tuple[int], optional) – 从优势值标准化中排除的维度。负维度是有效的。这在多智能体（或多目标）设置中很有用，其中智能体（或目标）维度可以从降维中排除。默认值：()。

• separate_losses (bool, optional) – 如果 True，则策略和评论家之间的共享参数将仅根据策略损失进行训练。默认为 False，即梯度会同时传播到策略损失和评论家损失的共享参数。

• advantage_key (str, optional) – [已弃用，请改用 set_keys(advantage_key=advantage_key)] 输入 tensordict 中期望写入优势值的键。默认为 "advantage"。

• value_target_key (str, optional) – [已弃用，请改用 set_keys(value_target_key=value_target_key)] 输入 tensordict 中期望写入目标状态值的键。默认为 "value_target"。

• value_key (str, optional) – [已弃用，请改用 set_keys(value_key) 代替] 输入 tensordict 中期望写入状态值的键。默认为 "state_value"。

• functional (bool, optional) – 模块是否应进行函数式化。函数式化允许元强化学习等特性，但使得无法使用分布式模型（DDP、FSDP 等）并带来一些开销。默认为 True。

• reduction (str, optional) – 指定应用于输出的降维方式：“none” | “mean” | “sum”。“none”：不应用降维，“mean”：输出的总和将除以输出中的元素数量，“sum”：输出将被求和。默认值：“mean”。

• clip_value (float, optional) – 如果提供，它将用于计算相对于输入 tensordict 值估计值的剪裁版本的值预测，并用它来计算值损失。剪裁的目的是限制极端值预测的影响，有助于稳定训练并防止大幅更新。但是，如果值估计是由当前版本的值估计器完成的，则它不会产生影响。默认为 None。

注意

优势值（通常是 GAE）可以通过损失函数或在训练循环中计算。后者通常更受欢迎，但这取决于用户选择哪种方式。如果输入 tensordict 中不存在优势值键（默认为 "advantage），则优势值将由 forward() 方法计算。

>>> ppo_loss = PPOLoss(actor, critic)
>>> advantage = GAE(critic)
>>> data = next(datacollector)
>>> losses = ppo_loss(data)
>>> # equivalent
>>> advantage(data)
>>> losses = ppo_loss(data)

可以使用 make_value_estimator() 构建自定义优势值模块。默认是 GAE，其超参数由 default_value_kwargs() 指定。

>>> ppo_loss = PPOLoss(actor, critic)
>>> ppo_loss.make_value_estimator(ValueEstimators.TDLambda)
>>> data = next(datacollector)
>>> losses = ppo_loss(data)

注意

如果 Actor 和值函数共享参数，可以通过仅将值网络的头部传递给 PPO 损失模块来避免多次调用公共模块

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = PPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = PPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

无论是否激活 separate_losses，这都将起作用。

示例

>>> import torch
>>> from torch import nn
>>> from torchrl.data.tensor_specs import Bounded
>>> from torchrl.modules.distributions import NormalParamExtractor, TanhNormal
>>> from torchrl.modules.tensordict_module.actors import ProbabilisticActor, ValueOperator
>>> from torchrl.modules.tensordict_module.common import SafeModule
>>> from torchrl.objectives.ppo import PPOLoss
>>> from tensordict import TensorDict
>>> n_act, n_obs = 4, 3
>>> spec = Bounded(-torch.ones(n_act), torch.ones(n_act), (n_act,))
>>> base_layer = nn.Linear(n_obs, 5)
>>> net = nn.Sequential(base_layer, nn.Linear(5, 2 * n_act), NormalParamExtractor())
>>> module = SafeModule(net, in_keys=["observation"], out_keys=["loc", "scale"])
>>> actor = ProbabilisticActor(
...     module=module,
...     distribution_class=TanhNormal,
...     in_keys=["loc", "scale"],
...     spec=spec)
>>> module = nn.Sequential(base_layer, nn.Linear(5, 1))
>>> value = ValueOperator(
...     module=module,
...     in_keys=["observation"])
>>> loss = PPOLoss(actor, value)
>>> batch = [2, ]
>>> action = spec.rand(batch)
>>> data = TensorDict({"observation": torch.randn(*batch, n_obs),
...         "action": action,
...         "sample_log_prob": torch.randn_like(action[..., 1]),
...         ("next", "done"): torch.zeros(*batch, 1, dtype=torch.bool),
...         ("next", "terminated"): torch.zeros(*batch, 1, dtype=torch.bool),
...         ("next", "reward"): torch.randn(*batch, 1),
...         ("next", "observation"): torch.randn(*batch, n_obs),
...     }, batch)
>>> loss(data)
TensorDict(
    fields={
        entropy: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_critic: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_entropy: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_objective: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False)},
    batch_size=torch.Size([]),
    device=None,
    is_shared=False)

此类也与非 tensordict 模块兼容，无需使用任何 tensordict 相关原语即可使用。在这种情况下，预期的关键字参数是：["action", "sample_log_prob", "next_reward", "next_done", "next_terminated"] + Actor 和值网络的 in_keys。返回值为一个张量元组，顺序如下：["loss_objective"] + 如果设置了 entropy_bonus 则包含 ["entropy", "loss_entropy"] + 如果 critic_coef 不为 None 则包含 "loss_critic"。输出键也可以使用 PPOLoss.select_out_keys() 方法进行过滤。

示例

>>> import torch
>>> from torch import nn
>>> from torchrl.data.tensor_specs import Bounded
>>> from torchrl.modules.distributions import NormalParamExtractor, TanhNormal
>>> from torchrl.modules.tensordict_module.actors import ProbabilisticActor, ValueOperator
>>> from torchrl.modules.tensordict_module.common import SafeModule
>>> from torchrl.objectives.ppo import PPOLoss
>>> n_act, n_obs = 4, 3
>>> spec = Bounded(-torch.ones(n_act), torch.ones(n_act), (n_act,))
>>> base_layer = nn.Linear(n_obs, 5)
>>> net = nn.Sequential(base_layer, nn.Linear(5, 2 * n_act), NormalParamExtractor())
>>> module = SafeModule(net, in_keys=["observation"], out_keys=["loc", "scale"])
>>> actor = ProbabilisticActor(
...     module=module,
...     distribution_class=TanhNormal,
...     in_keys=["loc", "scale"],
...     spec=spec)
>>> module = nn.Sequential(base_layer, nn.Linear(5, 1))
>>> value = ValueOperator(
...     module=module,
...     in_keys=["observation"])
>>> loss = PPOLoss(actor, value)
>>> loss.set_keys(sample_log_prob="sampleLogProb")
>>> _ = loss.select_out_keys("loss_objective")
>>> batch = [2, ]
>>> action = spec.rand(batch)
>>> loss_objective = loss(
...         observation=torch.randn(*batch, n_obs),
...         action=action,
...         sampleLogProb=torch.randn_like(action[..., 1]) / 10,
...         next_done=torch.zeros(*batch, 1, dtype=torch.bool),
...         next_terminated=torch.zeros(*batch, 1, dtype=torch.bool),
...         next_reward=torch.randn(*batch, 1),
...         next_observation=torch.randn(*batch, n_obs))
>>> loss_objective.backward()

注意

关于与非 tensordict 模块的兼容性有一个例外。如果 Actor 网络是概率性的并且使用 CompositeDistribution，则此类必须与 tensordicts 一起使用，不能作为独立于 tensordict 的模块运行。这是因为复合动作空间本质上依赖于 tensordicts 提供的结构化数据表示来处理其动作。

default_keys

_AcceptedKeys 的别名

forward(tensordict: TensorDictBase = None) → TensorDictBase

它设计用于读取输入的 TensorDict 并返回另一个包含以“loss*”命名的损失键的 tensordict。

然后，训练器可以使用将损失分解为其组成部分的方式，在整个训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数：

tensordict – 包含计算损失所需值的输入 tensordict。

返回值：

一个新的不含批处理维度且包含各种以“loss*”命名的损失标量的 tensordict。损失必须以此名称返回，因为训练器在反向传播之前会读取它们，这一点非常重要。

property functional

模块是否是函数式的。

除非特意设计为非函数式，否则所有损失函数都是函数式的。

loss_critic(tensordict: TensorDictBase) → Tensor

返回评论家损失，如果 critic_coef 不为 None，则乘以 critic_coef。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

值函数构造器。

如果需要非默认的值函数，必须使用此方法构建。

参数：

• value_type (ValueEstimators) – 一个 ValueEstimators 枚举类型，指示要使用的值函数。如果未提供，则将使用存储在 default_value_estimator 属性中的默认值。结果值估计器类将注册到 self.value_type 中，以便后续优化。

• **hyperparams – 用于值函数的超参数。如果未提供，则将使用 default_value_kwargs() 指定的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)