DistributionalDQNLoss

class torchrl.objectives.DistributionalDQNLoss(*args, **kwargs)

一个分布式 DQN 损失类。

分布式 DQN 使用一个值网络，该网络输出在折扣回报的离散支持上的值分布（与常规 DQN 不同，在常规 DQN 中，值网络输出折扣回报的单个点预测）。

有关分布式 DQN 的更多详细信息，请参阅“强化学习的分布式视角”，https://arxiv.org/pdf/1707.06887.pdf

参数：

• value_network (DistributionalQValueActor 或 nn.Module) – 分布式 Q 值算子。

• gamma (标量) –

  回报计算的折扣因子。 .. 注意

  Unlike :class:`DQNLoss`, this class does not currently support
  custom value functions. The next value estimation is always
  bootstrapped.
  

• delay_value (布尔值) – 是否将值网络复制到新的目标值网络以创建双 DQN

• priority_key (str, 可选) – [已弃用，请改用 .set_keys(priority_key=priority_key) ] 假设优先级存储在添加到此 ReplayBuffer 的 TensorDict 中的键。这将在采样器类型为 PrioritizedSampler 时使用。默认为 "td_error"。

• reduction (str, 可选) – 指定要应用于输出的缩减："none" | "mean" | "sum"。 "none"：不应用缩减，"mean"：输出的总和将除以输出中的元素数量，"sum"：输出将求和。默认值："mean"。

forward(input_tensordict: TensorDictBase) → TensorDict

它旨在读取输入 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

然后，将损失拆分为其组件可用于训练器在整个训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数：

tensordict – 一个输入 tensordict，其中包含计算损失所需的数值。

返回值：

一个新的 tensordict，不包含批次维度，包含各种损失标量，这些标量将被命名为“loss*”。必须以这个名称返回损失，因为它们将在反向传播之前被训练器读取。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

值函数构造函数。

如果需要非默认值函数，则必须使用此方法构建。

参数：

• value_type (ValueEstimators) – 一个 ValueEstimators 枚举类型，指示要使用的值函数。如果没有提供，则将使用 default_value_estimator 属性中存储的默认值。生成的估值器类将在 self.value_type 中注册，允许将来进行改进。

• **hyperparams – 用于值函数的超参数。如果未提供，则将使用 default_value_kwargs() 中指示的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)