DreamerValueLoss

class torchrl.objectives.DreamerValueLoss(*args, **kwargs)

Dreamer 值函数损失。

计算 Dreamer 值函数模型的损失。值函数损失计算的是预测值与 lambda 目标之间的差。

参考：https://arxiv.org/abs/1912.01603。

参数：

• value_model (TensorDictModule) – 值函数模型。

• value_loss (str, optional) – 用于计算值函数损失的损失函数。默认为 "l2"。

• discount_loss (bool, optional) – 如果为 True，则损失会使用 gamma 折扣因子进行折扣。默认为 False。

• gamma (float, optional) – gamma 折扣因子。默认为 0.99。

default_keys

_AcceptedKeys 的别名

forward(fake_data) → Tensor

它被设计用于读取输入的 TensorDict 并返回另一个包含命名为“loss*”的损失键的 tensordict。

将损失分解到其组成部分后，训练器就可以在整个训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数：

tensordict – 包含计算损失所需值的输入 tensordict。

返回：

一个新的不含批次维度的 tensordict，其中包含各种命名为“loss*”的损失标量。损失必须以此名称返回，因为训练器会在反向传播之前读取它们，这一点至关重要。