DreamerValueLoss

class torchrl.objectives.DreamerValueLoss(*args, **kwargs)

Dreamer 值损失。

计算梦想家值模型的损失。值损失是在预测值和 lambda 目标之间计算的。

参考：https://arxiv.org/abs/1912.01603。

参数：

• value_model (TensorDictModule) – 值模型。

• value_loss (str, optional) – 用于值损失的损失。默认值："l2"。

• discount_loss (bool, optional) – 如果为 True，则损失将使用 gamma 折扣因子进行折扣。默认值：False。

• gamma (float, optional) – gamma 折扣因子。默认值：0.99。

forward(fake_data) → Tensor

它旨在读取输入 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

然后，将损失拆分为其组件可用于训练器在整个训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数：

tensordict – 包含计算损失所需值的输入 tensordict。

返回值：

一个新的不包含批次维度的 tensordict，包含各种损失标量，这些标量将命名为“loss*”。必须以这个名称返回损失，因为它们将在反向传播之前由训练器读取。