DreamerActorLoss

class torchrl.objectives.DreamerActorLoss(*args, **kwargs)

Dreamer Actor 损失。

计算 dreamer actor 的损失。actor 损失计算为负平均 lambda 回报。

参考：https://arxiv.org/abs/1912.01603。

参数:

• actor_model (TensorDictModule) – actor 模型。

• value_model (TensorDictModule) – 价值模型。

• model_based_env (DreamerEnv) – 基于模型的环境。

• imagination_horizon (int, optional) – 模型展开的步数。默认为 15。

• discount_loss (bool, optional) – 如果为 True，则损失将使用 gamma 折扣因子进行折扣。默认为 False。

forward(tensordict: TensorDict) → Tuple[TensorDict, TensorDict]

它旨在读取输入 TensorDict 并返回另一个带有名为“loss*”的损失键的 tensordict。

将损失拆分为其组成部分然后可供训练器使用，以记录整个训练过程中的各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 一个输入 tensordict，其中包含计算损失所需的值。

返回:

一个新的 tensordict，没有批次维度，包含各种损失标量，这些标量将被命名为“loss*”。损失必须以此名称返回，这一点至关重要，因为训练器将在反向传播之前读取它们。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

价值函数构造器。

如果需要非默认价值函数，则必须使用此方法构建。

参数:

• value_type (ValueEstimators) – 一个 ValueEstimators 枚举类型，指示要使用的价值函数。如果未提供，将使用存储在 default_value_estimator 属性中的默认值。结果价值估计器类将在 self.value_type 中注册，以便将来进行改进。

• **hyperparams – 用于价值函数的超参数。如果未提供，将使用 default_value_kwargs() 指示的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)