next_state_value

class torchrl.objectives.next_state_value(tensordict: TensorDictBase, operator: Optional[TensorDictModule] = None, next_val_key: str = 'state_action_value', gamma: float = 0.99, pred_next_val: Optional[Tensor] = None, **kwargs)

计算下一个状态值（无梯度）以计算目标值。

目标值通常用于计算距离损失（例如 MSE）

L = Sum[ (q_value - target_value)^2 ]

目标值计算为

r + gamma ** n_steps_to_next * value_next_state

如果奖励是立即奖励，则 n_steps_to_next=1。如果使用 N 步奖励，则 n_steps_to_next 从输入 tensordict 中收集。

参数:

• tensordict (TensorDictBase) – 包含奖励和完成键的 Tensordict（以及 n 步奖励的 n_steps_to_next 键）。

• operator (ProbabilisticTDModule, optional) – 值函数运算符。调用时应在输入 tensordict 中写入“next_val_key”键值。如果提供了 pred_next_val，则不需要提供它。

• next_val_key (str, optional) – 将在其中写入下一个值的键。默认值：“state_action_value”

• gamma (float, optional) – 返回折扣率。默认值：0.99

• pred_next_val (Tensor, optional) – 如果未使用运算符计算下一个状态值，则可以提供它。

返回:

包含预测值状态的输入 tensordict 大小的张量。