ValueEstimatorBase

class torchrl.objectives.value.ValueEstimatorBase(*args, **kwargs)

值函数模块的抽象父类。

其 ValueFunctionBase.forward() 方法将计算值（由值网络给出）和值估计（由值估计器给出）以及优势，并将这些值写入输出 tensordict。

如果只需要值估计，则应使用 ValueFunctionBase.value_estimate()。

default_keys

_AcceptedKeys 的别名

abstract forward(tensordict: TensorDictBase, *, params: TensorDictBase | None = None, target_params: TensorDictBase | None = None) → TensorDictBase

计算给定 tensordict 中的数据的优势估计。

如果提供了函数式模块，则可以将包含参数（以及相关的目标参数）的嵌套 TensorDict 传递给该模块。

参数:

tensordict (TensorDictBase) – 包含计算值估计和 TDEstimate 所需数据（观察键、"action"、("next", "reward")、("next", "done")、("next", "terminated") 和环境返回的 "next" tensordict 状态）的 TensorDict。传递给此模块的数据应结构化为 [*B, T, *F]，其中 B 是批处理大小，T 是时间维度，F 是特征维度。tensordict 必须具有形状 [*B, T]。

关键字参数:

• params (TensorDictBase, 可选) – 一个嵌套 TensorDict，包含要传递给函数式值网络模块的参数。

• target_params (TensorDictBase, 可选) – 一个嵌套 TensorDict，包含要传递给函数式值网络模块的目标参数。

• device (torch.device, 可选) – 将实例化缓冲区的设备。默认为 torch.get_default_device()。

返回:

一个更新后的 TensorDict，包含构造函数中定义的 advantage 和 value_error 键。

set_keys(**kwargs) → None

设置 tensordict 键名。

value_estimate(tensordict, target_params: TensorDictBase | None = None, next_value: torch.Tensor | None = None, **kwargs)

获取值估计，通常用作值网络的目标值。

如果状态值键存在于 tensordict.get(("next", self.tensor_keys.value)) 下，则将直接使用此值，而无需调用值网络。

参数:

• tensordict (TensorDictBase) – 包含要读取的数据的 tensordict。

• target_params (TensorDictBase, 可选) – 一个嵌套 TensorDict，包含要传递给函数式值网络模块的目标参数。

• next_value (torch.Tensor, 可选) – 下一个状态或状态-动作对的值。与 target_params 互斥。

• **kwargs – 要传递给值网络的关键字参数。

返回: 对应于状态值的张量。