ValueEstimatorBase¶
- class torchrl.objectives.value.ValueEstimatorBase(*args, **kwargs)[源代码]¶
值函数模块的抽象父类。
其
ValueFunctionBase.forward()
方法将计算值(由值网络给出)和值估计(由值估计器给出),以及优势,并将这些值写入输出 tensordict。如果只需要值估计,则应使用
ValueFunctionBase.value_estimate()
。- abstract forward(tensordict: TensorDictBase, *, params: Optional[TensorDictBase] = None, target_params: Optional[TensorDictBase] = None) TensorDictBase [源代码]¶
计算给定 tensordict 中数据的优势估计。
如果提供了功能模块,则可以将包含参数(以及如果相关,目标参数)的嵌套 TensorDict 传递给该模块。
- 参数:
tensordict (TensorDictBase) – 包含数据(观察键、
"action"
、("next", "reward")
、("next", "done")
、("next", "terminated")
和"next"
tensordict 状态,由环境返回)的 TensorDict,用于计算值估计和 TDEstimate。传递给此模块的数据应结构化为[*B, T, *F]
,其中B
是批大小,T
是时间维度,F
是特征维度。tensordict 必须具有形状[*B, T]
。- 关键字参数:
params (TensorDictBase, optional) – 包含要传递给功能值网络模块的参数的嵌套 TensorDict。
target_params (TensorDictBase, optional) – 包含要传递给功能值网络模块的目标参数的嵌套 TensorDict。
- 返回:
更新后的 TensorDict,其中包含在构造函数中定义的优势和 value_error 键。
- value_estimate(tensordict, target_params: Optional[TensorDictBase] = None, next_value: Optional[Tensor] = None, **kwargs)[源代码]¶
获取值估计,通常用作值网络的目标值。
如果状态值键存在于
tensordict.get(("next", self.tensor_keys.value))
下,则将使用此值,而无需重新求助于值网络。- 参数:
tensordict (TensorDictBase) – 包含要读取的数据的 tensordict。
target_params (TensorDictBase, optional) – 包含要传递给功能值网络模块的目标参数的嵌套 TensorDict。
next_value (torch.Tensor, optional) – 下一个状态或状态-动作对的值。与
target_params
互斥。**kwargs – 要传递给值网络的关键字参数。
返回:对应于状态值的张量。