TD1Estimator

class torchrl.objectives.value.TD1Estimator(*args, **kwargs)

\(\infty\)-时间差分 (TD(1)) 优势函数估计。

关键字参数:

• gamma (标量) – 指数平均折扣。

• value_network (TensorDictModule) – 用于检索价值估计的价值运算符。

• average_rewards (bool, 可选) – 如果 True，奖励将在计算 TD 之前进行标准化。

• differentiable (bool, 可选) –

  如果 True，梯度将通过价值函数的计算传播。默认为 False。

  注意

  使函数调用不可微分的正确方法是在 torch.no_grad() 上下文管理器/装饰器中对其进行装饰，或为功能模块传递分离的参数。

• skip_existing (bool, 可选) – 如果 True，价值网络将跳过张量字典中已存在的模块输出。默认为 None，即 tensordict.nn.skip_existing() 的值不受影响。

• advantage_key (str 或 str 元组, 可选) – [已弃用] 优势条目的键。默认为 "advantage"。

• value_target_key (str 或 str 元组, 可选) – [已弃用] 优势条目的键。默认为 "value_target"。

• value_key (str 或 str 元组, 可选) – [已弃用] 要从输入张量字典中读取的价值键。默认为 "state_value"。

• shifted (bool, 可选) – 如果 True，则价值和下一个价值通过对价值网络的单次调用来估计。这更快，但仅在以下情况下有效：(1) "next" 价值仅移动一个时间步（例如，多步价值估计并非如此），以及 (2) 当时间 t 和 t+1 使用的参数相同时（当要使用目标参数时，情况并非如此）。默认为 False。

• device (torch.device, 可选) – 模块的设备。

• time_dim (int, 可选) – 输入张量字典中与时间对应的维度。如果未提供，则默认为标有 "time" 名称的维度（如果有），否则为最后一个维度。可以在调用 value_estimate() 期间覆盖。负维度被视为相对于输入张量字典。

forward(tensordict: TensorDictBase = None, *, params: tensordict.base.TensorDictBase | None = None, target_params: tensordict.base.TensorDictBase | None = None) → TensorDictBase

计算给定张量字典中数据的 TD(1) 优势。

如果提供了功能模块，则可以将包含参数（以及相关时目标参数）的嵌套 TensorDict 传递给模块。

参数:

tensordict (TensorDictBase) – 一个包含数据的 TensorDict（观察键、"action"、("next", "reward")、("next", "done")、("next", "terminated") 和 "next" 环境返回的张量字典状态），这些数据是计算价值估计和 TDEstimate 所必需的。传递给此模块的数据应结构化为 [*B, T, *F]，其中 B 是批量大小，T 是时间维度，F 是特征维度。张量字典必须具有形状 [*B, T]。

关键字参数:

• params (TensorDictBase, 可选) – 一个嵌套的 TensorDict，包含要传递给功能价值网络模块的参数。

• target_params (TensorDictBase, 可选) – 一个嵌套的 TensorDict，包含要传递给功能价值网络模块的目标参数。

返回:

一个更新后的 TensorDict，其中包含构造函数中定义的优势和 value_error 键。

示例

>>> from tensordict import TensorDict
>>> value_net = TensorDictModule(
...     nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"]
... )
>>> module = TDEstimate(
...     gamma=0.98,
...     value_network=value_net,
... )
>>> obs, next_obs = torch.randn(2, 1, 10, 3)
>>> reward = torch.randn(1, 10, 1)
>>> done = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> tensordict = TensorDict({"obs": obs, "next": {"obs": next_obs, "done": done, "reward": reward, "terminated": terminated}}, [1, 10])
>>> _ = module(tensordict)
>>> assert "advantage" in tensordict.keys()

该模块也支持非张量字典（即解包的张量字典）输入

示例

>>> value_net = TensorDictModule(
...     nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"]
... )
>>> module = TDEstimate(
...     gamma=0.98,
...     value_network=value_net,
... )
>>> obs, next_obs = torch.randn(2, 1, 10, 3)
>>> reward = torch.randn(1, 10, 1)
>>> done = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> advantage, value_target = module(obs=obs, next_reward=reward, next_done=done, next_obs=next_obs, next_terminated=terminated)

value_estimate(tensordict, target_params: Optional[TensorDictBase] = None, next_value: Optional[Tensor] = None, time_dim: Optional[int] = None, **kwargs)

获取价值估计，通常用作价值网络的目标价值。

如果状态价值键存在于 tensordict.get(("next", self.tensor_keys.value)) 下，则将使用此价值，而无需再次求助于价值网络。

参数:

• tensordict (TensorDictBase) – 包含要读取数据的张量字典。

• target_params (TensorDictBase, 可选) – 一个嵌套的 TensorDict，包含要传递给功能价值网络模块的目标参数。

• next_value (torch.Tensor, 可选) – 下一个状态或状态-动作对的价值。与 target_params 互斥。

• **kwargs – 要传递给价值网络的关键字参数。

返回：对应于状态价值的张量。