GAE¶
- class torchrl.objectives.value.GAE(*args, **kwargs)[source]¶
泛化优势估计 (generalized advantage estimate) 函数的类包装器。
请参考“HIGH-DIMENSIONAL CONTINUOUS CONTROL USING GENERALIZED ADVANTAGE ESTIMATION” https://arxiv.org/pdf/1506.02438.pdf 以获取更多背景信息。
- 参数:
gamma (标量) – 指数平均折扣。
lmbda (标量) – 轨迹折扣。
value_network (TensorDictModule) – 用于检索值估计的价值算子。
average_gae (布尔值) – 如果为
True，结果 GAE 值将被标准化。默认值为False。differentiable (布尔值, 可选) –
如果为
True，梯度将通过值函数的计算传播。默认值为False。注意
使函数调用不可微的正确方法是在 torch.no_grad() 上下文管理器/装饰器中装饰它，或为函数模块传递分离的参数。
vectorized (布尔值, 可选) – 是否使用 lambda 返回的向量化版本。如果未编译，默认值为 True。
skip_existing (布尔值, 可选) – 如果为
True，如果 tensordict 中已存在模块的输出，值网络将跳过这些模块。默认值为None，即tensordict.nn.skip_existing()的值不受影响。默认值为“state_value”。advantage_key (字符串 或 字符串元组, 可选) – [已弃用] 优势条目的键。默认值为
"advantage"。value_target_key (字符串 或 字符串元组, 可选) – [已弃用] 优势条目的键。（原文如此，可能应为“价值目标条目的键”）默认值为
"value_target"。value_key (字符串 或 字符串元组, 可选) – [已弃用] 从输入 tensordict 中读取的值键。默认值为
"state_value"。shifted (布尔值, 可选) – 如果为
True，则通过对值网络的一次调用来估计当前值和下一值。这更快，但仅在满足以下条件时有效：(1)"next"值仅偏移一个时间步（例如，多步值估计则不是这种情况），并且 (2) 时间t和t+1使用的参数相同（使用目标参数时则不是这种情况）。默认值为False。device (torch.device, 可选) – 将实例化缓冲区的设备。默认值为
torch.get_default_device()。time_dim (整数, 可选) – 输入 tensordict 中对应时间的维度。如果未提供，则默认为标记有
"time"名称的维度（如果存在），否则为最后一个维度。可以在调用value_estimate()时覆盖。负维度是相对于输入 tensordict 计算的。
GAE 将返回一个包含优势值的
"advantage"条目。它还将返回一个"value_target"条目，其中包含用于训练值网络的返回值。最后，如果gradient_mode为True，还将返回一个额外的、可微分的"value_error"条目，该条目仅代表返回值和值网络输出之间的差异（即应对该带符号值应用额外的距离损失）。注意
与其他优势函数一样，如果输入 tensordict 中已存在
value_key，GAE 模块将忽略对值网络（如果存在）的调用，并使用提供的值。- forward(tensordict=None, *, params: List[Tensor] | None = None, target_params: List[Tensor] | None = None, time_dim: int | None = None)[source]¶
计算给定 tensordict 中数据的 GAE。
如果提供了函数式模块，可以将包含参数（以及相关的目标参数）的嵌套 TensorDict 传递给该模块。
- 参数:
tensordict (TensorDictBase) – 一个 TensorDict，包含计算值估计和 GAE 所需的数据（一个观察键，
"action"，("next", "reward")，("next", "done")，("next", "terminated")，以及环境返回的"next"tensordict 状态）。传递给此模块的数据应结构化为[*B, T, *F]，其中B是批量大小，T是时间维度，F是特征维度。tensordict 的形状必须为[*B, T]。- 关键字参数:
params (TensorDictBase, 可选) – 一个嵌套的 TensorDict，包含要传递给函数式值网络模块的参数。
target_params (TensorDictBase, 可选) – 一个嵌套的 TensorDict，包含要传递给函数式值网络模块的目标参数。
time_dim (整数, 可选) – 输入 tensordict 中对应时间的维度。如果未提供，则默认为标记有
"time"名称的维度（如果存在），否则为最后一个维度。负维度是相对于输入 tensordict 计算的。
- 返回:
一个更新后的 TensorDict，包含构造函数中定义的 advantage 和 value_error 键。
示例
>>> from tensordict import TensorDict >>> value_net = TensorDictModule( ... nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"] ... ) >>> module = GAE( ... gamma=0.98, ... lmbda=0.94, ... value_network=value_net, ... differentiable=False, ... ) >>> obs, next_obs = torch.randn(2, 1, 10, 3) >>> reward = torch.randn(1, 10, 1) >>> done = torch.zeros(1, 10, 1, dtype=torch.bool) >>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool) >>> tensordict = TensorDict({"obs": obs, "next": {"obs": next_obs}, "done": done, "reward": reward, "terminated": terminated}, [1, 10]) >>> _ = module(tensordict) >>> assert "advantage" in tensordict.keys()
该模块也支持非 tensordict（即解包的 tensordict）输入。
示例
>>> value_net = TensorDictModule( ... nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"] ... ) >>> module = GAE( ... gamma=0.98, ... lmbda=0.94, ... value_network=value_net, ... differentiable=False, ... ) >>> obs, next_obs = torch.randn(2, 1, 10, 3) >>> reward = torch.randn(1, 10, 1) >>> done = torch.zeros(1, 10, 1, dtype=torch.bool) >>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool) >>> advantage, value_target = module(obs=obs, next_reward=reward, next_done=done, next_obs=next_obs, next_terminated=terminated)
- value_estimate(tensordict, params: TensorDictBase | None = None, target_params: TensorDictBase | None = None, time_dim: int | None = None, **kwargs)[source]¶
获取值估计，通常用作值网络的目标值。
如果状态值键存在于
tensordict.get(("next", self.tensor_keys.value))下，则将直接使用此值，而无需调用值网络。- 参数:
tensordict (TensorDictBase) – 包含要读取的数据的 tensordict。
target_params (TensorDictBase, 可选) – 一个嵌套的 TensorDict，包含要传递给函数式值网络模块的目标参数。
next_value (torch.Tensor, 可选) – 下一个状态或状态-动作对的值。与
target_params互斥。**kwargs – 要传递给值网络的关键字参数。
返回: 对应于状态值的张量。
