TimeMaxPool

class torchrl.envs.transforms.TimeMaxPool(in_keys: Sequence[NestedKey] | None = None, out_keys: Sequence[NestedKey] | None = None, T: int = 1, reset_key: NestedKey | None = None)

取最近 T 个观察值的每个位置的最大值。

此变换对所有 in_keys 张量在最后 T 个时间步的每个位置取最大值。

参数:

• in_keys (Sequence of NestedKey, 可选) – 应用最大池化的输入键。如果为空，默认为“observation”。

• out_keys (Sequence of NestedKey, 可选) – 输出将被写入的输出键。如果为空，默认为 in_keys。

• T (int, 可选) – 应用最大池化的时间步数。

• reset_key (NestedKey | None, 可选) – 用作部分重置指示符的重置键。必须是唯一的。如果未提供，则默认为父环境的唯一重置键（如果只有一个），否则会引发异常。

示例

>>> from torchrl.envs import GymEnv
>>> base_env = GymEnv("Pendulum-v1")
>>> env = TransformedEnv(base_env, TimeMaxPool(in_keys=["observation"], T=10))
>>> torch.manual_seed(0)
>>> env.set_seed(0)
>>> rollout = env.rollout(10)
>>> print(rollout["observation"])  # values should be increasing up until the 10th step
tensor([[ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0216,  0.0000],
        [ 0.0000,  0.1149,  0.0000],
        [ 0.0000,  0.1990,  0.0000],
        [ 0.0000,  0.2749,  0.0000],
        [ 0.0000,  0.3281,  0.0000],
        [-0.9290,  0.3702, -0.8978]])

注意

TimeMaxPool 目前仅支持根级别的 done 信号。嵌套的 done，例如在 MARL 设置中发现的，目前不受支持。如果需要此功能，请在 TorchRL 仓库中提出 Issue。

forward(tensordict: TensorDictBase) → TensorDictBase

读取输入的 tensordict，并对选定的键应用此变换。

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

变换观察规范，使结果规范与变换映射匹配。

参数:

observation_spec (TensorSpec) – 变换前的规范

返回:

变换后预期的规范