TimeMaxPool

class torchrl.envs.transforms.TimeMaxPool(in_keys: Sequence[NestedKey] | None = None, out_keys: Sequence[NestedKey] | None = None, T: int = 1, reset_key: NestedKey | None = None)

在过去 T 个观察结果的每个位置获取最大值。

此转换在过去 T 个时间步长内获取所有 in_keys 张量每个位置的最大值。

参数：

• in_keys (嵌套键序列, 可选) – 将应用最大池化的输入键。如果留空，则默认为“observation”。

• out_keys (嵌套键序列, 可选) – 将写入输出的输出键。如果留空，则默认为in_keys。

• T (int, 可选) – 应用最大池化的时步数。

• reset_key (嵌套键, 可选) – 用作部分重置指示器的重置键。必须唯一。如果未提供，则默认为父环境的唯一重置键（如果只有一个），否则引发异常。

示例

>>> from torchrl.envs import GymEnv
>>> base_env = GymEnv("Pendulum-v1")
>>> env = TransformedEnv(base_env, TimeMaxPool(in_keys=["observation"], T=10))
>>> torch.manual_seed(0)
>>> env.set_seed(0)
>>> rollout = env.rollout(10)
>>> print(rollout["observation"])  # values should be increasing up until the 10th step
tensor([[ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0000,  0.0000],
        [ 0.0000,  0.0216,  0.0000],
        [ 0.0000,  0.1149,  0.0000],
        [ 0.0000,  0.1990,  0.0000],
        [ 0.0000,  0.2749,  0.0000],
        [ 0.0000,  0.3281,  0.0000],
        [-0.9290,  0.3702, -0.8978]])

注意

TimeMaxPool 目前仅支持根目录处的done 信号。嵌套的done（例如在 MARL 设置中找到的）目前不受支持。如果需要此功能，请在 TorchRL 存储库中提出问题。

forward(tensordict: TensorDictBase) → TensorDictBase

读取输入 tensordict，并对选定的键应用转换。

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

转换观察规范，以便生成的规范与转换映射匹配。

参数：

observation_spec (TensorSpec) – 转换前的规范

返回值：

转换后的预期规范