VecGymEnvTransform

class torchrl.envs.transforms.VecGymEnvTransform(final_name='final')

一个用于 GymWrapper 子类的转换，它以一致的方式处理自动重置。

Gym、gymnasium 和 SB3 提供向量化（即并行或批处理）环境，这些环境会自动重置。发生这种情况时，动作产生的实际观察结果会保存在 info 中的一个键下。类 torchrl.envs.libs.gym.terminal_obs_reader 读取该观察结果并将其存储在输出 tensordict 的 "final" 键中。反过来，这个转换读取该最终数据，将其与实际重置产生的、写入其位置的观察结果进行交换，并将重置输出保存在一个私有容器中。最终的数据真正反映了步骤的输出。

这个类支持从 gym 0.13 到最新 gymnasium 版本。

注意

Gym 版本 < 0.22 没有返回最终观察结果。对于这些版本，我们简单地用 NaN 填充下一个观察结果（因为它丢失了），并在下一步进行交换。

然后，当调用 env.reset 时，保存的数据会被写回到其所属位置（并且 reset 操作为空）。

每当使用异步环境创建包装器时，此转换会自动附加到 gym 环境中。

参数:

final_name (str, 可选的) – dict 中最终观察结果的名称。默认为 “final”。

注意

通常，不应直接处理此类。每当将向量化环境放入 GymWrapper 中时，就会创建它。

forward(tensordict: TensorDictBase) → TensorDictBase

读取输入的 tensordict，并对选定的键应用转换。

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

转换观察规范，使得结果规范与转换映射相匹配。

参数:

observation_spec (TensorSpec) – 转换前的规范

返回值:

转换后预期的规范