GymEnv¶

torchrl.envs.GymEnv(*args, **kwargs)[源代码]¶

由环境 ID 直接构建的 OpenAI Gym 环境包装器。

适用于 gymnasium 和 OpenAI/gym。

参数：

env_name (str) – 在 gym.registry 中注册的环境 ID。
categorical_action_encoding (bool, 可选) – 如果 True，则分类规范将转换为 TorchRL 等效项 (torchrl.data.DiscreteTensorSpec)，否则将使用独热编码 (torchrl.data.OneHotTensorSpec)。默认为 False。

关键字参数：

num_envs (int, 可选) – 并行运行的环境数量。默认为 None（运行单个环境）。默认情况下将使用 AsyncVectorEnv。
disable_env_checker (bool, 可选) – 仅适用于 gym > 0.24。如果 True（这些版本的默认值），则不会运行环境检查器。
from_pixels (bool, 可选) – 如果 True，则将尝试从环境中返回像素观察结果。默认情况下，这些观察结果将在 "pixels" 条目下写入。使用的方法因 gym 版本而异，可能涉及 wrappers.pixel_observation.PixelObservationWrapper。默认为 False。
pixels_only (bool, 可选) – 如果 True，则仅返回像素观察结果（默认情况下在输出 tensordict 中的 "pixels" 条目下）。如果 False，则只要 from_pixels=True，就会返回观察结果（例如，状态）和像素。默认为 True。
frame_skip (int, 可选) – 如果提供，则表示要重复相同操作的步数。返回的观察结果将是序列的最后一个观察结果，而奖励将是跨步骤的奖励总和。
device (torch.device, 可选) – 如果提供，则数据要转换为其上的设备。默认为 torch.device("cpu")。
batch_size (torch.Size, 可选) – 环境的批次大小。应与所有观察结果、完成状态、奖励、动作和信息的领先维度匹配。默认为 torch.Size([])。
allow_done_after_reset (bool, 可选) – 如果 True，则允许环境在调用 reset() 后立即处于 done 状态。默认为 False。

变量：

available_envs (List[str]) – 可构建的环境列表。

注意

如果找不到某个属性，则此类将尝试从嵌套环境中检索它。

>>> from torchrl.envs import GymEnv
>>> env = GymEnv("Pendulum-v1")
>>> print(env.spec.max_episode_steps)
200

如果 TorchRL 未涵盖用例，请在 GitHub 上提交问题。

示例

>>> from torchrl.envs import GymEnv
>>> env = GymEnv("Pendulum-v1")
>>> td = env.rand_step()
>>> print(td)
TensorDict(
    fields={
        action: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
        next: TensorDict(
            fields={
                done: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                observation: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False),
                reward: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
                terminated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                truncated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([]),
            device=cpu,
            is_shared=False)},
    batch_size=torch.Size([]),
    device=cpu,
    is_shared=False)
>>> print(env.available_envs)
['ALE/Adventure-ram-v5', 'ALE/Adventure-v5', 'ALE/AirRaid-ram-v5', 'ALE/AirRaid-v5', 'ALE/Alien-ram-v5', 'ALE/Alien-v5',

注意

如果虚拟环境中同时存在 OpenAI/gym 和 gymnasium，则可以使用 set_gym_backend() 交换后端。

>>> from torchrl.envs import set_gym_backend, GymEnv
>>> with set_gym_backend("gym"):
...     env = GymEnv("Pendulum-v1")
...     print(env._env)
<class 'gym.wrappers.time_limit.TimeLimit'>
>>> with set_gym_backend("gymnasium"):
...     env = GymEnv("Pendulum-v1")
...     print(env._env)
<class 'gymnasium.wrappers.time_limit.TimeLimit'>

注意

如果未提供其他读取器，则将使用 default_info_dict_reader 读取 info 字典。要提供其他读取器，请参考 set_info_dict_reader()。要自动注册 info_dict 内容，请参考 torchrl.envs.GymLikeEnv.auto_register_info_dict()。

注意

Gym 空间并非完全涵盖。以下空间已考虑在内，前提是它们可以使用 torch.Tensor、嵌套张量和/或在 tensordict 中表示。

spaces.Box

spaces.Sequence

spaces.Tuple

spaces.Discrete

spaces.MultiBinary

spaces.MultiDiscrete

spaces.Dict

使用 gym 空间时应考虑一些因素。例如，只有在空间在语义上相同（相同的数据类型和相同数量的维度）时，才能支持空间元组。可以通过 nested_tensor() 支持参差不齐的维度，但随后应该只有一个元组级别，并且数据应该沿第一个维度堆叠（因为嵌套张量只能沿第一个维度堆叠）。

查看 examples/envs/gym_conversion_examples.py 中的示例以了解更多信息！

GymEnv¶

文档

教程

资源