使用 Gym

什么是 OpenAI Gym？

OpenAI Gym 是一个 Python 库，提供用于在强化学习上下文中编写和使用环境的工具。这些环境可以是模拟器或真实世界系统（例如机器人或游戏）。由于易于使用，Gym 已被广泛采用，成为强化学习和控制中环境交互的主要 API 之一。

历史上，Gym 由 OpenAI 在 https://github.com/openai/gym 上启动。从那时起，OpenAI 停止了维护，该库已被 Farama 基金会在 Gymnasium 中进行了分叉。

有关安装和用法的更多详细信息，请查看 Gym 文档。

版本控制

众所周知，OpenAI Gym 库经历了多次破坏性更改和重大用户界面 API 修改。实际上，TorchRL 已针对 gym 0.13 及更高版本进行了测试，并且应该适用于两者之间的任何版本。

但是，围绕 Gym 构建的库可能具有自定义的环境构建过程，这会破坏来自 GymEnv 类的自动包装。在这些情况下，最好首先创建 gym 环境并使用 torchrl.envs.libs.gym.GymWrapper 对其进行包装。

如果您在使用特定版本的 gym 运行 TorchRL 时遇到问题，请随时提交问题，我们将很乐意对此进行调查。