使用 gym

什么是 OpenAI Gym？

OpenAI Gym 是一个 Python 库，提供在强化学习 (RL) 环境中编码和使用环境的工具。环境可以是模拟器，也可以是现实世界的系统（例如机器人或游戏）。由于其易用性，Gym 已被广泛采纳为强化学习和控制中环境交互的主要 API 之一。

从历史上看，Gym 由 OpenAI 在 https://github.com/openai/gym 上启动。自那以后，OpenAI 已停止维护该库，该库已被 Farama Foundation 分叉到 Gymnasium 项目中。

查看 Gym 文档，了解有关安装和使用的更多详细信息。

版本

众所周知，OpenAI Gym 库经历了多次后向兼容性 (BC) 的重大更改和显著的用户可见 API 修改。实际上，TorchRL 已针对 gym 0.13 及更高版本进行了测试，应兼容其间的任何版本。

然而，基于 Gym 构建的库可能具有自定义的环境构建过程，这可能会破坏 GymEnv 类的自动包装功能。在这种情况下，最好先创建 Gym 环境，然后使用 torchrl.envs.libs.gym.GymWrapper 对其进行包装。

如果您在使用特定版本的 gym 运行 TorchRL 时遇到问题，请随时提交 issue，我们将乐意调查此事。