使用 gym

什么是 OpenAI Gym？

OpenAI Gym 是一个 Python 库，为在 RL 环境中编码和使用环境提供工具。环境可以是模拟器或真实世界系统（例如机器人或游戏）。由于其易用性，Gym 已被广泛采用为 RL 和控制中环境交互的主要 API 之一。

从历史上看，Gym 最初由 OpenAI 在 https://github.com/openai/gym 上启动。此后，OpenAI 已停止维护它，该库已被 Farama 基金会分叉到 Gymnasium 中。

查看 Gym 文档 以了解有关安装和用法的更多详细信息。

版本控制

众所周知，OpenAI Gym 库经历了多次 BC 破坏性更改和重大的面向用户的 API 修改。实际上，TorchRL 已经过针对 gym 0.13 及更高版本的测试，并且应该可以与介于两者之间的任何版本一起使用。

但是，围绕 Gym 构建的库可能具有自定义环境构建过程，该过程会破坏 GymEnv 类的自动包装。在这些情况下，最好首先创建 gym 环境，然后使用 torchrl.envs.libs.gym.GymWrapper 对其进行包装。

如果您在使用特定版本的 gym 运行 TorchRL 时遇到问题，请随时提出问题，我们将很乐意对此进行调查。