MeltingpotWrapper¶

torchrl.envs.MeltingpotWrapper(*args, **kwargs)[源代码]¶

Meltingpot 环境包装器。

GitHub: https://github.com/google-deepmind/meltingpot

Melting Pot 评估了对涉及熟悉和不熟悉个体的全新社会情境的泛化能力，旨在测试广泛的社会互动，例如：合作、竞争、欺骗、互惠、信任、顽固等。Melting Pot 为研究人员提供了一套 50 多个多智能体强化学习基底（多智能体游戏），用于训练智能体，以及 256 个以上独特的测试场景，用于评估这些训练后的智能体。

参数：

env (meltingpot.utils.substrates.substrate.Substrate) – 要包装的 Meltingpot 基底。

关键字参数：

max_steps (int, 可选) – 任务的范围。默认为 None（无限范围）。每个 Meltingpot 基底可以是终止的或非终止的。如果指定了 max_steps，则当达到此范围时，场景也会终止（并设置 "terminated" 标志）。与 gym 的 TimeLimit 转换或 torchrl 的 StepCounter 不同，此参数不会在 tensordict 中设置 "truncated" 条目。
categorical_actions (bool, 可选) – 如果环境动作是离散的，是否将其转换为分类或独热编码。默认为 True。
group_map (MarlGroupMapType 或 Dict[str, List[str]], 可选) – 如何在 tensordicts 中对输入/输出的智能体进行分组。默认情况下，它们将全部放在一个名为 "agents" 的组中。否则，可以指定组映射或从一些预制选项中选择。有关更多信息，请参阅 MarlGroupMapType。

变量：

group_map (Dict[str, List[str]]) – 如何在 tensordicts 中对输入/输出的智能体进行分组。有关更多信息，请参阅 MarlGroupMapType。
agent_names (字符串列表) – 环境中智能体的名称
agent_names_to_indices_map (Dict[str, int]) – 将智能体名称映射到其在环境中的索引的字典
available_envs (字符串列表) – 可用于构建的场景列表。

警告

Meltingpot 返回单个 done 标志，该标志无法区分环境何时达到 max_steps 和终止。如果您认为 truncation 信号是必要的，请将 max_steps 设置为 None 并使用 StepCounter 转换。

示例

>>> from meltingpot import substrate
>>> from torchrl.envs.libs.meltingpot import MeltingpotWrapper
>>> substrate_config = substrate.get_config("commons_harvest__open")
>>> mp_env = substrate.build_from_config(
...     substrate_config, roles=substrate_config.default_player_roles
... )
>>> env_torchrl = MeltingpotWrapper(env=mp_env)
>>> print(env_torchrl.rollout(max_steps=5))
TensorDict(
    fields={
        RGB: Tensor(shape=torch.Size([5, 144, 192, 3]), device=cpu, dtype=torch.uint8, is_shared=False),
        agents: TensorDict(
            fields={
                action: Tensor(shape=torch.Size([5, 7]), device=cpu, dtype=torch.int64, is_shared=False),
                observation: TensorDict(
                    fields={
                        COLLECTIVE_REWARD: Tensor(shape=torch.Size([5, 7, 1]), device=cpu, dtype=torch.float64, is_shared=False),
                        READY_TO_SHOOT: Tensor(shape=torch.Size([5, 7, 1]), device=cpu, dtype=torch.float64, is_shared=False),
                        RGB: Tensor(shape=torch.Size([5, 7, 88, 88, 3]), device=cpu, dtype=torch.uint8, is_shared=False)},
                    batch_size=torch.Size([5, 7]),
                    device=cpu,
                    is_shared=False)},
            batch_size=torch.Size([5, 7]),
            device=cpu,
            is_shared=False),
        done: Tensor(shape=torch.Size([5, 1]), device=cpu, dtype=torch.bool, is_shared=False),
        next: TensorDict(
            fields={
                RGB: Tensor(shape=torch.Size([5, 144, 192, 3]), device=cpu, dtype=torch.uint8, is_shared=False),
                agents: TensorDict(
                    fields={
                        observation: TensorDict(
                            fields={
                                COLLECTIVE_REWARD: Tensor(shape=torch.Size([5, 7, 1]), device=cpu, dtype=torch.float64, is_shared=False),
                                READY_TO_SHOOT: Tensor(shape=torch.Size([5, 7, 1]), device=cpu, dtype=torch.float64, is_shared=False),
                                RGB: Tensor(shape=torch.Size([5, 7, 88, 88, 3]), device=cpu, dtype=torch.uint8, is_shared=False)},
                            batch_size=torch.Size([5, 7]),
                            device=cpu,
                            is_shared=False),
                        reward: Tensor(shape=torch.Size([5, 7, 1]), device=cpu, dtype=torch.float64, is_shared=False)},
                    batch_size=torch.Size([5, 7]),
                    device=cpu,
                    is_shared=False),
                done: Tensor(shape=torch.Size([5, 1]), device=cpu, dtype=torch.bool, is_shared=False),
                terminated: Tensor(shape=torch.Size([5, 1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([5]),
            device=cpu,
            is_shared=False),
        terminated: Tensor(shape=torch.Size([5, 1]), device=cpu, dtype=torch.bool, is_shared=False)},
    batch_size=torch.Size([5]),
    device=cpu,
    is_shared=False)

MeltingpotWrapper¶

文档

教程

资源