DTActor

class torchrl.modules.DTActor(state_dim: int, action_dim: int, transformer_config: Optional[Union[Dict, DTConfig]] = None, device: Optional[Union[device, str, int]] = None)

Decision Transformer Actor 类。

Decision Transformer 的 Actor 类，用于输出确定性动作，如 “Decision Transformer” <https://arxiv.org/abs/2202.05607.pdf> 中所述。 返回确定性动作。

参数:

• state_dim (int) – 状态维度。

• action_dim (int) – 动作维度。

• transformer_config (Dict 或 DecisionTransformer.DTConfig, 可选) – GPT2 Transformer 的配置。 默认为 default_config()。

• device (torch.device, 可选) – 要使用的设备。 默认为 None。

示例

>>> model = DTActor(state_dim=4, action_dim=2,
...     transformer_config=DTActor.default_config())
>>> observation = torch.randn(32, 10, 4)
>>> action = torch.randn(32, 10, 2)
>>> return_to_go = torch.randn(32, 10, 1)
>>> output = model(observation, action, return_to_go)
>>> output.shape
torch.Size([32, 10, 2])

classmethod default_config()

DTActor 的默认配置。

forward(observation: Tensor, action: Tensor, return_to_go: Tensor) → Tensor

定义每次调用时执行的计算。

应由所有子类重写。

注意

尽管前向传递的配方需要在该函数内定义，但应该在此之后调用 Module 实例而不是此函数，因为前者负责运行注册的钩子，而后者会默默地忽略它们。