OnlineDTActor

class torchrl.modules.OnlineDTActor(state_dim: int, action_dim: int, transformer_config: Dict | DecisionTransformer.DTConfig = None, device: DEVICE_TYPING | None = None)

在线决策 Transformer Actor 类。

在线决策 Transformer 的 Actor 类，用于从高斯分布中采样动作，如 “在线决策 Transformer” 中所述。

返回高斯分布的均值和标准差，用于从中采样动作。

参数：

• state_dim (int) – 状态维度。

• action_dim (int) – 动作维度。

• transformer_config (Dict 或 DecisionTransformer.DTConfig) – GPT2 变压器的配置。默认为 default_config()。

• device (torch.device, 可选) – 要使用的设备。默认为 None。

示例

>>> model = OnlineDTActor(state_dim=4, action_dim=2,
...     transformer_config=OnlineDTActor.default_config())
>>> observation = torch.randn(32, 10, 4)
>>> action = torch.randn(32, 10, 2)
>>> return_to_go = torch.randn(32, 10, 1)
>>> mu, std = model(observation, action, return_to_go)
>>> mu.shape
torch.Size([32, 10, 2])
>>> std.shape
torch.Size([32, 10, 2])

classmethod default_config()

的默认配置 OnlineDTActor。

forward(observation: Tensor, action: Tensor, return_to_go: Tensor) → Tuple[ Tensor, Tensor]

定义每次调用时执行的计算。

应由所有子类覆盖。

注意

虽然前向传递的配方需要在此函数中定义，但应该在之后调用 Module 实例，而不是这个，因为前者负责运行注册的钩子，而后者会静默地忽略它们。