Actor¶

class torchrl.modules.tensordict_module.Actor(*args, **kwargs)[source]¶

RL 中确定性 Actor 的通用类。

Actor 类具有 out_keys (["action"]) 的默认值，如果提供 spec 但不是作为 CompositeSpec 对象，它将自动转换为 spec = CompositeSpec(action=spec)。

参数：

module (nn.Module) – 用于将输入映射到输出参数空间的 Module。
in_keys (可迭代的 str, 可选) – 要从输入张量字典中读取并传递给模块的键。如果它包含多个元素，则将按 in_keys 可迭代给出的顺序传递值。默认值为 ["observation"]。
out_keys (可迭代的 str) – 要写入输入张量字典的键。out_keys 的长度必须与嵌入模块返回的张量数量匹配。使用 "_" 作为键避免将张量写入输出。默认值为 ["action"]。

关键字参数：

spec (TensorSpec, 可选) – 关键字参数。输出张量的规格。如果模块输出多个输出张量，则 spec 描述第一个输出张量空间。
safe (bool) – 关键字参数。如果为 True，则检查输出值的范围是否在输入规格内。由于探索策略或数值下溢/上溢问题，可能会发生域外采样。如果此值超出范围，则使用 project() 方法将其投影回所需空间。默认值为 False。

示例

>>> import torch
>>> from tensordict import TensorDict
>>> from torchrl.data import UnboundedContinuousTensorSpec
>>> from torchrl.modules import Actor
>>> torch.manual_seed(0)
>>> td = TensorDict({"observation": torch.randn(3, 4)}, [3,])
>>> action_spec = UnboundedContinuousTensorSpec(4)
>>> module = torch.nn.Linear(4, 4)
>>> td_module = Actor(
...    module=module,
...    spec=action_spec,
...    )
>>> td_module(td)
TensorDict(
    fields={
        action: Tensor(shape=torch.Size([3, 4]), device=cpu, dtype=torch.float32, is_shared=False),
        observation: Tensor(shape=torch.Size([3, 4]), device=cpu, dtype=torch.float32, is_shared=False)},
    batch_size=torch.Size([3]),
    device=None,
    is_shared=False)
>>> print(td.get("action"))
tensor([[-1.3635, -0.0340,  0.1476, -1.3911],
        [-0.1664,  0.5455,  0.2247, -0.4583],
        [-0.2916,  0.2160,  0.5337, -0.5193]], grad_fn=<AddmmBackward0>)

Actor¶

文档

教程

资源