快捷方式

DiscreteTensorSpec

class torchrl.data.DiscreteTensorSpec(n: int, shape: torch.Size | None = None, device: DEVICE_TYPING | None = None, dtype: str | torch.dtype = torch.int64, mask: torch.Tensor | None = None)[源代码]

离散张量规范。

TorchRL 中分类变量的 OneHotTensorSpec 的替代方案。分类变量不使用乘法,而是执行索引,这可以加快计算速度并降低大型分类变量的内存成本。规范的最后一个维度(二进制向量的长度 n)不能被索引

示例

>>> batch, size = 3, 4
>>> action_value = torch.arange(batch*size)
>>> action_value = action_value.view(batch, size).to(torch.float)
>>> action = torch.argmax(action_value, dim=-1).to(torch.long)
>>> chosen_action_value = action_value[range(batch), action]
>>> print(chosen_action_value)
tensor([ 3.,  7., 11.])
参数:
  • n (int) – 可能结果的数量。

  • shape – (torch.Size,可选):变量的形状,默认为“torch.Size([])”。

  • device (strinttorch.device可选) – 张量的设备。

  • dtype (strtorch.dtype可选) – 张量的 dtype。

  • mask (torch.TensorNone) – 在采样时屏蔽一些可能的结果。有关更多信息,请参阅 update_mask()

assert_is_in(value: Tensor) None

断言张量是否属于该框,否则引发异常。

参数:

value (torch.Tensor) – 要检查的值。

clear_device_()

对于所有叶子规范(必须具有设备)而言,这是一个无操作。

contains(item)

返回样本是否包含在 TensorSpec 定义的空间内。

有关更多信息,请参阅 is_in()

encode(val: Union[ndarray, Tensor], *, ignore_device=False) Tensor

根据指定的规范对值进行编码,并返回相应的张量。

参数:

val (np.ndarraytorch.Tensor) – 要编码为张量的值。

关键字参数:

ignore_device (bool可选) – 如果为 True,则忽略规范设备。这用于在对 TensorDict(..., device="cuda") 的调用中对张量进行分组转换,这更快。

返回值:

与所需的张量规范匹配的 torch.Tensor。

expand(*shape)[源代码]

返回一个具有扩展形状的新规范。

参数:

*shape (int 的元组或可迭代对象) – 规范的新形状。必须符合当前形状:其长度必须至少与当前形状长度一样长,并且其最后一个值也必须符合;即,如果当前维度是单例,则它们只能与之不同。

flatten(start_dim, end_dim)

展平一个张量规范。

有关此方法的更多信息,请查看 flatten()

classmethod implements_for_spec(torch_function: Callable) Callable

为 TensorSpec 注册一个 torch 函数重写。

abstract index(index: Union[int, Tensor, ndarray, slice, List], tensor_to_index: Tensor) Tensor

索引输入张量。

参数:
  • index (int, torch.Tensor, slicelist) – 张量的索引

  • tensor_to_index – 要索引的张量

返回值:

索引后的张量

is_in(val: Tensor) bool[source]

如果值 val 在 TensorSpec 定义的范围内,则返回 True,否则返回 False。

参数:

val (torch.Tensor) – 要检查的值

返回值:

布尔值,指示值是否属于 TensorSpec 范围

project(val: Tensor) Tensor

如果输入张量不在 TensorSpec 范围内,则根据某种启发式方法将其映射回该范围。

参数:

val (torch.Tensor) – 要映射到范围内的张量。

返回值:

属于 TensorSpec 范围的 torch.Tensor。

rand(shape=None) Tensor[source]

返回规范定义的空间中的随机张量。除非范围是无界的,否则采样将是均匀的。

参数:

shape (torch.Size) – 随机张量的形状

返回值:

在 TensorSpec 范围内采样的随机张量。

reshape(*shape)

重塑张量规范。

有关此方法的更多信息,请查看 reshape()

property sample

返回规范定义的空间中的随机张量。

有关详细信息,请参见 rand()

squeeze(dim=None)[source]

返回一个新的 Spec,其中所有大小为 1 的维度都被删除。

当给出 dim 时,仅在该维度上执行压缩操作。

参数:

dim (intNone) – 要应用压缩操作的维度

to_numpy(val: Tensor, safe: Optional[bool] = None) dict[source]

返回输入张量对应的 np.ndarray。

参数:
  • val (torch.Tensor) – 要转换为 numpy 的张量。

  • safe (bool) – 布尔值,指示是否应该对值相对于规范域执行检查。默认为 CHECK_SPEC_ENCODE 环境变量的值。

返回值:

一个 np.ndarray

to_one_hot(val: Tensor, safe: Optional[bool] = None) Tensor[source]

将规范域中的离散张量编码为其对应的独热表示。

参数:
  • val (torch.Tensor, optional) – 要进行独热编码的张量。

  • safe (bool) – 布尔值,指示是否应该对值相对于规范域执行检查。默认为 CHECK_SPEC_ENCODE 环境变量的值。

返回值:

独热编码后的张量。

to_one_hot_spec() OneHotDiscreteTensorSpec[source]

将规范转换为等效的独热规范。

type_check(value: Tensor, key: Optional[NestedKey] = None) None

检查输入值的 dtype 与 TensorSpec 的 dtype 是否匹配,如果不匹配则引发异常。

参数:
  • value (torch.Tensor) – 需要检查 dtype 的张量

  • key (str, optional) – 如果 TensorSpec 具有键,则将检查输入值的 dtype 与由指定键指向的规范。

unflatten(dim, sizes)

展开张量规范。

有关此方法的更多信息,请查看 unflatten()

update_mask(mask)[source]

设置一个掩码,以防止在采样时出现某些可能的结果。

掩码也可以在规范初始化期间设置。

参数:

mask (torch.TensorNone) – 布尔掩码。如果为 None,则禁用掩码。否则,掩码的形状必须可扩展到等效的一热规范的形状。 False 掩盖一个结果,而 True 保留结果不被掩盖。如果所有可能的结果都被掩盖,则在采样时会引发错误。

示例

>>> mask = torch.tensor([True, False, True])
>>> ts = DiscreteTensorSpec(3, (10,), dtype=torch.int64, mask=mask)
>>> # One of the three possible outcomes is masked
>>> ts.rand()
tensor([0, 2, 2, 0, 2, 0, 2, 2, 0, 2])
view(*shape)

重塑张量规范。

有关此方法的更多信息,请查看 reshape()

zero(shape=None) Tensor

返回框中填充零的张量。

参数:

shape (torch.Size) – 零张量的形状

返回值:

在 TensorSpec 框中采样的填充零的张量。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源