Ordinal

class torchrl.modules.Ordinal(scores: Tensor)

一种用于学习从有限有序集合中采样的离散分布。

与 Categorical 分布不同，Categorical 分布对其支持元素的原子不施加任何邻近性或顺序概念。Ordinal 分布明确编码了这些概念，这对于从连续集合中学习离散采样非常有用。详情请参阅 `Tang & Agrawal, 2020<https://arxiv.org/pdf/1901.10500.pdf>`_ 的 §5。

注意

当您想学习基于一个通过对连续集合离散化获得的有限集合上的分布时，此类别特别有用。

参数:

scores (torch.Tensor) – 形状为 […, N] 的张量，其中 N 是支持分布的集合大小。通常是参数化分布的神经网络的输出。

示例

>>> num_atoms, num_samples = 5, 20
>>> mean = (num_atoms - 1) / 2  # Target mean for samples, centered around the middle atom
>>> torch.manual_seed(42)
>>> logits = torch.ones((num_atoms), requires_grad=True)
>>> optimizer = torch.optim.Adam([logits], lr=0.1)
>>>
>>> # Perform optimisation loop to minimise deviation from `mean`
>>> for _ in range(20):
>>>     sampler = Ordinal(scores=logits)
>>>     samples = sampler.sample((num_samples,))
>>>     # Define loss to encourage samples around the mean by penalising deviation from mean
>>>     loss = torch.mean((samples - mean) ** 2 * sampler.log_prob(samples))
>>>     loss.backward()
>>>     optimizer.step()
>>>     optimizer.zero_grad()
>>>
>>> sampler.probs
tensor([0.0308, 0.1586, 0.4727, 0.2260, 0.1120], ...)
>>> # Print histogram to observe sample distribution frequency across 5 bins (0, 1, 2, 3, and 4)
>>> torch.histogram(sampler.sample((1000,)).reshape(-1).float(), bins=num_atoms)
torch.return_types.histogram(
    hist=tensor([ 24., 158., 478., 228., 112.]),
    bin_edges=tensor([0.0000, 0.8000, 1.6000, 2.4000, 3.2000, 4.0000]))