torch.nn.attention.bias.causal_lower_right

torch.nn.attention.bias.causal_lower_right(*size)

创建一个右下角三角形的因果偏差。

此函数生成一个右下角三角形矩阵，用于表示因果注意力偏差，其对角线偏移量设置使得包含的值对齐到矩阵的右下角。

构建此偏差的等效 PyTorch 代码如下：

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如，对于 shape=(3,4)，具体化的偏差张量将是：

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

参数

size – 偏差矩阵的大小。

返回

右下角三角形因果偏差变体。

返回类型

CausalBias