快捷方式

torch.nn.attention.bias.causal_lower_right

torch.nn.attention.bias.causal_lower_right(*size)[源代码]

创建右下三角因果偏置。

此函数生成一个右下三角矩阵来表示因果注意力偏置,并设置对角线偏移量,以便包含的值与矩阵的右下角对齐。

构建此偏置的等效 PyTorch 代码为

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如,对于 shape=(3,4),具体化的偏置张量将为

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]
参数

size – 偏置矩阵的大小。

返回值

LOWER_RIGHT 三角因果偏置变体。

返回类型

CausalBias

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源