快捷方式

torch.nn.attention.bias.causal_upper_left

torch.nn.attention.bias.causal_upper_left(*size)[源代码]

创建左上角三角因果偏差。

此函数生成一个左上角三角矩阵,以表示具有对角线偏移的因果注意力偏差,以便包含值与矩阵的左上角对齐。这等效于 scaled_dot_product_attention 中的 is_causal=True 参数。

构建此偏差的等效 PyTorch 代码为

torch.tril(torch.ones(size, dtype=torch.bool))

例如,对于 shape=(3,4),具体化的偏差张量将为

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]
参数

size – 偏差矩阵的大小。

返回值

UPPER_LEFT 三角因果偏差变体。

返回值类型

CausalBias

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源