torch.nn.attention.bias.causal_lower_right¶
- torch.nn.attention.bias.causal_lower_right(*size)[源代码]¶
创建右下三角因果偏置。
此函数生成一个右下三角矩阵来表示因果注意力偏置,并设置对角线偏移量,以便包含的值与矩阵的右下角对齐。
构建此偏置的等效 PyTorch 代码为
diagonal_offset = size[1] - size[0] torch.tril( torch.ones(size, dtype=torch.bool), diagonal=diagonal_offset, )
例如,对于 shape=(3,4),具体化的偏置张量将为
[[1, 1, 0, 0], [1, 1, 1, 0], [1, 1, 1, 1]]
- 参数
size – 偏置矩阵的大小。
- 返回值
LOWER_RIGHT 三角因果偏置变体。
- 返回类型