torch.nn.attention.bias

定义与 scaled_dot_product_attention 一起工作的 bias 子类

CausalBias

CausalBias

表示因果注意力模式的 bias。

causal_lower_right	创建一个右下三角因果 bias。
causal_upper_left	创建一个左上三角因果 bias。
CausalVariant	用于注意力机制的因果变体的枚举。