torch.nn.attention.bias

定义与 scaled_dot_product_attention 协同工作的偏差子类

CausalBias

CausalBias

表示因果注意模式的偏差。

causal_lower_right	创建右下三角因果偏差。
causal_upper_left	创建左上三角因果偏差。
CausalVariant	用于注意机制中的因果变体的枚举。