get_position_ids_from_padding_mask¶
- torchtune.generation.get_position_ids_from_padding_mask(padding_mask: Tensor)[source]¶
根据填充掩码计算位置 ID，位置 ID 右移以从第一个有效 token 开始。
- 参数:
padding_mask (torch.Tensor) – 布尔张量，其中 False 表示序列中对应的 token 是填充 token，应在注意力机制中被掩盖。形状 [bsz, seq_len]
- 返回:
根据任何填充值适当偏移的位置 ID。
- 返回类型:
示例
>>> padding_mask = torch.tensor([False, False, False, True, True, True, True, True]) >>> get_position_ids_from_padding_mask(padding_mask) torch.Tensor([0, 0, 0, 0, 1, 2, 3, 4])
