get_position_ids_from_padding_mask¶
- torchtune.generation.get_position_ids_from_padding_mask(padding_mask: Tensor)[source]¶
根据 padding mask 计算位置 ID，该 mask 会将位置 ID 右移以从第一个有效 token 开始。
- 参数：
padding_mask (torch.Tensor) – 布尔张量，其中 False 表示序列中相应的 token 是 padding token，应在注意力中被 mask 掉。形状 [bsz, seq_len]
- 返回：
根据任何 padding 值适当移位的位置 ID。
- 返回类型：
示例
>>> padding_mask = torch.tensor([False, False, False, True, True, True, True, True]) >>> get_position_ids_from_padding_mask(padding_mask) torch.Tensor([0, 0, 0, 0, 1, 2, 3, 4])
