torchtune.generation

generate	根据提示从模型生成令牌，并返回生成的 logits。
generate_next_token	根据提示生成下一个令牌，并返回相应的 logits。
sample	从概率分布中进行通用采样。
get_causal_mask_from_padding_mask	将形状为 [bsz, seq_len] 的填充掩码转换为适合由 scaled_dot_product_attention() 使用的 [bsz, seq_len, seq_len] 因果注意力掩码。
get_position_ids_from_padding_mask	根据填充掩码计算位置 ID，该填充掩码将位置 ID 右移以从第一个有效令牌开始。