torchtune.generation

generate	根据提示从模型生成 token，并返回生成结果的 logits。
generate_next_token	根据提示生成下一个 token，并返回相应的 logits。
sample	从概率分布中进行通用采样。
get_causal_mask_from_padding_mask	将形状为 [bsz, seq_len] 的 padding mask 转换为形状为 [bsz, seq_len, seq_len] 的因果注意力 mask，适用于 scaled_dot_product_attention() 的使用。
get_position_ids_from_padding_mask	给定一个 padding mask 计算位置 id，该 mask 将位置 id 右移，使其从第一个有效 token 开始。