torchtune.generation

generate	根据提示从模型生成 tokens，并返回生成的 logits。
generate_next_token	根据提示生成下一个 tokens，并返回相应的 logits。
sample	从概率分布中进行通用采样。
get_causal_mask_from_padding_mask	将形状为 [bsz, seq_len] 的 padding mask 转换为 [bsz, seq_len, seq_len] 的因果注意力 mask，适用于 scaled_dot_product_attention() 使用。
get_position_ids_from_padding_mask	根据 padding mask 计算位置 id，该 padding mask 右移位置 id 以从第一个有效 token 开始。