torchtune.rlhf

用于 RLHF 算法（如 PPO 和 DPO）的组件和损失。

estimate_advantages	使用广义优势估计来估计 PPO 算法的优势和回报 https://arxiv.org/pdf/1506.02438.pdf
get_rewards_ppo	计算给定分数、logprobs 和参考 logprobs 的 PPO 奖励。
truncate_sequence_at_first_stop_token	在第一个停止标记后截断序列，并用 fill_value 填充。
loss.PPOLoss	近端策略优化 (PPO) 损失模块。
loss.DPOLoss	直接偏好优化 (DPO) 损失模块：https://arxiv.org/abs/2305.18290 论文中的简单陈述
loss.RSOLoss	统计拒绝采样优化 (RSO) 或“铰链”损失模块：https://arxiv.org/abs/2309.06657。
loss.SimPOLoss	使用无参考奖励的简单偏好优化：https://arxiv.org/abs/2405.14734。