torchtune.rlhf

RLHF 算法（如 PPO 和 DPO）的组件和损失函数。

estimate_advantages	使用广义优势估计 https://arxiv.org/pdf/1506.02438.pdf 估计 PPO 算法的优势和回报。
get_rewards_ppo	计算给定分数、对数概率和参考对数概率的 PPO 奖励。
truncate_sequence_at_first_stop_token	在第一个停止标记后截断序列，并用 fill_value 填充。
loss.PPOLoss	近端策略优化 (PPO) 损失模块。
loss.DPOLoss	直接偏好优化 (DPO) 损失模块：https://arxiv.org/abs/2305.18290 简单来说，来自论文。
loss.RSOLoss	统计拒绝采样优化 (RSO) 或“铰链”损失模块：https://arxiv.org/abs/2309.06657。
loss.SimPOLoss	SimPO：具有无参考奖励的简单偏好优化：https://arxiv.org/abs/2405.14734。