torchtune.rlhf

RLHF 算法（如 PPO 和 DPO）的组件和损失函数。

estimate_advantages	使用广义优势估计 (Generalized Advantage Estimation) 为 PPO 算法估计优势和回报 https://arxiv.org/pdf/1506.02438.pdf
get_rewards_ppo	计算给定分数、对数概率 (logprobs) 和参考对数概率的 PPO 奖励。
truncate_sequence_at_first_stop_token	在第一个停止标记后截断序列，并使用 fill_value 进行填充。
loss.PPOLoss	近端策略优化 (PPO) 损失模块。
loss.DPOLoss	直接偏好优化 (DPO) 损失模块：https://arxiv.org/abs/2305.18290 论文中的简要说明
loss.RSOLoss	统计拒绝采样优化 (RSO) 或“铰链”损失模块：https://arxiv.org/abs/2309.06657。