RLHF

RLHF 是什么

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是让大模型输出符合人类偏好与价值观的关键对齐技术。它解决「模型什么都会但不会好好说」的问题——回答质量、语气、安全合规，都通过人类反馈来校准。

三步流程

1. 收集人类偏好：让标注员对模型的多组回答排序，记录「哪个更好」。
2. 训练奖励模型：用偏好数据训练一个打分模型，预测人类会喜欢哪种回答。
3. 强化学习优化：用奖励模型打分驱动策略模型迭代，让模型倾向产出高分回答。

为什么重要

• 让模型更符合人类偏好：语气、结构、有用性对齐。
• 提升安全合规：减少有害、偏见与危险输出。
• 与 SFT、DPO 等组成对齐技术栈，是 GPT 等模型训练的关键一环。

常见误区

• RLHF 不是一步完成，而是「人类偏好 → 奖励模型 → 策略迭代」的闭环。
• 不是只有 RLHF 一种对齐方式，DPO 等轻量替代方案也流行。
• 人类反馈质量直接影响对齐效果，标注质量是关键。

小结

RLHF 用人类反馈校准大模型：先学偏好、再教模型。它是现代大模型对齐的核心技术之一，理解它就能理解「模型为什么会这么说话」。