小默说AI（22）RLHF——让AI学会人类价值观

RLHF——让AI学会人类价值观上集我们讲了强化学习的基本概念：智能体在环境中试错，通过奖励信号调整行为策略。但一个关键问题浮现出来了——奖励从哪来？如果每件事都要人工设计奖励函数，那工作量岂不要命？这就是RLHF要解决的问题。RLHF，全称Reinforcement Learned From Human Feedback，翻译过来就是"从人类反馈中学习的强化学习"。简单说，它让AI学会一件事：人类喜欢什么样的回答。为什么要搞RLHF呢？因为现在的预训练大模型虽然知识渊博，什么都知道，但它们不知道什么样的回答才是"好的"。就像一个博学但没有规矩的学生，能答出很多内容，但可能答非所问或者让人不舒服。一、RLHF是什么RLHF的核心流程可以概括为四个步骤：第一步，用已有的预训练大模型；第二步，收集人类偏好数据；第三步，训练奖励模型；第四步，用强化学习调优。每一步都在让模型更像人。这四个步骤环环相扣，缺一不可。没有预训练模型，就没有知识基础；没有人类偏好数据，就没有学习方向；没有奖励模型，就没有评判标准；没有强化学习，就无法把学到的东西变成模型的实际能力。RLHF四个核心步骤：预训练→人类偏好数据→奖励模型→强化学习调优二、预训练模型：博学的学生第一步，预训练模型。这些模型读遍了互联网上的文本，知识渊博，能写会画，翻译写作信手拈来。但问题在于，它们只学会了"说什么"，没有学会"怎么说是好的"。你问一个预训练模型"今天天气怎么样"，它可能给你一堆气象数据，也可能给你一个诗意的描述，也可能说"我不知道"。它什么都知道一点，但不知道什么回答才是你真正想要的。这就像一个学生，读了很多书，知道很多知识，但不懂社交规则，不会看人脸色。它说的每一句话都"正确"，但未必"合适"。预训练模型需要有人类来教它：在什么场景