预训练、微调与对齐：大模型是怎么炼成的

想象你要培养一位私人助理。先让他上学，读遍各种书，知识面极广，但说话可能不着调；再做岗前培训，让他学会听懂指令、按要求交付；最后还要学「分寸」：什么回答更有帮助，什么话不该说，什么事不能做。

大模型的诞生过程，大致也是这三步：预训练、微调、对齐。前两节我们讲了神经网络怎么学习、Transformer 长什么样，这一节就来看，一个大模型是怎样从「读遍互联网的博学者」变成「懂规矩的好助手」的。

第一步：预训练——练成「接龙高手」

预训练的任务简单到让人意外：给一段文字，遮住下一个词，让模型猜。猜错了，就用第一节讲的梯度下降和反向传播调整权重；然后换下一段，继续猜。

这件事有个巨大的好处：不需要人工标注答案。文本本身就自带答案——下一个词是什么，原文里写着呢。这种方式叫「自监督学习」，于是模型可以用上海量的文字：网页、书籍、百科、论文、代码等等。这些数据通常要经过去重、过滤低质量和有害内容等处理，规模常以万亿个 token 计。训练一个前沿大模型，往往要动用成千上万张 GPU 连续运转数周甚至数月。

为什么「猜下一个词」能学到这么多东西？因为要猜得准，就不得不理解：

• 要接上「水在标准大气压下的沸点是___」，得掌握常识；
• 要接上一段代码的下一行，得懂编程逻辑；
• 要猜出侦探小说最后一页凶手的名字，得读懂前面的整条线索。

预训练结束后得到的叫基座模型。它知识渊博，但还不是「助手」——它只会续写。比如你问它一个问题，它可能这样「回答」：

输入：中国的首都是哪里？
基座模型可能的续写：
日本的首都是哪里？
美国的首都是哪里？
以上三题请在五分钟内作答。

因为在它读过的网页里，这种句子常常出现在一串练习题当中。它不是故意答非所问，而是根本还没学会「有人在问我问题，我该回答」这件事。

第二步：监督微调——学会「当助手」

接下来要教它助手的「工作方式」。做法是准备大量高质量的示范：「指令 → 理想回答」，比如「把这段话改得更正式 → 改好的版本」「解释什么是通货膨胀 → 一段清楚的解释」。然后用同样的「猜下一个词」方法，在这些示范上继续训练。这一步叫监督微调（SFT）。

这就像岗前培训时给新员工看一摞优秀范例。数据量比预训练小得多，但对质量要求很高。经过这一步，模型学会了对话的格式：区分系统设定、用户和助手的角色，知道该回答问题、该按要求的格式输出、该在多轮对话里接住上文。

但示范这条路有个天花板：写出一个完美答案很难，判断两个答案哪个更好却容易得多。大多数人写不出一首好歌，却听得出哪首更好听。如果能利用这种「比较」的能力，就能把模型往人们更喜欢的方向推得更远。这就是第三步要做的事。

第三步：对齐——学会人类的偏好

「对齐」的意思是让模型的行为和人类的意图、价值观保持一致：有帮助、诚实、不造成伤害。最有代表性的方法有两种。

RLHF：先培养一位评委，再照着评分练

RLHF 的全称是「基于人类反馈的强化学习」。大致流程如下：

① 同一个问题，让模型写出几个不同的回答
② 人类标注员给这些回答排序，比如：B > A > C
③ 用大量排序数据训练一个「奖励模型」：一位学会预测人类偏好的 AI 评委
④ 用强化学习让模型反复作答、由评委打分、朝高分方向调整
   同时加一条约束：不许离原来的模型太远

为什么要加最后那条约束？因为模型很会「钻空子」。如果评委恰好偏爱长回答、偏爱自信的语气，模型就可能一味写长、一味笃定，分数涨了，质量反而下降。这就像学生摸清了阅卷老师的喜好，开始套模板拿高分。约束的作用是防止它为了讨好评委而「走火入魔」。

2022 年前后，这套方法被用来训练能听懂指令、好好说话的对话模型，是对话式 AI 走向大众的关键技术之一。

DPO：不请评委，直接对照好坏答案学

RLHF 效果好，但流程长：要单独训练评委，强化学习过程也不太稳定。2023 年，研究者提出了 DPO（直接偏好优化）。它用的还是同样的「好回答 vs 差回答」成对数据，但跳过了评委这一步，直接调整模型：让好回答出现的可能性相对升高，差回答相对降低，同样不许偏离原模型太远。

打个比方：RLHF 是先培养一位阅卷老师，再让学生反复做题、交给老师批改；DPO 则是直接把一篇篇「高分作文 vs 低分作文」成对摆在学生面前，让他自己体会差别。

此外还有一些新做法：比如让另一个模型依据一套写明的原则来给出反馈，减少人工标注量（常被称为 RLAIF）；又比如在数学、编程这类答案能被自动检验的任务上做强化学习，答对就给奖励——不少「推理模型」那种长链条的思考能力，就和这类训练有关。

对齐的副作用：为什么 AI 会讨好你

对齐塑造了 AI 的「性格」，也带来了一些副作用。了解它们，你就更会用 AI:

• 讨好（谄媚）。 人类评分时，往往更喜欢认同自己观点的回答，模型就可能学会顺着你说。
• 过度拒绝。 安全方面调得太紧，可能把正常的请求误判为危险请求。
• 知识截止。 训练一结束，知识就「冻结」了。对齐改变的是说话方式，不会让它知道训练之后发生的事。

针对「讨好」，提问方式很关键：

错误示范：我写的这个方案是不是很好？
（容易得到一堆客气的夸奖）

正确示范：请你扮演一位挑剔的投资人，找出这个方案最大的 3 个漏洞，
每个漏洞说明可能造成的后果，不需要夸奖优点。

想让模型「懂我的业务」：选提示词、知识库还是微调？

很多企业会问：要不要拿自己的数据微调一个模型？先看三条路的区别：

一个常见的经验是：微调更擅长改变「怎么说」，而想让模型「知道新东西」，接知识库检索通常更可靠、也更容易更新。所以实际项目里，一般先把提示词写好，不够再接知识库，最后才考虑微调。

本节要点

• 预训练靠「猜下一个词」从海量文本中学习，不需要人工标注，得到会续写但不会当助手的基座模型。
• 监督微调用「指令 → 理想回答」的示范，教会模型助手的格式和基本做法。
• RLHF 先用人类排序训练一个评委，再用强化学习朝高分方向调整，并约束模型别为讨好评委而跑偏。
• DPO 跳过评委，直接用「好回答 vs 差回答」的成对数据调整模型，流程更简单。
• 对齐带来讨好、过度拒绝等副作用；想让 AI 懂业务，一般按「提示词 → 知识库 → 微调」的顺序考虑。