大模型是怎么「说话」的

用手机打字时，你一定注意过输入法的「联想」：打出「今天天气」，候选栏里就冒出「真好」「怎么样」「预报」。它是根据你前面打过的字，猜你下一个最可能想打什么。

如果告诉你，那些能写文章、能聊天、能编程的大模型，核心原理和这个「猜下一个词」惊人地相似，你可能不太相信。这节课就来揭开这个秘密：大模型「说话」，本质上只做一件事——根据前文，预测下一个词。

一个词一个词地「接龙」

你问大模型：「推荐一本适合入门的历史书」。它并不是先在脑子里想好一整段话再说出来，而是这样工作的：

所以你在 AI 对话里看到文字一个一个往外「蹦」，并不只是为了好看的打字效果，而是它真的在逐个生成。严格来说，模型处理的单位叫 Token，可能是一个字、一个词，也可能是词的一部分，下一个系列会专门讲；这里先简单理解成「词」就好。

我们用一句话看看「预测」长什么样。假设前文是「窗外下起了大」，模型对下一个字的判断可能类似下面这样（数字仅为示意）：

模型通常倾向于选可能性高的词，但也会带一点随机性。这就是为什么同一个问题问两次，答案往往不完全一样。

这种逐词生成还有一个特点：在一次生成里，写出去的词就收不回来了。它没法像人写文章那样回头改前面的段落，一旦开头走偏，后面往往只能顺着偏下去。这也是为什么写长文时，先让 AI 列提纲、确认方向后再展开，效果通常更好。

你也许会想：这不就是个高级输入法吗？怎么能写报告、解数学题？

关键在于：想把下一个词猜准，就不得不「懂」很多东西。

大模型在训练时读了海量的文本，包括书籍、网页、百科、代码等。整个训练过程就是反复做同一道题：遮住下一个词，让模型猜，猜错了就调整参数。为了在天文数字般的练习里越猜越准，模型被迫在内部形成了对语法、常识、知识和推理方式的某种「压缩」。

打个比方：一个人如果能准确续写任何领域的文章，那他一定读过很多书，而且读懂了不少。大模型的「聪明」，就是这样被「逼」出来的。

注意：这种「懂」和人的理解并不完全一样。模型学到的是文字之间极其复杂的统计规律，它没有亲眼见过下雨，也没被杯子砸过脚。

很多人以为大模型里存着一个巨大的资料库，回答问题时去里面翻找。其实不是。训练结束后，模型留下的只是那一大堆调好的参数，并没有像资料库那样把读过的文章一篇篇存起来（当然，对反复出现过无数次的名句名段，它也可能背得一字不差）。

更贴切的比喻是：一个人读了很多书之后，用自己的话复述书里的内容。常见的、反复出现的知识，他记得又准又牢；只出现过一两次的冷门细节，就容易记混、张冠李戴。这就是为什么 AI 回答常识问题很稳，一问到冷门的人名、日期、条款编号，就容易出错。

只经过海量文本训练的模型叫「预训练模型」，它其实还不太会聊天，只会续写。

比如你输入「中国的首都是哪里？」，一个纯粹的预训练模型可能接着写出「日本的首都是哪里？美国的首都是哪里？」——因为在它读过的文本里，这类问题常常成串出现在练习题中。它并没有「我该回答问题」这个概念。

要让它变成我们熟悉的助手，还需要两步「调教」：

如果说预训练让它成了读遍图书馆的「书呆子」，那么微调和对齐就是教它「好好说话、懂分寸」。这个过程在「大模型原理」系列里会详细展开。

一旦明白了「根据前文预测下一个词」，很多让人困惑的现象就都说得通了：

你观察到的现象	背后的原因
同一个问题，每次回答不太一样	选词时带有随机性，不是每次都选可能性最高的那个
会一本正经地编出书名、数据、引用	它生成的是「看起来最像正确答案的文字」，而不是去数据库里查；这叫「幻觉」
不知道最近发生的事	知识来自训练数据，而训练数据有截止时间
数错一个英文单词里某个字母的个数，或算错复杂运算	它按 Token 而不是逐个字母处理文字，也不是像计算器那样一位一位地算
问得越具体，答得越好	前文决定后文，你给的信息越充分，它「接」得越准
让它「一步一步想」，难题更容易做对	先写出中间步骤，相当于给自己补充了前文，后面的预测更有依据

最后两条特别有用：你写的提示词，就是它的「前文」。你写下的每一个字，都在影响它接下来生成什么。这也是为什么学会写提示词如此重要，我们会在「提示词入门」系列里专门练习。

先看一组对比：

错误示范：
帮我写个文案。

正确示范：
我在小区门口开了一家水果店，这周末要做「满 50 减 10」的活动。
请帮我写一条发在业主群里的通知，80 字以内，语气亲切，不要用夸张的营销词。

第一种问法前文太少，AI 只能「接」出一段放在哪儿都行的空话；第二种问法清楚地限定了场景、目的、字数和语气，它接出来的内容自然更贴合你的需要。