规模定律、涌现与模型评测

每次有新模型发布，宣传图上几乎都是一排数字：「某某测试第一」「某某榜单登顶」「数学能力提升一大截」。看多了难免疑惑：模型为什么一代比一代强？这些分数又该信几分？

这一节讲两件事：模型变强背后的规模定律，以及怎样看懂各种评测和排行榜。最后，我们会教你给自己出一份「小考卷」，用真实任务来挑模型。

规模定律：三样东西一起加，误差稳步降

2020 年，OpenAI 的研究者做了一系列系统的实验，发现了一个很有规律的现象：语言模型预测下一个词的误差（也就是第一节讲的「损失」），会随着三样东西的增加而平稳下降——

参数量：模型有多少个「旋钮」；
训练数据量：模型读了多少 token；
训练算力：总共做了多少计算。

关键在于「平稳」和「有规律」。这种下降可以用一条光滑的曲线描述，研究者用一批小模型的实验结果，就能比较可靠地预测更大模型训练出来大概是什么水平。这给了业界投入巨资做大模型的底气：不是碰运气，而是可以预估的。

但这条曲线有个特点：越往后越平。

误差
 │ ●
 │    ●
 │        ●
 │             ●
 │                   ●
 │                          ●
 └──────────────────────────────── 投入(每一格是上一格的 10 倍)
   同样「翻十倍」的投入，换来的进步越来越小

用大白话说：每把投入扩大十倍，误差只会按一个大致固定的比例再降一截。这有点像考试提分：从 60 分提到 80 分相对容易，从 90 分提到 95 分要付出多得多的努力。

2022 年，DeepMind 的一项研究（常被称为 Chinchilla）又补上了重要的一块：在算力固定的情况下，参数量和训练数据应该大致同步增长。按这个标准，当时不少大模型都是「个头太大、书读得太少」，用同样的算力训练一个更小的模型、喂更多数据，效果反而更好。

这也解释了后来的几个趋势：

高质量数据成了稀缺资源，数据清洗、合成数据变得越来越重要；
中小模型读足够多的数据，也能做得相当强；
除了训练阶段，使用阶段也能「加规模」：让模型多想一会儿（推理模型），或者多生成几次再投票（「温度与采样」一节讲过），都能换来更好的结果。

涌现：模型会「突然开窍」吗

规模定律描述的是「平均误差」平稳下降。可在一些具体任务上，人们看到的却是另一番景象。

2022 年，有研究整理了一批现象：某些任务（比如多位数运算、一些需要多步推理的题目），小模型的成绩一直在随机猜测的水平徘徊，模型规模过了某个点之后，成绩忽然明显上升。研究者把这类能力称为涌现能力，好像模型「突然开窍」了。

2023 年，另一项研究给出了不同的解释：部分「突变」可能和评分方式有关。设想一道答案有 10 位数字的计算题，只有 10 位全对才算对：

每一位的正确率	50%	70%	90%	99%
10 位全部正确的概率	0.1%	2.8%	34.9%	90.4%

模型每一位的正确率其实在稳步提高，但在「全对才得分」的评分下，很长一段时间里成绩几乎都是 0，然后才迅速窜上去——看起来就像突然开窍。换成按位给分，曲线就平滑多了。

这就像练跳高：你每天进步一厘米，但横杆一直架在 1.8 米，前面几个月的记录全是「未过杆」，直到某一天突然「过了」。进步其实一直在发生，只是记分方式没体现出来。

学界对涌现仍在讨论。对普通用户来说，更实用的结论是：模型变大带来的能力提升通常是真实的，但某项具体能力会在多大规模出现，很难提前精确预言。所以新模型好不好用，终究要拿你的任务实测。

评测集：模型的「考试卷」

评测集（也叫基准测试）就是给模型准备的标准化考卷。常见的有这几类：

类型	考什么	常见例子	需要注意
知识问答	多学科选择题	MMLU、C-Eval、CMMLU	选择题可以蒙，和实际使用有距离
数学推理	解题过程和答案	GSM8K（小学数学应用题）、MATH（竞赛数学）	老题目容易被模型「见过」
编程	写出能通过测试的代码	HumanEval、SWE-bench（修复真实代码仓库里的问题）	覆盖的场景有限
人类偏好	真人匿名对比两个回答并投票	「竞技场」式排行榜	投票者容易偏爱更长、更漂亮、更讨喜的回答
长文本与智能体	在长材料里找信息、完成多步任务	「大海捞针」测试、各类智能体评测	方法还在快速演变

考卷也会「过时」。一份评测推出几年后，主流模型的分数都挤在很高的位置，彼此拉不开差距，这叫饱和。于是研究者会不断推出更难的新考卷，这也是你总能看到新榜单名字的原因。

跑分为什么会「虚高」

把评测和学校考试对照着看，问题就很清楚了：

考试里的问题	评测里的对应
考前泄题	数据污染：题目和答案被读进了训练数据
只练考点、背套路	针对榜单专门优化
开卷、闭卷、限时不同	测试条件不统一
卷面整洁能拿印象分	偏好榜偏爱长而漂亮的回答

数据污染是最需要警惕的一项。预训练要读遍互联网，而很多评测的题目和答案本来就公开在网上，很可能被一起读进去。模型考出高分，也许是真会做，也许只是「见过原题」。研究者的检验办法之一，是把题目换个数字、换种说法，重新出一套难度相同的题；有研究这样做之后发现，部分模型的成绩明显下滑。另一种办法是专门用模型训练截止之后才出现的新题来考。

针对性优化也很常见。经济学里有一条常被引用的「古德哈特定律」，大意是：一个指标一旦成为大家追逐的目标，它就不再是一个好指标。榜单越受关注，越容易被刻意「刷」。

测法不同同样会造成很大差异：给不给示例、允不允许先思考、能不能多次作答取最好、提示词怎么写，都可能让同一个模型的分数差出一截。不同厂商各自公布的成绩，未必是在相同条件下测得的，直接横向比较要格外小心。

普通人怎么选：给自己出一份「小考卷」

榜单可以参考，但最可靠的依据，是模型在你自己的任务上表现如何。做法并不复杂：

选题：从真实工作里挑 10~20 个有代表性的任务，比如写周报、改合同条款、写表格公式、回复客户，最好包含几个你知道标准答案的；
同题同条件：同一份提示词和材料，分别交给几个候选模型；打分时尽量隐去模型名字，避免先入为主；
按你在乎的维度打分：准确性、格式是否遵循、语气是否合适、速度和成本；
多跑几次：每个任务跑两三遍，看结果稳不稳定（还记得「温度与采样」那一节讲的「抽签」吗）；
定期复测：模型更新很快，隔几个月或有新模型时再考一次。

记录表可以很简单：

任务：把会议纪要整理成待办清单，含负责人和截止时间
模型 A：准确 __/5 · 格式 __/5 · 语气 __/5 · 稳定性 __/5
模型 B：准确 __/5 · 格式 __/5 · 语气 __/5 · 稳定性 __/5
备注：哪个漏了信息、哪个格式出错、哪个最省事

小贴士：只要你的小考卷不公开到网上，就基本不存在「泄题」问题，这正是它比公开榜单更可靠的地方。

本节要点

规模定律：增加参数、数据和算力，模型误差会平稳、可预测地下降，但每一步进步的代价越来越高。
参数和数据要大致同步增长；使用阶段「多想一会儿」或多次投票，也是一种扩展规模的方式。
「涌现」的突变感，部分可能来自「全对才得分」的评分方式；某项能力何时出现很难提前精确预言。
评测集是模型的考卷，但会饱和，还可能因数据污染、刷榜、测法不同和评审偏好而失真。
选模型最可靠的办法，是用自己的真实任务出一份「小考卷」，在相同条件下盲评并定期复测。