大模型为什么越训越强为什么有些能力像“突然冒出来”开篇别把 Scaling Law 理解成“越大越好”很多人一听 Scaling Law就会下意识理解成“模型参数越多越强”。这句话只说对了一小半。真正影响大模型效果的不只有参数量还有训练数据量和训练算力。一个 175B 的模型如果只看过很少的数据可能还不如一个更小但训练更充分的模型。一、Scaling Law 到底是什么Scaling Law 可以理解成一张“训练投入产出表”。它研究的是当模型参数 N、训练数据 D、训练算力 C 增大时模型的 loss 会怎么变化。Kaplan 等人在 2020 年的研究中发现语言模型的 loss 会随模型大小、数据量和训练计算量按幂律下降。“幂律下降”听起来很数学换成白话就是规模变大通常会带来更好效果而且这种提升不是完全靠玄学猜而是可以用经验公式提前估算。它让大模型训练从“试试看”变成了更可预算的工程项目。loss 按幂律下降收益会变慢但仍可预测常见写法可以简化成下面这个形式# 一个简化版理解规模变大loss 按幂律下降loss ≈ A /(scale ** alpha) irreducible_loss# scale 可以代表参数量、数据量或训练计算量# alpha 是经验拟合出来的指数不同实验会有差异二、为什么 Chinchilla 说“别只堆参数”早期大模型路线容易把注意力放在参数量上模型越大看起来越厉害。但 DeepMind 的 Chinchilla 论文指出很多大模型其实是“欠训”的也就是参数很多但训练 token 不够。Chinchilla 的核心结论是在固定训练算力下参数量和训练 token 数要一起增长。常见的经验理解是每 1 个参数大约配 20 个训练 token。它不是说数据超过这个比例就没用而是在固定训练预算下给出一个更合理的分配方向。举个直观例子GPT-3 是 175B 参数训练数据约 300B tokens比例大约是 1:1.7Chinchilla 是 70B 参数训练约 1.3T tokens比例接近 1:20。结果 Chinchilla 虽然参数少很多但在不少任务上超过了更大的模型。后来的 Llama 3、Qwen3 又把“多喂高质量数据”推得更激进。Llama 3 使用超过 15T tokens 训练Qwen3 系列也强调 36T tokens 的大规模高质量预训练语料。这说明Chinchilla 的比例不是数据上限而是提醒我们不要只盯参数。三、算一下 token / 参数比例为什么有用在看一个模型训练是否充分时可以先粗略算一个指标训练 token 数 / 参数量。它不能直接决定模型强弱但能帮助判断模型是“参数大但没吃饱”还是“小模型吃了很多数据”。def tokens_per_parameter(params_billion, tokens_trillion):返回每个参数大约配了多少 tokenreturntokens_trillion *1000/ params_billion print(tokens_per_parameter(175,0.3))# GPT-3: 约 1.7print(tokens_per_parameter(70,1.3))# Chinchilla: 约 18.6print(tokens_per_parameter(8,15))# Llama 3 8B: 约 1875print(tokens_per_parameter(0.6,36))# Qwen3 0.6B: 约 60000这个数字越大不代表一定越好因为数据质量、训练轮次、模型结构、后训练方式都会影响效果。但它能提醒我们一个模型参数不大也可能因为训练数据非常多而很能打。四、什么是“涌现能力”涌现能力指的是某项能力在小模型上几乎看不到但模型规模超过某个范围后突然表现出来。典型例子包括多步推理、上下文学习、复杂指令理解、代码能力、跨语言迁移等。这也是为什么很多人觉得大模型“突然聪明了”。不是模型被显式教会了某个任务而是当参数、数据和训练规模到达一定程度后模型内部学到的模式足够丰富开始能组合出更复杂的能力。涌现能力与评估指标有关不能只看单一曲线五、涌现一定是真“突然出现”吗这里有一个很重要的争议。Wei 等人的论文把涌现定义为“小模型没有、大模型才有”的能力但 2023 年的 Mirage 论文提出很多涌现现象可能与评估指标有关。比如一个多步算术题如果只看最终答案是否完全正确那模型错一步就是 0 分对了就是 1 分曲线就容易出现突然跃迁。但如果换成“每一步答对多少”的连续指标曲线可能会平滑很多。所以更稳妥的理解是模型规模变大确实会带来能力提升但“涌现”不一定是魔法式突变很多时候是连续能力提升被离散评估指标放大了。六、为什么 Llama 3、Qwen3 这类小模型也能很强从工程角度看训练一个超大模型很贵部署一个超大模型也很贵。参数越多推理显存、延迟和成本通常越高。如果能用更小参数的模型通过更多高质量训练数据获得接近甚至超过大模型的效果部署成本就会低很多。这就是近几年“小模型 海量高质量数据”路线越来越重要的原因。它不一定追求训练算力最优而是追求部署时的成本收益更好模型小、速度快、显存低、可私有化部署。七、三组概念别混了Scaling Law、Chinchilla、涌现能力经常一起出现但它们回答的问题不同。Scaling Law 看“投入和 loss 的关系”Chinchilla 看“固定训练预算下参数和数据怎么配”涌现能力看“某些任务为什么在大模型上才明显出现”。八、实际项目怎么用这套思路如果你在企业里选模型不需要自己从零训练千亿模型也可以用这套思路做判断。比如看开源模型时不要只看参数量还要看训练 token 数、数据质量、上下文长度、后训练质量、推理成本和业务评测结果。同样预算下不要盲目追求最大参数要看模型是否训练充分。业务任务强不强要用自己的评测集验证不能只看通用榜单。小模型如果吃了足够多的高质量数据在很多场景里可能更划算。涌现能力不能只听宣传要看任务、指标和失败样本。训练和部署目标不同训练算力最优不一定等于推理成本最优。九、面试怎么回答可以这样组织答案Scaling Law 研究模型效果如何随参数、数据、算力扩大而变化核心规律是 loss 按幂律下降。它告诉我们模型规模提升不是完全随机的而是有可预测趋势。但不能把它理解成“参数越多越好”。Chinchilla 论文指出在固定训练算力下参数和训练 token 要更均衡很多早期大模型是欠训的。后来 Llama 3、Qwen3 这类模型进一步说明为了降低推理成本较小模型加上海量高质量数据也能取得很强效果。涌现能力则是 Scaling Law 之外的现象某些能力在小模型上不明显规模上来后才出现。但也要知道 Mirage 论文的争议部分涌现可能由离散评估指标造成所以工程上要用多指标、多任务来验证而不是迷信单个临界规模。
什么是 Scaling Law？大模型的「涌现能力」是怎么回事？
大模型为什么越训越强为什么有些能力像“突然冒出来”开篇别把 Scaling Law 理解成“越大越好”很多人一听 Scaling Law就会下意识理解成“模型参数越多越强”。这句话只说对了一小半。真正影响大模型效果的不只有参数量还有训练数据量和训练算力。一个 175B 的模型如果只看过很少的数据可能还不如一个更小但训练更充分的模型。一、Scaling Law 到底是什么Scaling Law 可以理解成一张“训练投入产出表”。它研究的是当模型参数 N、训练数据 D、训练算力 C 增大时模型的 loss 会怎么变化。Kaplan 等人在 2020 年的研究中发现语言模型的 loss 会随模型大小、数据量和训练计算量按幂律下降。“幂律下降”听起来很数学换成白话就是规模变大通常会带来更好效果而且这种提升不是完全靠玄学猜而是可以用经验公式提前估算。它让大模型训练从“试试看”变成了更可预算的工程项目。loss 按幂律下降收益会变慢但仍可预测常见写法可以简化成下面这个形式# 一个简化版理解规模变大loss 按幂律下降loss ≈ A /(scale ** alpha) irreducible_loss# scale 可以代表参数量、数据量或训练计算量# alpha 是经验拟合出来的指数不同实验会有差异二、为什么 Chinchilla 说“别只堆参数”早期大模型路线容易把注意力放在参数量上模型越大看起来越厉害。但 DeepMind 的 Chinchilla 论文指出很多大模型其实是“欠训”的也就是参数很多但训练 token 不够。Chinchilla 的核心结论是在固定训练算力下参数量和训练 token 数要一起增长。常见的经验理解是每 1 个参数大约配 20 个训练 token。它不是说数据超过这个比例就没用而是在固定训练预算下给出一个更合理的分配方向。举个直观例子GPT-3 是 175B 参数训练数据约 300B tokens比例大约是 1:1.7Chinchilla 是 70B 参数训练约 1.3T tokens比例接近 1:20。结果 Chinchilla 虽然参数少很多但在不少任务上超过了更大的模型。后来的 Llama 3、Qwen3 又把“多喂高质量数据”推得更激进。Llama 3 使用超过 15T tokens 训练Qwen3 系列也强调 36T tokens 的大规模高质量预训练语料。这说明Chinchilla 的比例不是数据上限而是提醒我们不要只盯参数。三、算一下 token / 参数比例为什么有用在看一个模型训练是否充分时可以先粗略算一个指标训练 token 数 / 参数量。它不能直接决定模型强弱但能帮助判断模型是“参数大但没吃饱”还是“小模型吃了很多数据”。def tokens_per_parameter(params_billion, tokens_trillion):返回每个参数大约配了多少 tokenreturntokens_trillion *1000/ params_billion print(tokens_per_parameter(175,0.3))# GPT-3: 约 1.7print(tokens_per_parameter(70,1.3))# Chinchilla: 约 18.6print(tokens_per_parameter(8,15))# Llama 3 8B: 约 1875print(tokens_per_parameter(0.6,36))# Qwen3 0.6B: 约 60000这个数字越大不代表一定越好因为数据质量、训练轮次、模型结构、后训练方式都会影响效果。但它能提醒我们一个模型参数不大也可能因为训练数据非常多而很能打。四、什么是“涌现能力”涌现能力指的是某项能力在小模型上几乎看不到但模型规模超过某个范围后突然表现出来。典型例子包括多步推理、上下文学习、复杂指令理解、代码能力、跨语言迁移等。这也是为什么很多人觉得大模型“突然聪明了”。不是模型被显式教会了某个任务而是当参数、数据和训练规模到达一定程度后模型内部学到的模式足够丰富开始能组合出更复杂的能力。涌现能力与评估指标有关不能只看单一曲线五、涌现一定是真“突然出现”吗这里有一个很重要的争议。Wei 等人的论文把涌现定义为“小模型没有、大模型才有”的能力但 2023 年的 Mirage 论文提出很多涌现现象可能与评估指标有关。比如一个多步算术题如果只看最终答案是否完全正确那模型错一步就是 0 分对了就是 1 分曲线就容易出现突然跃迁。但如果换成“每一步答对多少”的连续指标曲线可能会平滑很多。所以更稳妥的理解是模型规模变大确实会带来能力提升但“涌现”不一定是魔法式突变很多时候是连续能力提升被离散评估指标放大了。六、为什么 Llama 3、Qwen3 这类小模型也能很强从工程角度看训练一个超大模型很贵部署一个超大模型也很贵。参数越多推理显存、延迟和成本通常越高。如果能用更小参数的模型通过更多高质量训练数据获得接近甚至超过大模型的效果部署成本就会低很多。这就是近几年“小模型 海量高质量数据”路线越来越重要的原因。它不一定追求训练算力最优而是追求部署时的成本收益更好模型小、速度快、显存低、可私有化部署。七、三组概念别混了Scaling Law、Chinchilla、涌现能力经常一起出现但它们回答的问题不同。Scaling Law 看“投入和 loss 的关系”Chinchilla 看“固定训练预算下参数和数据怎么配”涌现能力看“某些任务为什么在大模型上才明显出现”。八、实际项目怎么用这套思路如果你在企业里选模型不需要自己从零训练千亿模型也可以用这套思路做判断。比如看开源模型时不要只看参数量还要看训练 token 数、数据质量、上下文长度、后训练质量、推理成本和业务评测结果。同样预算下不要盲目追求最大参数要看模型是否训练充分。业务任务强不强要用自己的评测集验证不能只看通用榜单。小模型如果吃了足够多的高质量数据在很多场景里可能更划算。涌现能力不能只听宣传要看任务、指标和失败样本。训练和部署目标不同训练算力最优不一定等于推理成本最优。九、面试怎么回答可以这样组织答案Scaling Law 研究模型效果如何随参数、数据、算力扩大而变化核心规律是 loss 按幂律下降。它告诉我们模型规模提升不是完全随机的而是有可预测趋势。但不能把它理解成“参数越多越好”。Chinchilla 论文指出在固定训练算力下参数和训练 token 要更均衡很多早期大模型是欠训的。后来 Llama 3、Qwen3 这类模型进一步说明为了降低推理成本较小模型加上海量高质量数据也能取得很强效果。涌现能力则是 Scaling Law 之外的现象某些能力在小模型上不明显规模上来后才出现。但也要知道 Mirage 论文的争议部分涌现可能由离散评估指标造成所以工程上要用多指标、多任务来验证而不是迷信单个临界规模。
