不知道你有没有这种感觉几年前我们跟AI说话它还像个笨拙的客服只会回答预设好的问题稍微超出范围就“死机”。但突然之间以GPT为代表的大模型仿佛一夜之间“打通了任督二脉”。它们不仅能写诗、写代码甚至能解出复杂的数学推理题表现得就像突然有了“意识”一样。这种“突然变聪明”的现象在AI界有一个非常性感的名字——涌现能力。今天我们就来深度扒一扒这层笼罩在大模型身上的神秘面纱背后到底隐藏着怎样的技术真相它是真的“灵智初开”还是一场精心编排的“魔术表演”一、什么是“涌现”不止是变大那么简单要理解“涌现”我们可以先看一个生活中的例子。水是湿的但单个水分子是干的。蚂蚁个体几乎没有智商但几百万只蚂蚁组成的蚁群却能建造复杂的巢穴、规划行军路线。这就是涌现——当个体简单地组合在一起时整体展现出了个体根本不具备的全新特性。在大模型领域这个概念被一篇经典论文《Emergent Abilities of Large Language Models》正式定义如果一个能力在小型模型中不存在但在大型模型中存在那么这个能力就是“涌现”的。听起来有点绕简单来说就是模型太小它就是弱智一旦参数规模跨过某个临界点智商瞬间爆表。在临界点之前你往模型里塞再多的数据、再好的算法它都像是个装不满水的杯子但一旦跨过那条线杯子满了甚至溢出来的水都带着“智慧”的味道。二、现场直击跨越临界点的“智力的飞跃”那么研究者们是怎么捕捉到这种“飞跃”的我们来看两个经典的实验。实验一少样本提示——给个例子它就能举一反三什么是少样本提示就是你想让AI干活不用给它写长篇大论的说明书只需要在对话框里甩给它两三个例子它就能照猫画虎。比如做影评情感分析输入观众评论这部电影让我看得昏昏欲睡。情感分析负面。观众评论剧情紧凑全程无尿点情感分析正面。观众评论这配乐简直是噪音污染。情感分析我们期待模型能把最后一句判定为“负面”。研究者们拿不同大小的模型来做这个测试横轴是模型的规模用浮点运算数FLOPs或参数量表示纵轴是模型在算术题评测集上的准确率。结果出来了一张令人震惊的图表当模型参数量在13亿以下时它在做三位数加减法时的表现跟瞎蒙差不多准确率惨不忍睹。但当模型参数量突破130亿大关浮点运算数跨过 10221022 这个门槛时奇迹发生了——准确率曲线像旱地拔葱一样陡然直线拉升不仅是GPT-3研究者们在LaMDA、Gopher、PaLM等一系列当时最顶尖的模型上都发现了同样的规律。这就好比一个孩子你给他灌输知识他一直闷不做声你以为他没学会。突然有一天他不仅学会了加减法甚至连微积分都能解了。实验二思维链——让它“把思考过程写下来”另一个更震撼的例子是“思维链”。研究人员发现对于复杂的数学题如果你直接问大模型“答案是多少”模型规模小了就直接算错。但如果你在提示词里加上一句“请一步步思考”并引导它写出中间步骤大模型的表现瞬间就上去了。然而这种“让AI写下思考过程”的能力同样不是随随便便就出现的。实验数据表明对于小模型即使你逼着它“一步步思考”它给出的中间步骤也是胡言乱语最终答案依然是错的。只有模型规模达到某个阈值后“思维链”这项技术才开始生效模型的推理能力才会突然涌现出来正确率大幅飙升。这似乎在暗示只有模型足够大它才具备“逻辑推演”的底层能力从而解锁高级的“思维链”技能。三、是真实的超能力还是被扭曲的“哈哈镜”正当业界为“涌现”而欢呼认为这是通往通用人工智能的必经之路时斯坦福大学的一盆冷水浇了下来。他们发表了一篇名为《大模型的涌现能力是一场幻象吗》的论文观点极其犀利所谓的“涌现”可能只是我们测量工具的刻度不够精细而导致的错觉。这是什么意思想象一下你在用一把最小刻度为“米”的尺子去量一个孩子的身高。1岁时量出来是0米。2岁时量出来还是0米。突然有一天他3岁了你量出来变成了1米。你惊呼“天啊我的孩子在3岁这一年能力涌现了一夜之间从0长到了1米”但现实是孩子每天都在缓慢生长只是因为你的尺子太粗糙无法捕捉到厘米级的变化才让你产生了“突变”的错觉。斯坦福的研究者认为大模型评测中的很多指标比如准确率正是这种“粗糙的尺子”。对于复杂任务模型哪怕只推理对了一小步答案依然是错的得分还是0。只有当模型能完美解出所有步骤时得分才突然变成100。于是他们把评测指标换成了更平滑的指标比如计算模型输出与正确答案的“距离”。结果发现那条陡峭的“涌现”曲线消失了取而代之的是一条平滑的、随模型规模增长而稳步上升的曲线。这告诉我们也许模型的能力从来就不是“突变”的而是随着参数的增加、训练的深入在暗中持续累积和成长。我们之所以觉得它“突然变聪明”是因为以前的任务太难它积累的微小进步根本无法在最终结果上体现出来。四、总结喧嚣背后的冷思考那么我们到底该如何看待“涌现能力”现象真实存在但解释仍需谨慎。无论指标如何大模型在处理复杂任务上的表现确实在规模变大后有了质的飞跃。这是毋庸置疑的客观事实。你不能说用户感觉到的“变聪明”是假的。“临界点”可能只是表相。这个临界点或许不是模型内部神经元的“开悟时刻”而更像是模型累积的知识量刚好超过了任务所需的最低门槛。一旦跨过门槛原本得0分的任务突然得了100分造成了“涌现”的视觉效果。回归本质而非沉迷玄学。当前关于“涌现”的讨论大多还停留在对现象的描述上。我们知道了“是什么”但对于“为什么”以及“如何更高效地激发”这些能力背后的复杂机制依然是个黑盒。归根结底“涌现能力”就像大模型这座冰山浮出水面的那一角。它既展示了当前技术的惊人潜力也提醒我们在通往真正智能的道路上还有大量深藏在水下的未知等待我们去探索。与其争论它是不是“幻象”不如把它看作一个信号大模型已经进入了“质变”的新阶段。我们需要设计更严谨的实验、更平滑的度量衡去揭开这层神秘的面纱引导这项技术朝着更可控、更强大的方向发展。毕竟无论它是灵光一闪还是厚积薄发能让AI更聪明地为我们服务才是最终的意义。文章参考书籍百面大模型链接: https://pan.baidu.com/s/10mycZxNYbh1w63onscj4qA?pwdiqni 提取码: iqni
一夜醒来，智商暴涨？揭秘大模型“涌现能力”背后的恐怖真相！
不知道你有没有这种感觉几年前我们跟AI说话它还像个笨拙的客服只会回答预设好的问题稍微超出范围就“死机”。但突然之间以GPT为代表的大模型仿佛一夜之间“打通了任督二脉”。它们不仅能写诗、写代码甚至能解出复杂的数学推理题表现得就像突然有了“意识”一样。这种“突然变聪明”的现象在AI界有一个非常性感的名字——涌现能力。今天我们就来深度扒一扒这层笼罩在大模型身上的神秘面纱背后到底隐藏着怎样的技术真相它是真的“灵智初开”还是一场精心编排的“魔术表演”一、什么是“涌现”不止是变大那么简单要理解“涌现”我们可以先看一个生活中的例子。水是湿的但单个水分子是干的。蚂蚁个体几乎没有智商但几百万只蚂蚁组成的蚁群却能建造复杂的巢穴、规划行军路线。这就是涌现——当个体简单地组合在一起时整体展现出了个体根本不具备的全新特性。在大模型领域这个概念被一篇经典论文《Emergent Abilities of Large Language Models》正式定义如果一个能力在小型模型中不存在但在大型模型中存在那么这个能力就是“涌现”的。听起来有点绕简单来说就是模型太小它就是弱智一旦参数规模跨过某个临界点智商瞬间爆表。在临界点之前你往模型里塞再多的数据、再好的算法它都像是个装不满水的杯子但一旦跨过那条线杯子满了甚至溢出来的水都带着“智慧”的味道。二、现场直击跨越临界点的“智力的飞跃”那么研究者们是怎么捕捉到这种“飞跃”的我们来看两个经典的实验。实验一少样本提示——给个例子它就能举一反三什么是少样本提示就是你想让AI干活不用给它写长篇大论的说明书只需要在对话框里甩给它两三个例子它就能照猫画虎。比如做影评情感分析输入观众评论这部电影让我看得昏昏欲睡。情感分析负面。观众评论剧情紧凑全程无尿点情感分析正面。观众评论这配乐简直是噪音污染。情感分析我们期待模型能把最后一句判定为“负面”。研究者们拿不同大小的模型来做这个测试横轴是模型的规模用浮点运算数FLOPs或参数量表示纵轴是模型在算术题评测集上的准确率。结果出来了一张令人震惊的图表当模型参数量在13亿以下时它在做三位数加减法时的表现跟瞎蒙差不多准确率惨不忍睹。但当模型参数量突破130亿大关浮点运算数跨过 10221022 这个门槛时奇迹发生了——准确率曲线像旱地拔葱一样陡然直线拉升不仅是GPT-3研究者们在LaMDA、Gopher、PaLM等一系列当时最顶尖的模型上都发现了同样的规律。这就好比一个孩子你给他灌输知识他一直闷不做声你以为他没学会。突然有一天他不仅学会了加减法甚至连微积分都能解了。实验二思维链——让它“把思考过程写下来”另一个更震撼的例子是“思维链”。研究人员发现对于复杂的数学题如果你直接问大模型“答案是多少”模型规模小了就直接算错。但如果你在提示词里加上一句“请一步步思考”并引导它写出中间步骤大模型的表现瞬间就上去了。然而这种“让AI写下思考过程”的能力同样不是随随便便就出现的。实验数据表明对于小模型即使你逼着它“一步步思考”它给出的中间步骤也是胡言乱语最终答案依然是错的。只有模型规模达到某个阈值后“思维链”这项技术才开始生效模型的推理能力才会突然涌现出来正确率大幅飙升。这似乎在暗示只有模型足够大它才具备“逻辑推演”的底层能力从而解锁高级的“思维链”技能。三、是真实的超能力还是被扭曲的“哈哈镜”正当业界为“涌现”而欢呼认为这是通往通用人工智能的必经之路时斯坦福大学的一盆冷水浇了下来。他们发表了一篇名为《大模型的涌现能力是一场幻象吗》的论文观点极其犀利所谓的“涌现”可能只是我们测量工具的刻度不够精细而导致的错觉。这是什么意思想象一下你在用一把最小刻度为“米”的尺子去量一个孩子的身高。1岁时量出来是0米。2岁时量出来还是0米。突然有一天他3岁了你量出来变成了1米。你惊呼“天啊我的孩子在3岁这一年能力涌现了一夜之间从0长到了1米”但现实是孩子每天都在缓慢生长只是因为你的尺子太粗糙无法捕捉到厘米级的变化才让你产生了“突变”的错觉。斯坦福的研究者认为大模型评测中的很多指标比如准确率正是这种“粗糙的尺子”。对于复杂任务模型哪怕只推理对了一小步答案依然是错的得分还是0。只有当模型能完美解出所有步骤时得分才突然变成100。于是他们把评测指标换成了更平滑的指标比如计算模型输出与正确答案的“距离”。结果发现那条陡峭的“涌现”曲线消失了取而代之的是一条平滑的、随模型规模增长而稳步上升的曲线。这告诉我们也许模型的能力从来就不是“突变”的而是随着参数的增加、训练的深入在暗中持续累积和成长。我们之所以觉得它“突然变聪明”是因为以前的任务太难它积累的微小进步根本无法在最终结果上体现出来。四、总结喧嚣背后的冷思考那么我们到底该如何看待“涌现能力”现象真实存在但解释仍需谨慎。无论指标如何大模型在处理复杂任务上的表现确实在规模变大后有了质的飞跃。这是毋庸置疑的客观事实。你不能说用户感觉到的“变聪明”是假的。“临界点”可能只是表相。这个临界点或许不是模型内部神经元的“开悟时刻”而更像是模型累积的知识量刚好超过了任务所需的最低门槛。一旦跨过门槛原本得0分的任务突然得了100分造成了“涌现”的视觉效果。回归本质而非沉迷玄学。当前关于“涌现”的讨论大多还停留在对现象的描述上。我们知道了“是什么”但对于“为什么”以及“如何更高效地激发”这些能力背后的复杂机制依然是个黑盒。归根结底“涌现能力”就像大模型这座冰山浮出水面的那一角。它既展示了当前技术的惊人潜力也提醒我们在通往真正智能的道路上还有大量深藏在水下的未知等待我们去探索。与其争论它是不是“幻象”不如把它看作一个信号大模型已经进入了“质变”的新阶段。我们需要设计更严谨的实验、更平滑的度量衡去揭开这层神秘的面纱引导这项技术朝着更可控、更强大的方向发展。毕竟无论它是灵光一闪还是厚积薄发能让AI更聪明地为我们服务才是最终的意义。文章参考书籍百面大模型链接: https://pan.baidu.com/s/10mycZxNYbh1w63onscj4qA?pwdiqni 提取码: iqni
