术语纪律先说清免得滑回直觉词泥潭本书把「幻觉」事实误差/错误和「注意力」都加上引号。「幻觉」是借来未厘清的工作术语指模型产出的不正确、无依据内容「注意力」在本书里只作比喻真实机制是 softmax 的概率权重归一化Σ1。下文沿用这一纪律——凡比喻处必加引号。一、一个反直觉的现象你大概都有过这种体验让一个单体大模型写一份长报告开头还像样越往后越「飘」——日期错了、文献编造了、前后自相矛盾了直到通篇「越写越离谱」。可如果把这份草稿交给一组角色化的子模型一个物理专家、一个财务专家、一个事实核查员……分别审一遍再合回来错误的观感确实显著下降。但奇怪的是无论审多少轮似乎永远消不掉所有错。多问几遍同一个模型有时也能自己改对一处上外部检索工具又能再掐掉一批。这背后不是玄学而是一套可以拆解的降错机制。本书把它并成一条干净主轴——三层降错模型。本文就顺着这条主轴把「为什么单体容易翻车、多角色能收敛、但共识不等于没有错」一次讲透。二、单体为什么会「雪崩」错误的独特形态人也会记错一个名字——那是单点事实误差有界、静态错就错在那一点。大模型区别于人的不是「会错」而是错会累积放大。本书称其为「幻觉」事实误差/错误的累积放大根源是三层根因叠加§3.1.5b根因 A无弃权桶输出层 Softmax 必须 Σ1概率质量被迫压在某个 token 上架构级没有「我不知道 / 先去核验」的原生槽位。哪怕它吐出「我不知道」四字那也只是分布里某个被选中的 token而非能中断生成去核验的机制。根因 B自回归强制吐字协议强制每步必吐一个 token且一旦提交便永久成为后续上下文、无法回改。首个错 token 被永久提交、沿链放大——这就是「雪崩」的通道。根因 CMLE 无真值最深层最大似然目标只奖励「统计上最可能的下一个 token」损失函数里根本没有「事实准确性」这一项。流畅的假话与流畅的真话被等同对待。Kalai 等arXiv:2509.04664据此给出生成错误率的非零下界——即便语料零污染、注意力语义完美幻觉率仍被封住、不会归零。三件事叠在一起当某一步相关度已经塌缩、模型其实「该停」时它仍被迫从分布里选一个最高概率的 token这个低相关 token 进入上下文又抬高下一步更多低相关 token 的概率沿自回归链滚成雪崩。这正是大模型特有的失败模式也是本书全书要治的那根链。三、「注意力」稀释为什么一个什么都会的模型反而看不深此处「注意力」是比喻指概率权重。本书用「黑屋找钥匙」比喻 Σ1你手里的电量权重总和始终是固定的一份。屋子越大照到的角落比例越小、每个角落分到的光越薄。真正决定找不找得到钥匙的不是屋子多大而是那点有限的光有没有打在放钥匙的角落上§3.1.4。这就引出一个常被忽视的结构性问题——注意力稀释单体全局视角把固定一份 Σ1 摊到所有域每个域分到的权重都薄深层错看不见。一个「什么都懂点」的审核者宽度够、但深度有限会漏。反过来角色化相当于给每个角色各发一份完整的 Σ1物理专家只看物理、化学只看化学每支手电都满电、分区域照于是「看的深」专家无交叉则合起来覆盖广、漏的少§5.4.2。这里有个关键结论常被误解prompt 本身就是把概率权重聚焦到特定区域的关键——一份报告加一句「从物理方面解读」生成就会被显著锚定在物理通路上从而降稀释、给深度且无需独立基座。角色化不是「换马甲」它是真实生效的「注意力」聚焦机制比喻。四、三层降错模型各降各的把全书散落的降错机理并成一条主轴§3.1.5c 边栏三层的活各降各的L0 架构层结束符EOS封顶单条生成轨迹内的放大链。雪崩机制绑定在单条自回归轨迹内EOS 一停、下一条轨迹重新 Σ1放大链断开。所以「雪崩只发生在一轮回复中」架构天然有界不会无限滚。L1a mono 重采样 自审同一模型多轮重复提问 / 自审本质是概率重采样能消解抽样型错某次不幸抽到低概率错 token。「重复问一遍就可能消除一个错」说的就是它——单模型也有正收益并非零。L1b 角色化prompt 聚焦概率权重消解注意力稀释错。分角色后每角色满「注意力」比喻、看的深分工合理则覆盖广、漏的少。L2 外部锚维度二·外部客观锚把 L1b 仍够不着的共享先验种子错从未知层拽出、降残余未知。这是闭包外现实才办得到的活——无论是 certutil/SHA256 这类形式锚还是知识图谱 / 可验证外部源这类语义锚都提供循环外的 YES/NO 测试在错误尚未累积前把它钉住§3.1.4。关键区分抽样型错 vs 先验种子错都是内部发生在模型概率过程里只有外部杠杆——结构 角色化治稀释 / 广度、真值 锚治认证 / 种子错——才破得了内部天花板。两层次都 essential但干的活不同轴结构解决「看得深不深、漏不漏」真值解决「看到的对不对、种子错认不认得出」。五、最重要的结论共识 ≠ 没有错误这一条值得焊死在正文的命题位置协作的目标是收敛到更低错的共识不是杜绝问题共识 ≠ 没有错误共识错误率的地板由先验种子决定。原因在前文已经埋好抽样型错能被重采样和角色化消解但先验种子错长在模型共享先验里跨样本复现——无论你怎样换角色、怎样多轮自审只要没引入闭包外的真实接地真值锚 / 外部记忆 / 可验证源残余缺陷率就仍 Open。角色化收敛到的只是主体间一致inter-subjective agreement不是真理。这正面封死了一个常见神话「上多智能体就能消灭幻觉」。错。多智能体能显著降错、能把雪崩改造成收敛但它不承诺零缺陷。它也反过来提醒工程实践别神话多 Agent角色化降低的是观测到的错率压不住先验种子错的地板。真要降残余错得上外部接地形式锚哈希 / 悖论或语义锚KG / 可验证源否则共识只是更自信的错误。prompt 聚焦是真有用的但它是「注意力」比喻层面的深度工具不是验真工具——它给深度、不给真值。要验真还得靠维度二的锚。六、收尾从「装修笼子」到「接一块磁铁」本书的元隐喻是「黑屋」与「磁铁」单体模型是被 Σ1 封死在封闭概率屋里的手电越照越薄、错了还停不下来磁铁外部真值锚是屋外那块能把错误吸住、在累积前钉死的现实引力。三层降错模型告诉我们L0 让雪崩有界L1 让共识更低错L2 让残余可被照亮。三者缺一不可且没有一个能「根治」——因为根治本身就不是目标。工程上值得追求的从来不是零错误的乌托邦而是一个能收敛、能问责、残余可被持续照亮的协作结构。本文思想均出自《你拼命消除的正是智能》卷三§3.1.4 磁铁与锚、§3.1.5 幻觉三层根因、§5.4.2 角色化机理、§5.5.3 四维评测以及近期落地的「三层降错模型」「锚分两个维度」「四诫 #4 纠错」等修订。
从「一次就翻车」到「收敛的共识」——多智能体降错的三层模型
术语纪律先说清免得滑回直觉词泥潭本书把「幻觉」事实误差/错误和「注意力」都加上引号。「幻觉」是借来未厘清的工作术语指模型产出的不正确、无依据内容「注意力」在本书里只作比喻真实机制是 softmax 的概率权重归一化Σ1。下文沿用这一纪律——凡比喻处必加引号。一、一个反直觉的现象你大概都有过这种体验让一个单体大模型写一份长报告开头还像样越往后越「飘」——日期错了、文献编造了、前后自相矛盾了直到通篇「越写越离谱」。可如果把这份草稿交给一组角色化的子模型一个物理专家、一个财务专家、一个事实核查员……分别审一遍再合回来错误的观感确实显著下降。但奇怪的是无论审多少轮似乎永远消不掉所有错。多问几遍同一个模型有时也能自己改对一处上外部检索工具又能再掐掉一批。这背后不是玄学而是一套可以拆解的降错机制。本书把它并成一条干净主轴——三层降错模型。本文就顺着这条主轴把「为什么单体容易翻车、多角色能收敛、但共识不等于没有错」一次讲透。二、单体为什么会「雪崩」错误的独特形态人也会记错一个名字——那是单点事实误差有界、静态错就错在那一点。大模型区别于人的不是「会错」而是错会累积放大。本书称其为「幻觉」事实误差/错误的累积放大根源是三层根因叠加§3.1.5b根因 A无弃权桶输出层 Softmax 必须 Σ1概率质量被迫压在某个 token 上架构级没有「我不知道 / 先去核验」的原生槽位。哪怕它吐出「我不知道」四字那也只是分布里某个被选中的 token而非能中断生成去核验的机制。根因 B自回归强制吐字协议强制每步必吐一个 token且一旦提交便永久成为后续上下文、无法回改。首个错 token 被永久提交、沿链放大——这就是「雪崩」的通道。根因 CMLE 无真值最深层最大似然目标只奖励「统计上最可能的下一个 token」损失函数里根本没有「事实准确性」这一项。流畅的假话与流畅的真话被等同对待。Kalai 等arXiv:2509.04664据此给出生成错误率的非零下界——即便语料零污染、注意力语义完美幻觉率仍被封住、不会归零。三件事叠在一起当某一步相关度已经塌缩、模型其实「该停」时它仍被迫从分布里选一个最高概率的 token这个低相关 token 进入上下文又抬高下一步更多低相关 token 的概率沿自回归链滚成雪崩。这正是大模型特有的失败模式也是本书全书要治的那根链。三、「注意力」稀释为什么一个什么都会的模型反而看不深此处「注意力」是比喻指概率权重。本书用「黑屋找钥匙」比喻 Σ1你手里的电量权重总和始终是固定的一份。屋子越大照到的角落比例越小、每个角落分到的光越薄。真正决定找不找得到钥匙的不是屋子多大而是那点有限的光有没有打在放钥匙的角落上§3.1.4。这就引出一个常被忽视的结构性问题——注意力稀释单体全局视角把固定一份 Σ1 摊到所有域每个域分到的权重都薄深层错看不见。一个「什么都懂点」的审核者宽度够、但深度有限会漏。反过来角色化相当于给每个角色各发一份完整的 Σ1物理专家只看物理、化学只看化学每支手电都满电、分区域照于是「看的深」专家无交叉则合起来覆盖广、漏的少§5.4.2。这里有个关键结论常被误解prompt 本身就是把概率权重聚焦到特定区域的关键——一份报告加一句「从物理方面解读」生成就会被显著锚定在物理通路上从而降稀释、给深度且无需独立基座。角色化不是「换马甲」它是真实生效的「注意力」聚焦机制比喻。四、三层降错模型各降各的把全书散落的降错机理并成一条主轴§3.1.5c 边栏三层的活各降各的L0 架构层结束符EOS封顶单条生成轨迹内的放大链。雪崩机制绑定在单条自回归轨迹内EOS 一停、下一条轨迹重新 Σ1放大链断开。所以「雪崩只发生在一轮回复中」架构天然有界不会无限滚。L1a mono 重采样 自审同一模型多轮重复提问 / 自审本质是概率重采样能消解抽样型错某次不幸抽到低概率错 token。「重复问一遍就可能消除一个错」说的就是它——单模型也有正收益并非零。L1b 角色化prompt 聚焦概率权重消解注意力稀释错。分角色后每角色满「注意力」比喻、看的深分工合理则覆盖广、漏的少。L2 外部锚维度二·外部客观锚把 L1b 仍够不着的共享先验种子错从未知层拽出、降残余未知。这是闭包外现实才办得到的活——无论是 certutil/SHA256 这类形式锚还是知识图谱 / 可验证外部源这类语义锚都提供循环外的 YES/NO 测试在错误尚未累积前把它钉住§3.1.4。关键区分抽样型错 vs 先验种子错都是内部发生在模型概率过程里只有外部杠杆——结构 角色化治稀释 / 广度、真值 锚治认证 / 种子错——才破得了内部天花板。两层次都 essential但干的活不同轴结构解决「看得深不深、漏不漏」真值解决「看到的对不对、种子错认不认得出」。五、最重要的结论共识 ≠ 没有错误这一条值得焊死在正文的命题位置协作的目标是收敛到更低错的共识不是杜绝问题共识 ≠ 没有错误共识错误率的地板由先验种子决定。原因在前文已经埋好抽样型错能被重采样和角色化消解但先验种子错长在模型共享先验里跨样本复现——无论你怎样换角色、怎样多轮自审只要没引入闭包外的真实接地真值锚 / 外部记忆 / 可验证源残余缺陷率就仍 Open。角色化收敛到的只是主体间一致inter-subjective agreement不是真理。这正面封死了一个常见神话「上多智能体就能消灭幻觉」。错。多智能体能显著降错、能把雪崩改造成收敛但它不承诺零缺陷。它也反过来提醒工程实践别神话多 Agent角色化降低的是观测到的错率压不住先验种子错的地板。真要降残余错得上外部接地形式锚哈希 / 悖论或语义锚KG / 可验证源否则共识只是更自信的错误。prompt 聚焦是真有用的但它是「注意力」比喻层面的深度工具不是验真工具——它给深度、不给真值。要验真还得靠维度二的锚。六、收尾从「装修笼子」到「接一块磁铁」本书的元隐喻是「黑屋」与「磁铁」单体模型是被 Σ1 封死在封闭概率屋里的手电越照越薄、错了还停不下来磁铁外部真值锚是屋外那块能把错误吸住、在累积前钉死的现实引力。三层降错模型告诉我们L0 让雪崩有界L1 让共识更低错L2 让残余可被照亮。三者缺一不可且没有一个能「根治」——因为根治本身就不是目标。工程上值得追求的从来不是零错误的乌托邦而是一个能收敛、能问责、残余可被持续照亮的协作结构。本文思想均出自《你拼命消除的正是智能》卷三§3.1.4 磁铁与锚、§3.1.5 幻觉三层根因、§5.4.2 角色化机理、§5.5.3 四维评测以及近期落地的「三层降错模型」「锚分两个维度」「四诫 #4 纠错」等修订。
