一、先讲人话我们到底在折腾什么如果你问过 ChatGPT 一个问题它其实是一次性把整段答案「吐」出来。背后大多是 Transformer把历史上下文摊在桌上KV cache层数固定算力固定。另一条路是 Mamba 这类状态空间模型把历史压成一条「模糊的隐状态」快但细节容易糊。我们想试第三种图景——像一个在书房里整理材料的人大白板上写 主题全局状态便签上记 要点中尺度、局部槽位工作台放 正在写的草稿小册子里收 要长期记住的东西读的时候不是每个字都抄一遍而是 有选择地写入答的时候也不是一口气喷完而是 在内部多走几步必要时再去原文里 检索 一段抄完标记「用过」再换下一段。这个「书生」我们叫它 HoloMind。它 不是 某个大模型的微调不是 刷榜工程而是在一张 RTX 306012GB 上从零搭的一套 约 78M 参数 的概念验证PoC。重要声明请先看完再往下这是 研究预览不是产品也 不是论文。我们刚把 设计说明、实验证据、评测代码 v0 放到 GitHub欢迎来 挑架构、挑协议、挑诚实性 — 而不是来比「有没有 GPT 强」。仓库https://github.com/qq357009883/HoloMind二、科普版架构四层在干什么可以把 HoloMind 想成四层同心圆层人话技术对应L0 状态场五类「记忆抽屉」各管各的尺度global / mid / local / workspace / memoryPMCL1 演化读入时决定「写多少、写进哪格」StateInjector StateEvolver槽位竞争、跨尺度投影L2 推演读出多步「踱步」后再开口TrajectoryReadout halt / verifierL3 控制环做题流程找段 → 抄写 → 标记已用Memory SpineRetrieve → Copy → MarkUsed和 Transformer 的对比一句话Transformer全历史摊桌面 固定层数HoloMind分槽压缩 可变推演步数 任务级闭环三、技术版SACT — 我们为什么坚持「训练 ≡ 推理」经典语言模型训练有个老毛病teacher forcing — 训练时把标准答案前缀喂进模型模型学会的是「续写」不是「在不知道答案时自己推」。我们用的范式叫 SACTState-Action Control Training核心就一句训练环境要和测试环境一致。在 chunk assembly 任务上把两段打乱的文字排回正确顺序模型走的是 离散动作链边界判断 → 检索哪一段 → 字节级抄写 → 标记已用 → 下一轮。损失也按能力拆开先会检索排序L_retrieve再会抄写L_copy而不是混在一个 token CE 里假装「什么都学会了」。gold-mix 课程 是务实补丁不能从 teacher forcing 一夜切成纯自回归否则小模型会崩。训练时 gold 干预从 1.0 → 0.8 → 0.6 → 0.4 衰减像「先扶着浅水区走再松手」。四、评测我们最怕的不是分低是「假分」小模型分数不高我们接受。我们不接受的是评测协议在偷偷帮模型作弊。因此定了 honest probe 规则从 Answer: 起 严格自回归不 把标准答案前缀泄漏进输入评测集 merged3636 条 held-out训练没见过的来源manifest 在仓库里seed42曾经出现过 36/36「满分」 的 merged36 结果 — 后来确认是 作废捷径元数据/组装漏洞我们 主动禁止对外引用并在仓库 12_作废与勿引用 里写明。当前唯一认可的正式 KPIChampion · R1-cloop阶段merged36 honest exact说明Cerebellum只练 copy7/36抄写行排序是瓶颈B2加 copy 数据5/36证伪再加 copy 不够R1 seg1排序专家10/36先修排序R1-cloopChampion14/3638.9%自边界 gold-mix 课程更关键的诊断指标contains_target 100% — 该出现的内容基本都在输出里错的多是 段顺序反了不是「抄错字」也就是说小模型已经在做 「关联与排序」还没稳定做好 「闭环里的决策链」 — 这对 78M、单卡 PoC 来说是有信息量的信号不是刷榜数字。五、研发时间线能力阶梯大致是Z0/A/E 消融 → 诚实数据管线修复 → Cerebellum 定位瓶颈 → B2 证伪 → R1 seg1 → R1-cloop ChampionChampion 训练时 honest exact 随 epoch 约在 10 → 10 → 14 → 11最终取 第 3 epoch 为 best — 说明还在「跌跌撞撞」阶段不是已经收敛的完美系统。六、GitHub 上有什么没有什么有中英文 Word 技术说明架构 SACT 诊断链HoloMind_实验与诊断资料/ — 63 份 honest probe JSON、训练日志、对照与作废说明HoloMind_代码文件/ — 两档 v0架构核心 honest 评测脚本unittest 可跑完整性测试暂时没有权重 .pt、完整训练主脚本、语料避免误用与体积说明见仓库 WEIGHTS.md / Checkpoint 说明若你关心 「是不是 PPT 工程」建议顺序看 honest 协议与 merged36 manifest看 Champion 文件夹 03_最佳实验_Champion_R1_cloop有环境再对照代码 v0 里的 eval_runtime / stage1_probe七、局限规模78M单卡 3060 — 证明「路线可跑通」不是工业级预训练。任务目前主要在 chunk assembly 探针上系统验证尚未在开放对话/数学/代码上证明。速度SACT 闭环 rollout 比同规模 token CE 训练 更慢。多段2 段在本尺度 尚未稳定。这些限制来自 资源与阶段不一定是架构死刑但需要更多算力与任务才能回答。八、如果你感兴趣欢迎评论适合一起看的人做 非 Transformer / 状态空间 / test-time compute 的研究者在乎 评测诚实性 的人 — 愿意讨论协议而不是只比分愿意在 证据链 代码 v0 基础上给意见的团队不适合的期待「有没有 GPT-4 强」「能不能明天商用」讨论渠道GitHub Issues仓库链接见上九、结语HoloMind 想证明的不是「小模型已经很聪明」而是三件事可以同时成立架构上 有 Transformer / Mamba 之外的第三条结构化路线训练上 闭环控制 课程衰减可以缓解 teacher forcing 鸿沟实验上 可以把诊断、证伪、作废捷径写进公开记录而不是只报一个好看的数。如果你愿意花 20 分钟从 GitHub 的 README 进按「Champion → 对照 → 全量 probe 登记册」走一遍 — 比读完这篇知乎更能判断我们是不是在认真做实验。仓库https://github.com/qq357009883/HoloMind转载请注明出处与 GitHub 链接勿引用已作废的 merged36_fixed 36/36 结果。
当 Transformer 在「背答案」时，我们在练「先想再答」— HoloMind 概念验证
一、先讲人话我们到底在折腾什么如果你问过 ChatGPT 一个问题它其实是一次性把整段答案「吐」出来。背后大多是 Transformer把历史上下文摊在桌上KV cache层数固定算力固定。另一条路是 Mamba 这类状态空间模型把历史压成一条「模糊的隐状态」快但细节容易糊。我们想试第三种图景——像一个在书房里整理材料的人大白板上写 主题全局状态便签上记 要点中尺度、局部槽位工作台放 正在写的草稿小册子里收 要长期记住的东西读的时候不是每个字都抄一遍而是 有选择地写入答的时候也不是一口气喷完而是 在内部多走几步必要时再去原文里 检索 一段抄完标记「用过」再换下一段。这个「书生」我们叫它 HoloMind。它 不是 某个大模型的微调不是 刷榜工程而是在一张 RTX 306012GB 上从零搭的一套 约 78M 参数 的概念验证PoC。重要声明请先看完再往下这是 研究预览不是产品也 不是论文。我们刚把 设计说明、实验证据、评测代码 v0 放到 GitHub欢迎来 挑架构、挑协议、挑诚实性 — 而不是来比「有没有 GPT 强」。仓库https://github.com/qq357009883/HoloMind二、科普版架构四层在干什么可以把 HoloMind 想成四层同心圆层人话技术对应L0 状态场五类「记忆抽屉」各管各的尺度global / mid / local / workspace / memoryPMCL1 演化读入时决定「写多少、写进哪格」StateInjector StateEvolver槽位竞争、跨尺度投影L2 推演读出多步「踱步」后再开口TrajectoryReadout halt / verifierL3 控制环做题流程找段 → 抄写 → 标记已用Memory SpineRetrieve → Copy → MarkUsed和 Transformer 的对比一句话Transformer全历史摊桌面 固定层数HoloMind分槽压缩 可变推演步数 任务级闭环三、技术版SACT — 我们为什么坚持「训练 ≡ 推理」经典语言模型训练有个老毛病teacher forcing — 训练时把标准答案前缀喂进模型模型学会的是「续写」不是「在不知道答案时自己推」。我们用的范式叫 SACTState-Action Control Training核心就一句训练环境要和测试环境一致。在 chunk assembly 任务上把两段打乱的文字排回正确顺序模型走的是 离散动作链边界判断 → 检索哪一段 → 字节级抄写 → 标记已用 → 下一轮。损失也按能力拆开先会检索排序L_retrieve再会抄写L_copy而不是混在一个 token CE 里假装「什么都学会了」。gold-mix 课程 是务实补丁不能从 teacher forcing 一夜切成纯自回归否则小模型会崩。训练时 gold 干预从 1.0 → 0.8 → 0.6 → 0.4 衰减像「先扶着浅水区走再松手」。四、评测我们最怕的不是分低是「假分」小模型分数不高我们接受。我们不接受的是评测协议在偷偷帮模型作弊。因此定了 honest probe 规则从 Answer: 起 严格自回归不 把标准答案前缀泄漏进输入评测集 merged3636 条 held-out训练没见过的来源manifest 在仓库里seed42曾经出现过 36/36「满分」 的 merged36 结果 — 后来确认是 作废捷径元数据/组装漏洞我们 主动禁止对外引用并在仓库 12_作废与勿引用 里写明。当前唯一认可的正式 KPIChampion · R1-cloop阶段merged36 honest exact说明Cerebellum只练 copy7/36抄写行排序是瓶颈B2加 copy 数据5/36证伪再加 copy 不够R1 seg1排序专家10/36先修排序R1-cloopChampion14/3638.9%自边界 gold-mix 课程更关键的诊断指标contains_target 100% — 该出现的内容基本都在输出里错的多是 段顺序反了不是「抄错字」也就是说小模型已经在做 「关联与排序」还没稳定做好 「闭环里的决策链」 — 这对 78M、单卡 PoC 来说是有信息量的信号不是刷榜数字。五、研发时间线能力阶梯大致是Z0/A/E 消融 → 诚实数据管线修复 → Cerebellum 定位瓶颈 → B2 证伪 → R1 seg1 → R1-cloop ChampionChampion 训练时 honest exact 随 epoch 约在 10 → 10 → 14 → 11最终取 第 3 epoch 为 best — 说明还在「跌跌撞撞」阶段不是已经收敛的完美系统。六、GitHub 上有什么没有什么有中英文 Word 技术说明架构 SACT 诊断链HoloMind_实验与诊断资料/ — 63 份 honest probe JSON、训练日志、对照与作废说明HoloMind_代码文件/ — 两档 v0架构核心 honest 评测脚本unittest 可跑完整性测试暂时没有权重 .pt、完整训练主脚本、语料避免误用与体积说明见仓库 WEIGHTS.md / Checkpoint 说明若你关心 「是不是 PPT 工程」建议顺序看 honest 协议与 merged36 manifest看 Champion 文件夹 03_最佳实验_Champion_R1_cloop有环境再对照代码 v0 里的 eval_runtime / stage1_probe七、局限规模78M单卡 3060 — 证明「路线可跑通」不是工业级预训练。任务目前主要在 chunk assembly 探针上系统验证尚未在开放对话/数学/代码上证明。速度SACT 闭环 rollout 比同规模 token CE 训练 更慢。多段2 段在本尺度 尚未稳定。这些限制来自 资源与阶段不一定是架构死刑但需要更多算力与任务才能回答。八、如果你感兴趣欢迎评论适合一起看的人做 非 Transformer / 状态空间 / test-time compute 的研究者在乎 评测诚实性 的人 — 愿意讨论协议而不是只比分愿意在 证据链 代码 v0 基础上给意见的团队不适合的期待「有没有 GPT-4 强」「能不能明天商用」讨论渠道GitHub Issues仓库链接见上九、结语HoloMind 想证明的不是「小模型已经很聪明」而是三件事可以同时成立架构上 有 Transformer / Mamba 之外的第三条结构化路线训练上 闭环控制 课程衰减可以缓解 teacher forcing 鸿沟实验上 可以把诊断、证伪、作废捷径写进公开记录而不是只报一个好看的数。如果你愿意花 20 分钟从 GitHub 的 README 进按「Champion → 对照 → 全量 probe 登记册」走一遍 — 比读完这篇知乎更能判断我们是不是在认真做实验。仓库https://github.com/qq357009883/HoloMind转载请注明出处与 GitHub 链接勿引用已作废的 merged36_fixed 36/36 结果。
