昨天刷到一条消息PrismML 这个名不见经传的 AI 初创团队突然扔了个大招出来——他们搞了个叫 Bonsai 27B 的模型号称是全球首款能在手机上本地跑的 270 亿参数多模态大模型。听着挺唬人的对吧毕竟现在市面上能在移动端流畅运行的基本都是 7B 甚至更小参数的小不点突然蹦出来个 27B 级别的确实让人忍不住想多看两眼。这模型的底子是 Qwen3.6-27BPrismML 在上面做了一层极其激进的压缩。他们玩的是 1-bit 二进制量化外加三值量化取值只有 0 和 ±1。原本 54GB 的庞然大物硬是被塞进了 3.9GB 和 5.9GB 两个体量的包里。按照官方的说法iPhone 17 Pro 上直接本地推理没问题而且智力保留率还能做到九成以上。这要是真的端侧 AI 的门槛怕是要被直接踹飞了。不过官方 PPT 看看就好真东西还得自己上手摸。我特意把 LM Studio 升级到了最新版在模型仓库里搜Bonsai 27B能拉出来一串相关模型。这里得提醒一下名字里不带 Ternary 前缀的就是二值量化版本也就是咱们这次要测的主角。下载列表里 Q1_0 结尾的那个才是本体旁边几个带 DSpark 字样的是草稿模型用来加速 token 生成的暂时先不碰它。模型加载倒是挺顺利没报什么错。我寻思着先别整太难的拿两道弱智吧的传世经典试试水。第一题距离我 30 米有家洗车店我是开车去洗好还是走路去好第二题树上有 10 只鸟猎人开枪打死 1 只树上还剩几只结果你猜怎么着两道题全翻车了。第一题它还真在那儿一本正经地分析油耗和运动量第二题更离谱直接按小学算术 10-19 来答。我当时就愣住了这表现也太不 Qwen 了吧要知道 Qwen 3.5 的 4B 小模型面对这种脑筋急转弯都能轻松拿捏Bonsai 27B 这体量按理说不应该啊。不死心又丢了一道初中物理题过去女高音和引吭高歌的高分别指的是声音的什么选项 A 到 D 摆在那儿。这题它倒是找到了知识点响度和音调的概念都拎得清可最后选答案的时候眼花了愣是把选项给填错了。像极了当年考试时的我自己——公式都会步骤全对最后誊答案的时候手一抖全白给。接着换了个物理加常识的混合题月球上同时放下羽毛和保龄球哪个先落地这次总算靠谱了一回提到了没有空气阻力、自由落体加速度相同回答得还算有模有样。既然官方说这是个多模态模型那视觉能力也得测测。我给了它一张图让它按固定格式反推绘图提示词要求描述主体动作、人物细节、环境、光线、相机视角这些要素。没想到这一问直接把它给问懵了——思维链当场死循环足足思考了 2 分 49 秒才憋出一段输出。更逗的是它在思考过程中突然意识到自己在用英文词想要改回中文结果就跟陷入了某种执念似的改来改去怎么都改不干净最后输出的内容里还夹杂着几个英文单词没处理掉。视觉描述上也有幻觉明明图里狗的耳朵是耷拉着的它非说竖立着。当然也不是全无亮点。推理速度这块确实还行在 RTX 5060Ti 上能跑到 39 到 42 token 每秒体感上挺流畅的。但速度再快脑子不好使也白搭啊。至少在中文语境下这个二值量化版本的智力表现说实话连 Qwen 3.5 4B Q4_K_XL 都比不过。而且人家 Qwen 3.5 4B 量化完体积还要再小差不多 1GB这么一对比Bonsai 27B 这个 Binary 版本就显得有点尴尬了。之前我测过 Bonsai Image发现三值量化的效果比二值量化好出一大截。现在 llama.cpp 的主线版本还没完全支持三值量化在 CUDA 后端上的运行等后续更新跟上了Ternary 版本的表现或许值得再观望一波。但就眼下这个二值版本而言离能用还有段距离当个技术 demo 看看热闹可以真拿来干活暂时还是算了。
手机能跑27B大模型？我把PrismML的Bonsai 27B扒下来测了一遍，结果有点懵
昨天刷到一条消息PrismML 这个名不见经传的 AI 初创团队突然扔了个大招出来——他们搞了个叫 Bonsai 27B 的模型号称是全球首款能在手机上本地跑的 270 亿参数多模态大模型。听着挺唬人的对吧毕竟现在市面上能在移动端流畅运行的基本都是 7B 甚至更小参数的小不点突然蹦出来个 27B 级别的确实让人忍不住想多看两眼。这模型的底子是 Qwen3.6-27BPrismML 在上面做了一层极其激进的压缩。他们玩的是 1-bit 二进制量化外加三值量化取值只有 0 和 ±1。原本 54GB 的庞然大物硬是被塞进了 3.9GB 和 5.9GB 两个体量的包里。按照官方的说法iPhone 17 Pro 上直接本地推理没问题而且智力保留率还能做到九成以上。这要是真的端侧 AI 的门槛怕是要被直接踹飞了。不过官方 PPT 看看就好真东西还得自己上手摸。我特意把 LM Studio 升级到了最新版在模型仓库里搜Bonsai 27B能拉出来一串相关模型。这里得提醒一下名字里不带 Ternary 前缀的就是二值量化版本也就是咱们这次要测的主角。下载列表里 Q1_0 结尾的那个才是本体旁边几个带 DSpark 字样的是草稿模型用来加速 token 生成的暂时先不碰它。模型加载倒是挺顺利没报什么错。我寻思着先别整太难的拿两道弱智吧的传世经典试试水。第一题距离我 30 米有家洗车店我是开车去洗好还是走路去好第二题树上有 10 只鸟猎人开枪打死 1 只树上还剩几只结果你猜怎么着两道题全翻车了。第一题它还真在那儿一本正经地分析油耗和运动量第二题更离谱直接按小学算术 10-19 来答。我当时就愣住了这表现也太不 Qwen 了吧要知道 Qwen 3.5 的 4B 小模型面对这种脑筋急转弯都能轻松拿捏Bonsai 27B 这体量按理说不应该啊。不死心又丢了一道初中物理题过去女高音和引吭高歌的高分别指的是声音的什么选项 A 到 D 摆在那儿。这题它倒是找到了知识点响度和音调的概念都拎得清可最后选答案的时候眼花了愣是把选项给填错了。像极了当年考试时的我自己——公式都会步骤全对最后誊答案的时候手一抖全白给。接着换了个物理加常识的混合题月球上同时放下羽毛和保龄球哪个先落地这次总算靠谱了一回提到了没有空气阻力、自由落体加速度相同回答得还算有模有样。既然官方说这是个多模态模型那视觉能力也得测测。我给了它一张图让它按固定格式反推绘图提示词要求描述主体动作、人物细节、环境、光线、相机视角这些要素。没想到这一问直接把它给问懵了——思维链当场死循环足足思考了 2 分 49 秒才憋出一段输出。更逗的是它在思考过程中突然意识到自己在用英文词想要改回中文结果就跟陷入了某种执念似的改来改去怎么都改不干净最后输出的内容里还夹杂着几个英文单词没处理掉。视觉描述上也有幻觉明明图里狗的耳朵是耷拉着的它非说竖立着。当然也不是全无亮点。推理速度这块确实还行在 RTX 5060Ti 上能跑到 39 到 42 token 每秒体感上挺流畅的。但速度再快脑子不好使也白搭啊。至少在中文语境下这个二值量化版本的智力表现说实话连 Qwen 3.5 4B Q4_K_XL 都比不过。而且人家 Qwen 3.5 4B 量化完体积还要再小差不多 1GB这么一对比Bonsai 27B 这个 Binary 版本就显得有点尴尬了。之前我测过 Bonsai Image发现三值量化的效果比二值量化好出一大截。现在 llama.cpp 的主线版本还没完全支持三值量化在 CUDA 后端上的运行等后续更新跟上了Ternary 版本的表现或许值得再观望一波。但就眼下这个二值版本而言离能用还有段距离当个技术 demo 看看热闹可以真拿来干活暂时还是算了。
