随着氛围编程Vibe Coding的兴起让 AI 落地项目早就不是什么新鲜事了。但是你肯定遇到过 AI 告诉你代码正确结果运行页面一看UI 错乱排版重叠逻辑按钮根本点不动。这其实是因为大多数 AI 只有代码交互能力但没有眼睛。不知道代码渲染成图形界面后长什么样。解决这种情况最有效的方式就是给 AI 接入视觉也就是用多模态视觉模型来做 GUI 图形界面测试。不过这又会遇见两个非常现实的问题。一是高昂的“天价账单”。AI 模拟人眼看屏幕每次滑动都在传截图。这导致在自动化流水线里单单 GUI 测试这一个环节Token 消耗成本往往就占到了整体的 50% 以上。二是致命的“隐私红线”。把企业内部未公开的核心代码和业务截图传给云端大模型分析直接触碰了数据安全底线稍微敏感一点的项目根本不可能获批。想省钱又保密唯一的出路就是把视觉模型完全搬到本地电脑上运行数据绝不上云。但现实很骨感普通办公电脑的算力根本带不动庞大的多模态模型。不过前几天明略科技正式开源了 Mano-P端侧 GUI 智能体与配套的 Cider推理加速框架这两个项目打破了这个看似无解的僵局 。这套“双引擎”硬核地将纯视觉的图形操作能力塞进了本地电脑里彻底打通了端侧大模型高效、安全落地的最后一公里。Mano-P“让 AI 在你的设备上替你操作电脑。”估计不少朋友看到这句第一反应就是前阵子红极一时的 Manus或者是现在正火的 OpenClaw。确实它们都能帮你接管电脑但真要论起实操体验这三者还是有着区别的。Manus 确实聪明它有“眼睛”能看懂复杂的网页。但它只能在浏览器上应用更别说根还在云端。而 OpenClaw 这种本地部署的智能体。它也不是绝对安全执行在本地但还是连接的云端模型。所以既要 Manus 的“眼力”又要 OpenClaw 充满执行力Mano-P 就是在这个死角里开源出来的。它让你的本地电脑直接长出了“手和眼”能像真人一样看懂屏幕并直接操作 很多人觉得在本地跑这种视觉模型电脑肯定会卡死或者反应极慢其实不然。Mano-P 在性能这块早就做好了深度“瘦身”。就拿它的 4B 量化模型来说在苹果 M4 Pro 芯片上它的预填充速度能达到惊人的 476 tokens/s。从看屏幕到做出反应几乎是电光火石之间。更牛的是相比于标准的 PyTorch CPU 推理它的端侧提速超过了 60 倍且坐标偏差被死死控制在 1 像素以内。而且它极其省资源运行时的峰值内存仅仅只有 4.3GB。电脑分出这 4.3G 给它之后剩下的内存也完全足够你顺畅地开着各种软件办公基本感受不到它在后台运行的负担更别提卡顿了 。就算真的遇到断网环境它自带的离线长任务自主规划功能依然能让模型在本地保持运行安全感绝对拉满。不过对于端侧大模型来说能提高一点性能当然要尽量提高一点。明略科技为了把 Mano-P 的潜能彻底榨干并没有止步于此而是还专门为这些大模型配了一个“外挂”推理加速框架 Cider。Cider只要在 Mac 上折腾过大模型的朋友都知道苹果官方的 MLX 框架是绝对的基石。那明略科技为什么非要“多此一举”在 Mano-P 之外再外挂一个 Cider 呢原因很简单官方提供的底座虽然很稳但在压榨硬件极限的时候存在一个“盲区”。如果你想让 AI 模型跑得又快又省电通常会用到一种叫“INT8 激活量化”的压缩技术。但这恰恰是原生 MLX 框架的短板它在底层并没有给这种技术提供原生的硬件加速支持。Cider 的诞生就是为了充当一个“底层限速解锁器”。它直接跨过了限制调用更底层的 API硬生生在 Apple 的 GPU 上把这条缺失的高速公路给修通了让设备能够支持 W8A8 和 W4A8 这两种极其高效的计算模式 。这种改变带来的收益是很明显的。反应速度直线飙升只要切入 W8A8 模式底层算子的计算效率比用原生 MLX 最高能快上将近一倍提升约 1.4 到 2.2 倍。这体现在体验上就是 AI 看图、思考的停顿感大幅减少操作更加跟手。内存占用原地腰斩如果使用 W4A8 模式存放模型权重所需的内存直接减少了 50%。更难得的是Cider 并没有被锁死在 Mano-P 身上。它是一个完全开源的通用生态插件。像大家平时常用的 Qwen通义千问、Llama、Mistral 等等只要是能接入 MLX 生态的开源模型统统可以使用 Cider 来白嫖加速。写在最后Mano-P 和 Cider 的组合算是打破了我们对本地大模型“又慢又笨”的偏见。它们证明了在对隐私和成本极其敏感的业务流中端侧智能体才是真正的最优解。Mano-P 赋予了电脑“眼和手”Cider 则在底层重构了算力引擎。目前这两套项目都已经在 GitHub 上开源了。Mano-P 开源地址https://github.com/Mininglamp-AI/Mano-PCider 开源地址https://github.com/Mininglamp-AI/cider但最让我期待的其实是明略科技接下来更为宏大的开源蓝图。特别是最后的训练方法直接“授人以渔”让更多团队都能低门槛地训练、微调出属于自己的端侧模型。这已经不是单纯地开源一个工具了而是直接把端侧 AI 自动化的整套“基础设施”端到了开发者面前。属于本地数字员工全面接管电脑的时代或许已经拉开了帷幕。
AI 编程最后一块拼图，被国产 4B 开源模型补齐了！
随着氛围编程Vibe Coding的兴起让 AI 落地项目早就不是什么新鲜事了。但是你肯定遇到过 AI 告诉你代码正确结果运行页面一看UI 错乱排版重叠逻辑按钮根本点不动。这其实是因为大多数 AI 只有代码交互能力但没有眼睛。不知道代码渲染成图形界面后长什么样。解决这种情况最有效的方式就是给 AI 接入视觉也就是用多模态视觉模型来做 GUI 图形界面测试。不过这又会遇见两个非常现实的问题。一是高昂的“天价账单”。AI 模拟人眼看屏幕每次滑动都在传截图。这导致在自动化流水线里单单 GUI 测试这一个环节Token 消耗成本往往就占到了整体的 50% 以上。二是致命的“隐私红线”。把企业内部未公开的核心代码和业务截图传给云端大模型分析直接触碰了数据安全底线稍微敏感一点的项目根本不可能获批。想省钱又保密唯一的出路就是把视觉模型完全搬到本地电脑上运行数据绝不上云。但现实很骨感普通办公电脑的算力根本带不动庞大的多模态模型。不过前几天明略科技正式开源了 Mano-P端侧 GUI 智能体与配套的 Cider推理加速框架这两个项目打破了这个看似无解的僵局 。这套“双引擎”硬核地将纯视觉的图形操作能力塞进了本地电脑里彻底打通了端侧大模型高效、安全落地的最后一公里。Mano-P“让 AI 在你的设备上替你操作电脑。”估计不少朋友看到这句第一反应就是前阵子红极一时的 Manus或者是现在正火的 OpenClaw。确实它们都能帮你接管电脑但真要论起实操体验这三者还是有着区别的。Manus 确实聪明它有“眼睛”能看懂复杂的网页。但它只能在浏览器上应用更别说根还在云端。而 OpenClaw 这种本地部署的智能体。它也不是绝对安全执行在本地但还是连接的云端模型。所以既要 Manus 的“眼力”又要 OpenClaw 充满执行力Mano-P 就是在这个死角里开源出来的。它让你的本地电脑直接长出了“手和眼”能像真人一样看懂屏幕并直接操作 很多人觉得在本地跑这种视觉模型电脑肯定会卡死或者反应极慢其实不然。Mano-P 在性能这块早就做好了深度“瘦身”。就拿它的 4B 量化模型来说在苹果 M4 Pro 芯片上它的预填充速度能达到惊人的 476 tokens/s。从看屏幕到做出反应几乎是电光火石之间。更牛的是相比于标准的 PyTorch CPU 推理它的端侧提速超过了 60 倍且坐标偏差被死死控制在 1 像素以内。而且它极其省资源运行时的峰值内存仅仅只有 4.3GB。电脑分出这 4.3G 给它之后剩下的内存也完全足够你顺畅地开着各种软件办公基本感受不到它在后台运行的负担更别提卡顿了 。就算真的遇到断网环境它自带的离线长任务自主规划功能依然能让模型在本地保持运行安全感绝对拉满。不过对于端侧大模型来说能提高一点性能当然要尽量提高一点。明略科技为了把 Mano-P 的潜能彻底榨干并没有止步于此而是还专门为这些大模型配了一个“外挂”推理加速框架 Cider。Cider只要在 Mac 上折腾过大模型的朋友都知道苹果官方的 MLX 框架是绝对的基石。那明略科技为什么非要“多此一举”在 Mano-P 之外再外挂一个 Cider 呢原因很简单官方提供的底座虽然很稳但在压榨硬件极限的时候存在一个“盲区”。如果你想让 AI 模型跑得又快又省电通常会用到一种叫“INT8 激活量化”的压缩技术。但这恰恰是原生 MLX 框架的短板它在底层并没有给这种技术提供原生的硬件加速支持。Cider 的诞生就是为了充当一个“底层限速解锁器”。它直接跨过了限制调用更底层的 API硬生生在 Apple 的 GPU 上把这条缺失的高速公路给修通了让设备能够支持 W8A8 和 W4A8 这两种极其高效的计算模式 。这种改变带来的收益是很明显的。反应速度直线飙升只要切入 W8A8 模式底层算子的计算效率比用原生 MLX 最高能快上将近一倍提升约 1.4 到 2.2 倍。这体现在体验上就是 AI 看图、思考的停顿感大幅减少操作更加跟手。内存占用原地腰斩如果使用 W4A8 模式存放模型权重所需的内存直接减少了 50%。更难得的是Cider 并没有被锁死在 Mano-P 身上。它是一个完全开源的通用生态插件。像大家平时常用的 Qwen通义千问、Llama、Mistral 等等只要是能接入 MLX 生态的开源模型统统可以使用 Cider 来白嫖加速。写在最后Mano-P 和 Cider 的组合算是打破了我们对本地大模型“又慢又笨”的偏见。它们证明了在对隐私和成本极其敏感的业务流中端侧智能体才是真正的最优解。Mano-P 赋予了电脑“眼和手”Cider 则在底层重构了算力引擎。目前这两套项目都已经在 GitHub 上开源了。Mano-P 开源地址https://github.com/Mininglamp-AI/Mano-PCider 开源地址https://github.com/Mininglamp-AI/cider但最让我期待的其实是明略科技接下来更为宏大的开源蓝图。特别是最后的训练方法直接“授人以渔”让更多团队都能低门槛地训练、微调出属于自己的端侧模型。这已经不是单纯地开源一个工具了而是直接把端侧 AI 自动化的整套“基础设施”端到了开发者面前。属于本地数字员工全面接管电脑的时代或许已经拉开了帷幕。
