本地部署AI

【前言】一直以来我都深耕于断网开发环境与外界“绝缘”成了常态。也因此始终没能真正拥抱AI浪潮成为一名高频“吃Token”的开发者。趁着今天得闲决定把本地部署AI的过程记录下来算是给自己补上一课。【为什么还要本地部署AI】先别急着说“没必要”——如今在线AI和各类桌面端应用已经足够成熟ChatGPT、Copilot、Claude等随手可用为什么还要“折腾”本地部署我个人的理解主要有三点数据安全是第一刚需工作中涉及内部代码、敏感文档、未公开的算法逻辑这些数据一旦上传云端即使厂商承诺“不用于训练”心理上的“数据出境感”仍然挥之不去。本地部署数据不出机房物理隔离才是真正的“我的数据我做主”。自主训练定制专属模型在线大模型虽强但它是“通用大脑”不懂你的业务术语、代码规范、项目上下文。本地部署后你可以用自有数据做微调Fine-tuning或RAG让AI真正懂你的项目成为专属“副驾驶”。离线可用永不掉线对于我这种长期断网环境的“原住民”网络波动或断连是家常便饭。本地AI随叫随到不受网络和API配额限制开发体验更流畅也无需为Token计费焦虑。【记录本地部署AI过程】一个好看的聊天界面我选择的是Ollama特别提醒 选择安装的是时候千万不要直接点击进入安装程序通过cmd命令行进入安装程序这样可以选择安装盘要不然就会安装在C盘.例如你的安装包 在D盘file下面 OllamaSetup.exe1打开cmd WINR 输入cmd 回车直接输入 D: cd file 进入安装包目录2 输入 OllamaSetup.exe /DIRD:\Ollama等待一段时间安装好安装好之后界面就是这样的下载链接https://v4.gh-proxy.org/https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe选择模型可根据个人电脑配置选择我这里选择的是deepseek-r1:7b。本人电脑比较垃圾勿喷在安装前进入Ollama界面 选择模型存放目录要不然就会默认C盘1打开cmd WINR 输入cmd 回车输入ollama pull deepseek-r1:7b 等待安装 大概4个多G安装好之后输入ollama run deepseek-r1:7b运行模型 就可以了当然也可以在聊天界面 select a model 选择安装的模型【结语】当然本地部署也有门槛——硬件成本、模型选型、推理优化都是挑战。但正如当年从物理机迁移到虚拟化一样早踩坑早受益。这篇文章就当作我的“本地AI折腾日志”希望能给同样身处内网或对数据敏感的朋友一些参考。