本期目录全是干货1、新手做本地部署之前一定要看2、部署本地大模型教程MacWin含常用指令整理3、本地部署 VS 云端部署普通人怎么选3、部署本地大模型能做什么Part.01新手做本地部署之前一定要看为什么要部署本地大模型开源大模型虽然公开了源代码但如果要拉到自己电脑里跑起来往往需要复杂的环境配置而通过本地部署你可以拥有① 完全属于自己的大模型② 不会触发各种屏蔽词③ 断网也可以用④ 不用担心你的文稿、论文、数据被上传泄露其实你并不需要特别懂代码也不一定非得是数据工程师也不用阅读冗长的技术文档。今天我们就用一篇教程把部署大模型本地这件事讲得简单易操作让你从0开始也能把一个可用的大模型跑在自己的电脑上。只要你提前做好以下几点就可以顺利进行啦1、保证你的网络稳定性2、按教程复制命令时一定要完整复制3、本地模型很强但不要太贪多4、立即开始【必看】① 在下方步骤演示中安装思路是一样的。Mac和Windows有操作不同的界面大头会用颜色和字母来帮大家区分哈。②如果没有界面操作对比图说明该步骤页面长得差不多大家直接往下进行即可~●M代表Mac系统●W代表Windows系统Part.02部署本地大模型保姆级教程1、关键工具Ollama羊驼为了让新手也可以轻松部署模型有一家公司做出了一个非常好用的工具——Ollama。你可以把它理解为一个专门用来装大模型的盒子。只要模型开源了一般都能在ollama上下载并本地运行。2、下载安装 Ollama羊驼1打开浏览器访问https://ollama.commacOS还是Windows根据你的电脑系统来选。2进入页面后点击「Download」下载速度取决于你的网速耐心等待一会~3下载成功后点击这个“文件夹”图标打开它。MW4在Mac上的「应用程序」里找到「Ollama.dmg」安装包双击它。在Windows系统中点击「install」来安装可以直接进入到第8步。Windows安装可以直接选默认路径MW5Mac安装会多一步即把左边这个可爱的羊驼用鼠标向右拖到蓝色文件里。6你的Mac「应用程序」里就会多了一个安装好的Ollama软件双击它。7Mac系统可能会向你提问选择「打开」。如果没有该窗口可以继续往下走8打开Ollama后界面长这个样子都差不多哈MW3、两种部署模型的方式方式一用软件界面直接下载模型1点击对话框右边写有「gemma3:4b」的按键我们会看到一列长长的清单这些是已经开源的大模型。比如我们能看到deepseek千问GPT等等。这些大模型旁边出现的“云朵”标记代表这些大模型还没有下载到电脑上。可以鼠标上下滑动选一个2b或4b大小的模型下载试试看点击箭头即可。MW2如果你此前完全没有注册过也可以点击页面出现的「Sign In」完成注册。3如果你已注册过直接登录即可如果没有点击页面最下方的「注册」。4注册流程选择你的常用邮箱设置密码直到完成注册后看到下方的页面就表示成功完成。5Ollama会自动识别到你的电脑你会看到你的电脑名称、密码然后选择「Connect」连接它。6接下来进入Ollama对话页面点一下模型就能直接开始对话。7你会发现得到回答的速度真的非常非常非常快一定要自己来体验方式二下载更多模型使用命令行对话有时候你想安装的模型在Ollama的对话界面里没有找到可以再次进入Ollama官方首页下载更多、更全的新模型~1进入官网https://ollama.com 点击左上角的「Models」。2进入模型页之后页面下方会提供多个版本的大模型文件有2B、7B、14B 等不同大小。3以下载「qwen3-vl」为例我们点击选择该模型进入如下页面4继续下滑页面找到Models有不同大小的版本可以下载可按需选择。如果你只是想体验一下可以下载个最小的2B版本试试。操作为复制该版本的命令行5复制上面的命令行之后需要打开系统的命令行应用程序Mac方法为点开Mac桌面导航栏的「聚焦搜索」图标为放大镜 → 在搜索栏输入「终端」两个字选择下方的图标打开它。Windows方法为在Windows的搜索放大镜图标中输入「cmd」选择「命令提示符」双击打开。6看到下图就进入了命令行环境两个系统界面大差不大使用逻辑都是一样的MW7接着要确认我们的Ollama是打开的在Mac系统桌面上方导航栏能看到小羊驼的标识就可以在Windows系统要保持Ollama窗口是打开的哈。8把刚刚复制的命令行复制CtrlC到终端对话框中点击「回车」开始下载模型。MW9下载中的界面长这样我们能看到进度条需要等一等。MW10看到如下界面出现「success」和「」就代表大模型下载完成了MW11这时候我们可以用命令行的方式和大模型对话在「」后面输入你的指令比如“请介绍一下你自己”。Mac和Window两个系统操作一样12Qwen的回答同样特别特别快还会显示思考过程一定要去试试4、常用指令整理1查看已安装的所有模型指令为【ollama list】【回车】MW如①处所示发送指令后在②处就可以查看已经有的大模型列表。2运行指定模型指令为【ollama run】【空格】【模型名称】【回车】具体操作在①处输入「ollama run 」单击空格复制②处列表其中的一个模型全称粘贴到③处点击「回车」就可以运行该大模型了。MW想要进行对话可以在「 」后面输入指令再点回车。可以看到思考过程和回答3卸载某个模型Mac和Windows操作相同下方就不放对比图拉指令为【ollama rm】【空格】【模型名称】具体操作在①处输入「ollama rm 」空格复制②处列表其中的一个模型全称粘贴到③处点击「回车」就可以删除该大模型了。看到出现「deleted 」后跟着模型的名称就代表已经成功删除这些指令的操作非常干净相当于模型被装在这个盒子里后就像一个一个的文件夹删了就是删了~Part.03本地部署 VS 云端部署普通人应该怎么选到底是本地部署更好还是云端部署更好只要抓住两点你要用什么模型、你要在哪个场景用1、本地部署核心特点完全属于你不依赖网络速度快响应稳定。尤其是你的电脑配置越高体验就越好。适合人群① 在意你的信息隐私性比如你正在写论文、你在处理关键的核心数据等② 电脑还不错~③ 想随时随地使用大模型不希望受网络限制希望这个大模型是完全属于自己的AI助手。2、云端部署核心特点云端部署虽然不是今天这篇的重点但是大头后续也会推出相关的教程请大家一定要关注呀① 轻运行、轻设备、高性能。低成本跑高性能模型的一种方式。② 不占用电脑资源你只需要有网络就能用云端调用算力。③ 跨设备可用电脑、平板、手机都可以访问不受到什么硬件限制。适合人群① 电脑配置低② 想体验更大更强的模型③ 需要多人协作或者多设备访问④ 想用低成本获得更高算力综合下来对于普通人来说最具有性价比的方案就是先本地部署解决隐私、断网不可用、屏蔽词的问题。再结合云端获得更高性能的支持。Part.04部署本地大模型能做什么大家完成本地部署后一定也很想知道自己可以用它做什么。大头帮你列一个清单普通工作学习场景中能用到的需求基本都可以涵盖了。一、文案优化改写论文、润色文稿、优化报告、整理笔记、提炼重点二、深度文本处理文本总结、关键信息抽取、文本结构化、反向提问、资料阅读理解三、没网也随便用继续写稿、优化简历、解释专业术语、策划方案、解决专业概念四、高效学习学习你不懂的知识、帮你重新整理学习资料、复盘课程内容…假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】
14天玩转大模型：本地部署保姆级教程，Mac+Win全搞定！
本期目录全是干货1、新手做本地部署之前一定要看2、部署本地大模型教程MacWin含常用指令整理3、本地部署 VS 云端部署普通人怎么选3、部署本地大模型能做什么Part.01新手做本地部署之前一定要看为什么要部署本地大模型开源大模型虽然公开了源代码但如果要拉到自己电脑里跑起来往往需要复杂的环境配置而通过本地部署你可以拥有① 完全属于自己的大模型② 不会触发各种屏蔽词③ 断网也可以用④ 不用担心你的文稿、论文、数据被上传泄露其实你并不需要特别懂代码也不一定非得是数据工程师也不用阅读冗长的技术文档。今天我们就用一篇教程把部署大模型本地这件事讲得简单易操作让你从0开始也能把一个可用的大模型跑在自己的电脑上。只要你提前做好以下几点就可以顺利进行啦1、保证你的网络稳定性2、按教程复制命令时一定要完整复制3、本地模型很强但不要太贪多4、立即开始【必看】① 在下方步骤演示中安装思路是一样的。Mac和Windows有操作不同的界面大头会用颜色和字母来帮大家区分哈。②如果没有界面操作对比图说明该步骤页面长得差不多大家直接往下进行即可~●M代表Mac系统●W代表Windows系统Part.02部署本地大模型保姆级教程1、关键工具Ollama羊驼为了让新手也可以轻松部署模型有一家公司做出了一个非常好用的工具——Ollama。你可以把它理解为一个专门用来装大模型的盒子。只要模型开源了一般都能在ollama上下载并本地运行。2、下载安装 Ollama羊驼1打开浏览器访问https://ollama.commacOS还是Windows根据你的电脑系统来选。2进入页面后点击「Download」下载速度取决于你的网速耐心等待一会~3下载成功后点击这个“文件夹”图标打开它。MW4在Mac上的「应用程序」里找到「Ollama.dmg」安装包双击它。在Windows系统中点击「install」来安装可以直接进入到第8步。Windows安装可以直接选默认路径MW5Mac安装会多一步即把左边这个可爱的羊驼用鼠标向右拖到蓝色文件里。6你的Mac「应用程序」里就会多了一个安装好的Ollama软件双击它。7Mac系统可能会向你提问选择「打开」。如果没有该窗口可以继续往下走8打开Ollama后界面长这个样子都差不多哈MW3、两种部署模型的方式方式一用软件界面直接下载模型1点击对话框右边写有「gemma3:4b」的按键我们会看到一列长长的清单这些是已经开源的大模型。比如我们能看到deepseek千问GPT等等。这些大模型旁边出现的“云朵”标记代表这些大模型还没有下载到电脑上。可以鼠标上下滑动选一个2b或4b大小的模型下载试试看点击箭头即可。MW2如果你此前完全没有注册过也可以点击页面出现的「Sign In」完成注册。3如果你已注册过直接登录即可如果没有点击页面最下方的「注册」。4注册流程选择你的常用邮箱设置密码直到完成注册后看到下方的页面就表示成功完成。5Ollama会自动识别到你的电脑你会看到你的电脑名称、密码然后选择「Connect」连接它。6接下来进入Ollama对话页面点一下模型就能直接开始对话。7你会发现得到回答的速度真的非常非常非常快一定要自己来体验方式二下载更多模型使用命令行对话有时候你想安装的模型在Ollama的对话界面里没有找到可以再次进入Ollama官方首页下载更多、更全的新模型~1进入官网https://ollama.com 点击左上角的「Models」。2进入模型页之后页面下方会提供多个版本的大模型文件有2B、7B、14B 等不同大小。3以下载「qwen3-vl」为例我们点击选择该模型进入如下页面4继续下滑页面找到Models有不同大小的版本可以下载可按需选择。如果你只是想体验一下可以下载个最小的2B版本试试。操作为复制该版本的命令行5复制上面的命令行之后需要打开系统的命令行应用程序Mac方法为点开Mac桌面导航栏的「聚焦搜索」图标为放大镜 → 在搜索栏输入「终端」两个字选择下方的图标打开它。Windows方法为在Windows的搜索放大镜图标中输入「cmd」选择「命令提示符」双击打开。6看到下图就进入了命令行环境两个系统界面大差不大使用逻辑都是一样的MW7接着要确认我们的Ollama是打开的在Mac系统桌面上方导航栏能看到小羊驼的标识就可以在Windows系统要保持Ollama窗口是打开的哈。8把刚刚复制的命令行复制CtrlC到终端对话框中点击「回车」开始下载模型。MW9下载中的界面长这样我们能看到进度条需要等一等。MW10看到如下界面出现「success」和「」就代表大模型下载完成了MW11这时候我们可以用命令行的方式和大模型对话在「」后面输入你的指令比如“请介绍一下你自己”。Mac和Window两个系统操作一样12Qwen的回答同样特别特别快还会显示思考过程一定要去试试4、常用指令整理1查看已安装的所有模型指令为【ollama list】【回车】MW如①处所示发送指令后在②处就可以查看已经有的大模型列表。2运行指定模型指令为【ollama run】【空格】【模型名称】【回车】具体操作在①处输入「ollama run 」单击空格复制②处列表其中的一个模型全称粘贴到③处点击「回车」就可以运行该大模型了。MW想要进行对话可以在「 」后面输入指令再点回车。可以看到思考过程和回答3卸载某个模型Mac和Windows操作相同下方就不放对比图拉指令为【ollama rm】【空格】【模型名称】具体操作在①处输入「ollama rm 」空格复制②处列表其中的一个模型全称粘贴到③处点击「回车」就可以删除该大模型了。看到出现「deleted 」后跟着模型的名称就代表已经成功删除这些指令的操作非常干净相当于模型被装在这个盒子里后就像一个一个的文件夹删了就是删了~Part.03本地部署 VS 云端部署普通人应该怎么选到底是本地部署更好还是云端部署更好只要抓住两点你要用什么模型、你要在哪个场景用1、本地部署核心特点完全属于你不依赖网络速度快响应稳定。尤其是你的电脑配置越高体验就越好。适合人群① 在意你的信息隐私性比如你正在写论文、你在处理关键的核心数据等② 电脑还不错~③ 想随时随地使用大模型不希望受网络限制希望这个大模型是完全属于自己的AI助手。2、云端部署核心特点云端部署虽然不是今天这篇的重点但是大头后续也会推出相关的教程请大家一定要关注呀① 轻运行、轻设备、高性能。低成本跑高性能模型的一种方式。② 不占用电脑资源你只需要有网络就能用云端调用算力。③ 跨设备可用电脑、平板、手机都可以访问不受到什么硬件限制。适合人群① 电脑配置低② 想体验更大更强的模型③ 需要多人协作或者多设备访问④ 想用低成本获得更高算力综合下来对于普通人来说最具有性价比的方案就是先本地部署解决隐私、断网不可用、屏蔽词的问题。再结合云端获得更高性能的支持。Part.04部署本地大模型能做什么大家完成本地部署后一定也很想知道自己可以用它做什么。大头帮你列一个清单普通工作学习场景中能用到的需求基本都可以涵盖了。一、文案优化改写论文、润色文稿、优化报告、整理笔记、提炼重点二、深度文本处理文本总结、关键信息抽取、文本结构化、反向提问、资料阅读理解三、没网也随便用继续写稿、优化简历、解释专业术语、策划方案、解决专业概念四、高效学习学习你不懂的知识、帮你重新整理学习资料、复盘课程内容…假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】
