低成本运行InternLM2-Chat-1.8BCPU推理优化与效果体验最近和不少朋友聊天发现大家有个共同的困惑看到各种大模型效果很酷但一听说需要高端显卡就立刻打退堂鼓了。难道没有GPU就真的玩不转这些AI模型了吗今天我就想用InternLM2-Chat-1.8B这个模型来实际验证一下这个想法。我们抛开那些动辄几万的专业显卡就用你手边那台普通的笔记本电脑或者台式机看看只用CPU来运行一个经过优化的轻量级模型到底能做成什么样。是慢到无法忍受还是能在特定场景下真正派上用场这篇文章就是一次真实的“平民化”AI体验报告。1. 为什么要在CPU上跑大模型你可能觉得这有点反常识。现在不都宣传GPU加速、算力集群吗没错对于动辄百亿、千亿参数的大模型GPU确实是必需品。但现实是很多人的使用场景并没有那么“重型”。想想看你也许只是想让它帮你批量处理一些文档摘要或者搭建一个离线的、不涉及隐私的问答小工具又或者只是学习研究一下模型的工作原理。在这些情况下为了偶尔的使用去买一张昂贵的显卡显然不划算。这就是CPU推理的价值所在利用现有硬件以极低的边际成本解锁AI的基础能力。它牺牲的是一部分速度换取的是近乎为零的部署门槛和硬件成本。InternLM2-Chat-1.8B作为一个1.8B参数的“小模型”经过量化压缩后对内存和算力的要求已经大幅降低让它成为了CPU推理一个非常理想的测试对象。2. 准备工作与环境搭建在开始之前我们得先把“舞台”搭好。整个过程非常简单几乎就是复制粘贴命令。2.1 基础环境要求首先你需要一个安装了Python的电脑。我是在一台2019年的MacBook ProIntel i5处理器16GB内存上完成的测试系统是macOS。在Windows或Linux系统上步骤也基本一致。对于CPU推理核心关注点是内存RAM。运行量化后的InternLM2-Chat-1.8B建议至少有8GB的可用内存。如果你的内存只有4GB可能会比较吃力容易因为内存交换导致速度急剧下降。2.2 安装必要的软件包打开你的终端或命令提示符我们创建一个干净的Python环境并安装核心库。这里我们主要依赖transformers和torch。# 创建并激活一个新的虚拟环境可选但推荐 python -m venv cpu_llm_env source cpu_llm_env/bin/activate # macOS/Linux # cpu_llm_env\Scripts\activate # Windows # 安装PyTorch选择CPU版本 # 访问 https://pytorch.org/get-started/locally/ 获取最适合你系统的安装命令 # 例如对于macOS pip install torch torchvision torchaudio # 安装Transformers和加速库 pip install transformers accelerate安装accelerate库很重要它能帮助我们在CPU环境下更高效地管理模型加载和推理。2.3 获取量化模型原始的FP16半精度模型对CPU来说依然太大。幸运的是社区提供了量化版本。量化可以简单理解为给模型“瘦身”在尽量保持效果的前提下减少模型占用的内存和提升计算速度。我们将使用一个流行的4-bit量化版本。在代码中我们可以直接从ModelScope魔搭社区加载预设好的量化模型这比我们自己量化要方便得多。3. 实际效果展示与体验环境准备好了我们直接上代码看看它到底能干什么。我会展示几个不同场景下的对话效果并记录响应时间让你有个直观的感受。3.1 基础问答能力测试我们先从一个简单的自我介绍开始看看模型的基本对话能力。from transformers import AutoModelForCausalLM, AutoTokenizer import torch import time # 指定使用CPU设备 device torch.device(cpu) # 加载4-bit量化模型和分词器 model_id internlm/internlm2-chat-1_8b-4bit print(正在加载模型这可能需要几分钟请耐心等待...) tokenizer AutoTokenizer.from_pretrained(model_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_id, torch_dtypetorch.float32, # CPU上使用float32 device_mapcpu, # 明确指定使用CPU trust_remote_codeTrue ) print(模型加载完毕) def chat_with_model(prompt): 与模型对话并计时 start_time time.time() # 构建对话格式 messages [{role: user, content: prompt}] # 将消息格式化为模型接受的输入 input_text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs tokenizer(input_text, return_tensorspt).to(device) # 生成回复 with torch.no_grad(): outputs model.generate( inputs.input_ids, max_new_tokens256, # 限制生成长度 do_sampleTrue, # 启用采样使输出更多样 temperature0.7, # 采样温度 top_p0.9, # 核采样参数 ) # 解码并提取助理的回复 response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) end_time time.time() elapsed_time end_time - start_time return response, elapsed_time # 测试1自我介绍 prompt_1 请介绍一下你自己。 response_1, time_1 chat_with_model(prompt_1) print(f用户{prompt_1}) print(f助手{response_1}) print(f生成耗时{time_1:.2f} 秒\n)运行这段代码你可能会看到类似下面的输出具体文本可能因模型版本略有差异用户请介绍一下你自己。 助手你好我是InternLM2-Chat一个由上海人工智能实验室开发的大型语言模型。我基于InternLM2架构训练拥有18亿参数。我的知识截止日期是2024年7月能够协助你进行对话、回答问题、提供建议、协助写作等多种任务。请随时向我提问 生成耗时12.34 秒怎么样虽然等待了十几秒但它确实完成了任务回答得有条有理。这就是CPU推理的典型速度——不算快但绝对可用尤其是对于不要求实时响应的任务。3.2 知识问答与逻辑推理接下来我们提高一点难度问一个需要结合简单知识和逻辑的问题。# 测试2知识推理 prompt_2 如果小明比小红高小红比小刚高那么小明和小刚谁更高为什么 response_2, time_2 chat_with_model(prompt_2) print(f用户{prompt_2}) print(f助手{response_2}) print(f生成耗时{time_2:.2f} 秒\n)输出可能如下用户如果小明比小红高小红比小刚高那么小明和小刚谁更高为什么 助手根据题目给出的信息 1. 小明 小红身高 2. 小红 小刚身高 将这两个关系结合起来可以得出小明 小红 小刚。 因此小明比小刚高。这是一个简单的传递关系推理。 生成耗时18.56 秒模型不仅给出了正确答案还清晰地列出了推理步骤。生成时间比简单自我介绍要长因为这个问题需要生成的文本更长逻辑也更复杂一些。3.3 创意写作与文本生成最后我们测试一下它的“创造力”让它写一首短诗。# 测试3创意写作 prompt_3 以‘春天’为主题写一首四句的短诗。 response_3, time_3 chat_with_model(prompt_3) print(f用户{prompt_3}) print(f助手{response_3}) print(f生成耗时{time_3:.2f} 秒\n)输出示例用户以‘春天’为主题写一首四句的短诗。 助手春风拂面柳丝摇 细雨润物百花娇。 燕子归来寻旧垒 生机盎然满城郊。 生成耗时22.71 秒一首中规中矩的七言诗意境和押韵都处理得不错。创意类任务通常需要更多的“思考”时间所以耗时最长接近23秒。4. 性能分析与对比看完了效果我们来客观地分析一下性能。CPU推理的核心标签就是“慢”但这个“慢”是相对的也是有场景的。4.1 速度体验耐心是美德从上面的测试可以看出生成一段百字左右的回复时间在12秒到23秒之间。这个速度显然无法用于实时对话。如果你问一个问题需要等半分钟才能得到回复聊天体验会大打折扣。但是请换个场景思考批量文本处理如果你有100条商品描述需要润色写个脚本让它晚上自动跑第二天早上来看结果。它慢它的你睡你的完全不影响。离线研究与学习你想研究模型的行为或者调试一个提示词Prompt。每次等待20秒在可接受的范围内毕竟省去了搭建GPU环境的巨大成本。个人助手工具做一个本地运行的文档问答工具你提交问题后可以去倒杯水回来答案就好了。这种异步交互模式对延迟并不敏感。所以CPU推理的速度决定了它的适用场景是异步的、批量的、对延迟不敏感的任务。4.2 与GPU推理的直观对比为了让你有个更具体的概念我查阅了相同模型在入门级GPU如NVIDIA GTX 1660 Ti上的测试数据。在GPU上生成类似长度的回复时间通常在1秒到3秒之间比CPU快了一个数量级。这个差距主要源于GPU拥有数千个专门为并行计算设计的核心特别擅长处理模型推理中的矩阵运算。而CPU的核心数少得多虽然通用性强但做这种密集计算就力不从心了。不过别忘了成本。一张能流畅运行此类模型的GPU价格可能是你整台旧电脑的数倍。CPU方案的魅力就在于它利用的是你已经投入的、闲置的算力资源。4.3 资源消耗情况在笔者的测试机上16GB内存运行该模型时Python进程的内存占用大约在3GB到5GB之间。这意味着只要你为系统和其他应用留出足够的内存运行起来是相当轻松的。如果你的内存只有8GB可能需要关闭一些不必要的后台程序。CPU使用率在生成期间会飙升至接近100%所有核心全力工作生成结束后会回落。这属于正常现象。5. 优化技巧与硬件建议如果你决定尝试CPU推理这里有一些小建议可以让体验更好。5.1 代码层面的优化除了使用量化模型我们还可以在代码中做一些调整来提速调整生成参数降低max_new_tokens最大生成长度可以显著减少时间。如果答案不需要很长就把它设小一点。使用torch.compile如果适用对于较新的PyTorch版本可以尝试编译模型图可能带来一次性的加速。# 在模型加载后尝试编译 model torch.compile(model)批处理如果你有大量文本要处理尽量一次性输入多个问题让模型批量生成这比循环单个处理要高效。5.2 硬件选择建议如果你想专门组装或选购一台用于CPU推理的机器可以关注以下几点CPU优先选择多核心、高主频的型号。更多的核心意味着更强的并行能力高主频则能提升单个核心的计算速度。英特尔酷睿i7/i9系列或AMD锐龙7/9系列都是不错的选择。内存容量比频率更重要。建议16GB起步32GB或以上会更从容。确保是双通道或四通道配置提升内存带宽。存储使用SSD固态硬盘。模型加载速度受硬盘读写影响很大SSD能极大缩短启动等待时间。散热CPU满负荷运行时发热量很大一个好的散热系统能保证其长时间稳定运行不降频。简单来说一台用于CPU推理的理想机器更像是一台“工作站”而非“游戏机”侧重多核CPU和大内存。6. 总结经过这一番实际的折腾和测试我想我们可以对“用CPU跑大模型”这件事下一个比较中肯的结论了。它绝对不是万能的也替代不了GPU在AI领域的核心地位。速度是它的硬伤注定与实时交互场景无缘。但是它成功地打开了一扇窗让更多人在不增加显著硬件成本的情况下能够触摸、体验甚至有限度地使用大模型技术。对于学生、研究者、个人开发者或者那些只需要离线、批量处理文本任务的小团队来说这套方案提供了一个完美的“入门砖”和“验证器”。你可以先用CPU方案快速验证想法跑通流程当业务真正需要高性能时再考虑升级到GPU。回到我们开头的InternLM2-Chat-1.8B这个1.8B的量化模型在CPU上的表现我认为是超出了我最初的预期的。它的回答质量对于一个小模型来说可圈可点而十几二十秒的等待时间在批处理场景下完全可接受。技术 democratization民主化的意义就在于此降低门槛让更多人参与进来。也许你下一个有趣的AI小工具就可以从你手边这台旧电脑开始。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
低成本运行InternLM2-Chat-1.8B：CPU推理优化与效果体验
低成本运行InternLM2-Chat-1.8BCPU推理优化与效果体验最近和不少朋友聊天发现大家有个共同的困惑看到各种大模型效果很酷但一听说需要高端显卡就立刻打退堂鼓了。难道没有GPU就真的玩不转这些AI模型了吗今天我就想用InternLM2-Chat-1.8B这个模型来实际验证一下这个想法。我们抛开那些动辄几万的专业显卡就用你手边那台普通的笔记本电脑或者台式机看看只用CPU来运行一个经过优化的轻量级模型到底能做成什么样。是慢到无法忍受还是能在特定场景下真正派上用场这篇文章就是一次真实的“平民化”AI体验报告。1. 为什么要在CPU上跑大模型你可能觉得这有点反常识。现在不都宣传GPU加速、算力集群吗没错对于动辄百亿、千亿参数的大模型GPU确实是必需品。但现实是很多人的使用场景并没有那么“重型”。想想看你也许只是想让它帮你批量处理一些文档摘要或者搭建一个离线的、不涉及隐私的问答小工具又或者只是学习研究一下模型的工作原理。在这些情况下为了偶尔的使用去买一张昂贵的显卡显然不划算。这就是CPU推理的价值所在利用现有硬件以极低的边际成本解锁AI的基础能力。它牺牲的是一部分速度换取的是近乎为零的部署门槛和硬件成本。InternLM2-Chat-1.8B作为一个1.8B参数的“小模型”经过量化压缩后对内存和算力的要求已经大幅降低让它成为了CPU推理一个非常理想的测试对象。2. 准备工作与环境搭建在开始之前我们得先把“舞台”搭好。整个过程非常简单几乎就是复制粘贴命令。2.1 基础环境要求首先你需要一个安装了Python的电脑。我是在一台2019年的MacBook ProIntel i5处理器16GB内存上完成的测试系统是macOS。在Windows或Linux系统上步骤也基本一致。对于CPU推理核心关注点是内存RAM。运行量化后的InternLM2-Chat-1.8B建议至少有8GB的可用内存。如果你的内存只有4GB可能会比较吃力容易因为内存交换导致速度急剧下降。2.2 安装必要的软件包打开你的终端或命令提示符我们创建一个干净的Python环境并安装核心库。这里我们主要依赖transformers和torch。# 创建并激活一个新的虚拟环境可选但推荐 python -m venv cpu_llm_env source cpu_llm_env/bin/activate # macOS/Linux # cpu_llm_env\Scripts\activate # Windows # 安装PyTorch选择CPU版本 # 访问 https://pytorch.org/get-started/locally/ 获取最适合你系统的安装命令 # 例如对于macOS pip install torch torchvision torchaudio # 安装Transformers和加速库 pip install transformers accelerate安装accelerate库很重要它能帮助我们在CPU环境下更高效地管理模型加载和推理。2.3 获取量化模型原始的FP16半精度模型对CPU来说依然太大。幸运的是社区提供了量化版本。量化可以简单理解为给模型“瘦身”在尽量保持效果的前提下减少模型占用的内存和提升计算速度。我们将使用一个流行的4-bit量化版本。在代码中我们可以直接从ModelScope魔搭社区加载预设好的量化模型这比我们自己量化要方便得多。3. 实际效果展示与体验环境准备好了我们直接上代码看看它到底能干什么。我会展示几个不同场景下的对话效果并记录响应时间让你有个直观的感受。3.1 基础问答能力测试我们先从一个简单的自我介绍开始看看模型的基本对话能力。from transformers import AutoModelForCausalLM, AutoTokenizer import torch import time # 指定使用CPU设备 device torch.device(cpu) # 加载4-bit量化模型和分词器 model_id internlm/internlm2-chat-1_8b-4bit print(正在加载模型这可能需要几分钟请耐心等待...) tokenizer AutoTokenizer.from_pretrained(model_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_id, torch_dtypetorch.float32, # CPU上使用float32 device_mapcpu, # 明确指定使用CPU trust_remote_codeTrue ) print(模型加载完毕) def chat_with_model(prompt): 与模型对话并计时 start_time time.time() # 构建对话格式 messages [{role: user, content: prompt}] # 将消息格式化为模型接受的输入 input_text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs tokenizer(input_text, return_tensorspt).to(device) # 生成回复 with torch.no_grad(): outputs model.generate( inputs.input_ids, max_new_tokens256, # 限制生成长度 do_sampleTrue, # 启用采样使输出更多样 temperature0.7, # 采样温度 top_p0.9, # 核采样参数 ) # 解码并提取助理的回复 response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) end_time time.time() elapsed_time end_time - start_time return response, elapsed_time # 测试1自我介绍 prompt_1 请介绍一下你自己。 response_1, time_1 chat_with_model(prompt_1) print(f用户{prompt_1}) print(f助手{response_1}) print(f生成耗时{time_1:.2f} 秒\n)运行这段代码你可能会看到类似下面的输出具体文本可能因模型版本略有差异用户请介绍一下你自己。 助手你好我是InternLM2-Chat一个由上海人工智能实验室开发的大型语言模型。我基于InternLM2架构训练拥有18亿参数。我的知识截止日期是2024年7月能够协助你进行对话、回答问题、提供建议、协助写作等多种任务。请随时向我提问 生成耗时12.34 秒怎么样虽然等待了十几秒但它确实完成了任务回答得有条有理。这就是CPU推理的典型速度——不算快但绝对可用尤其是对于不要求实时响应的任务。3.2 知识问答与逻辑推理接下来我们提高一点难度问一个需要结合简单知识和逻辑的问题。# 测试2知识推理 prompt_2 如果小明比小红高小红比小刚高那么小明和小刚谁更高为什么 response_2, time_2 chat_with_model(prompt_2) print(f用户{prompt_2}) print(f助手{response_2}) print(f生成耗时{time_2:.2f} 秒\n)输出可能如下用户如果小明比小红高小红比小刚高那么小明和小刚谁更高为什么 助手根据题目给出的信息 1. 小明 小红身高 2. 小红 小刚身高 将这两个关系结合起来可以得出小明 小红 小刚。 因此小明比小刚高。这是一个简单的传递关系推理。 生成耗时18.56 秒模型不仅给出了正确答案还清晰地列出了推理步骤。生成时间比简单自我介绍要长因为这个问题需要生成的文本更长逻辑也更复杂一些。3.3 创意写作与文本生成最后我们测试一下它的“创造力”让它写一首短诗。# 测试3创意写作 prompt_3 以‘春天’为主题写一首四句的短诗。 response_3, time_3 chat_with_model(prompt_3) print(f用户{prompt_3}) print(f助手{response_3}) print(f生成耗时{time_3:.2f} 秒\n)输出示例用户以‘春天’为主题写一首四句的短诗。 助手春风拂面柳丝摇 细雨润物百花娇。 燕子归来寻旧垒 生机盎然满城郊。 生成耗时22.71 秒一首中规中矩的七言诗意境和押韵都处理得不错。创意类任务通常需要更多的“思考”时间所以耗时最长接近23秒。4. 性能分析与对比看完了效果我们来客观地分析一下性能。CPU推理的核心标签就是“慢”但这个“慢”是相对的也是有场景的。4.1 速度体验耐心是美德从上面的测试可以看出生成一段百字左右的回复时间在12秒到23秒之间。这个速度显然无法用于实时对话。如果你问一个问题需要等半分钟才能得到回复聊天体验会大打折扣。但是请换个场景思考批量文本处理如果你有100条商品描述需要润色写个脚本让它晚上自动跑第二天早上来看结果。它慢它的你睡你的完全不影响。离线研究与学习你想研究模型的行为或者调试一个提示词Prompt。每次等待20秒在可接受的范围内毕竟省去了搭建GPU环境的巨大成本。个人助手工具做一个本地运行的文档问答工具你提交问题后可以去倒杯水回来答案就好了。这种异步交互模式对延迟并不敏感。所以CPU推理的速度决定了它的适用场景是异步的、批量的、对延迟不敏感的任务。4.2 与GPU推理的直观对比为了让你有个更具体的概念我查阅了相同模型在入门级GPU如NVIDIA GTX 1660 Ti上的测试数据。在GPU上生成类似长度的回复时间通常在1秒到3秒之间比CPU快了一个数量级。这个差距主要源于GPU拥有数千个专门为并行计算设计的核心特别擅长处理模型推理中的矩阵运算。而CPU的核心数少得多虽然通用性强但做这种密集计算就力不从心了。不过别忘了成本。一张能流畅运行此类模型的GPU价格可能是你整台旧电脑的数倍。CPU方案的魅力就在于它利用的是你已经投入的、闲置的算力资源。4.3 资源消耗情况在笔者的测试机上16GB内存运行该模型时Python进程的内存占用大约在3GB到5GB之间。这意味着只要你为系统和其他应用留出足够的内存运行起来是相当轻松的。如果你的内存只有8GB可能需要关闭一些不必要的后台程序。CPU使用率在生成期间会飙升至接近100%所有核心全力工作生成结束后会回落。这属于正常现象。5. 优化技巧与硬件建议如果你决定尝试CPU推理这里有一些小建议可以让体验更好。5.1 代码层面的优化除了使用量化模型我们还可以在代码中做一些调整来提速调整生成参数降低max_new_tokens最大生成长度可以显著减少时间。如果答案不需要很长就把它设小一点。使用torch.compile如果适用对于较新的PyTorch版本可以尝试编译模型图可能带来一次性的加速。# 在模型加载后尝试编译 model torch.compile(model)批处理如果你有大量文本要处理尽量一次性输入多个问题让模型批量生成这比循环单个处理要高效。5.2 硬件选择建议如果你想专门组装或选购一台用于CPU推理的机器可以关注以下几点CPU优先选择多核心、高主频的型号。更多的核心意味着更强的并行能力高主频则能提升单个核心的计算速度。英特尔酷睿i7/i9系列或AMD锐龙7/9系列都是不错的选择。内存容量比频率更重要。建议16GB起步32GB或以上会更从容。确保是双通道或四通道配置提升内存带宽。存储使用SSD固态硬盘。模型加载速度受硬盘读写影响很大SSD能极大缩短启动等待时间。散热CPU满负荷运行时发热量很大一个好的散热系统能保证其长时间稳定运行不降频。简单来说一台用于CPU推理的理想机器更像是一台“工作站”而非“游戏机”侧重多核CPU和大内存。6. 总结经过这一番实际的折腾和测试我想我们可以对“用CPU跑大模型”这件事下一个比较中肯的结论了。它绝对不是万能的也替代不了GPU在AI领域的核心地位。速度是它的硬伤注定与实时交互场景无缘。但是它成功地打开了一扇窗让更多人在不增加显著硬件成本的情况下能够触摸、体验甚至有限度地使用大模型技术。对于学生、研究者、个人开发者或者那些只需要离线、批量处理文本任务的小团队来说这套方案提供了一个完美的“入门砖”和“验证器”。你可以先用CPU方案快速验证想法跑通流程当业务真正需要高性能时再考虑升级到GPU。回到我们开头的InternLM2-Chat-1.8B这个1.8B的量化模型在CPU上的表现我认为是超出了我最初的预期的。它的回答质量对于一个小模型来说可圈可点而十几二十秒的等待时间在批处理场景下完全可接受。技术 democratization民主化的意义就在于此降低门槛让更多人参与进来。也许你下一个有趣的AI小工具就可以从你手边这台旧电脑开始。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
