Qwen2.5-72B-Instruct-GPTQ-Int4部署教程vLLM模型并行tensor_parallel_size4实操想体验一下720亿参数大模型的推理能力但被巨大的显存需求劝退别担心量化技术就是为你准备的。今天我们就来手把手部署一个经过GPTQ 4-bit量化的Qwen2.5-72B-Instruct模型让它能在消费级显卡上跑起来。这个教程的核心是vLLM模型并行。简单来说就是把一个72B的大模型像切蛋糕一样分成4块分别放到4张显卡上运行。这样原本需要上百GB显存的庞然大物现在可能只需要4张24GB显存的RTX 4090就能搞定。我们将使用vLLM作为推理引擎并用Chainlit搭建一个简单直观的Web界面来调用它。无论你是想搭建一个高性能的本地AI助手还是单纯想体验一下前沿大模型的能力这篇教程都能带你从零开始一步步实现目标。1. 环境准备与模型简介在开始动手之前我们先快速了解一下这次部署的主角并确认你的环境是否就绪。1.1 认识Qwen2.5-72B-Instruct-GPTQ-Int4Qwen2.5是通义千问模型系列的最新版本在编程、数学、长文本理解和多语言支持方面都有显著提升。我们这次部署的是它的72B参数指令调优版本并且经过了GPTQ 4-bit量化处理。模型特点参数规模720亿参数能力强大。量化技术GPTQ 4-bit将模型权重压缩到4位精度大幅降低显存占用。上下文长度支持长达128K tokens的输入并能生成最多8K tokens的回复。多语言支持涵盖中文、英文、日文、韩文等超过29种语言。为什么需要模型并行一个完整的72B模型即使经过4-bit量化其显存占用依然非常可观。单张消费级显卡如24GB显存的RTX 4090可能无法承载。通过vLLM的tensor_parallel_size参数我们可以将模型的计算图张量在多个GPU之间进行拆分实现并行计算和显存分担。1.2 系统与硬件要求为了顺利运行tensor_parallel_size4的配置你需要准备以下环境操作系统推荐Ubuntu 20.04/22.04 LTS或其他Linux发行版。Python版本3.8 - 3.11。CUDA版本11.8或12.1。确保驱动版本与之匹配。硬件关键GPU至少需要4张具有足够显存的NVIDIA GPU。例如4张 RTX 4090 (24GB)2张 RTX 6000 Ada (48GB)此时可设置tensor_parallel_size2或其他显存总量能容纳模型的组合。内存建议64GB或以上系统内存。存储模型文件大约40GB请确保有足够硬盘空间。2. 核心部署使用vLLM启动模型服务这是整个教程的核心步骤我们将使用vLLM的命令行工具来加载量化模型并开启API服务。2.1 安装vLLM首先我们需要安装vLLM。为了获得最佳性能和对新硬件的支持建议从源码安装或安装预发布的wheel包。# 方法一使用pip安装可能不是最新版但对大多数情况足够 pip install vllm # 方法二从源码安装推荐确保获得最新特性和优化 pip install githttps://github.com/vllm-project/vllm.git2.2 启动vLLM服务模型并行关键安装完成后使用以下命令启动模型服务。请特别注意--tensor-parallel-size 4这个参数它指定了将模型拆分到4张GPU上。python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-72B-Instruct-GPTQ-Int4 \ --tensor-parallel-size 4 \ --served-model-name Qwen2.5-72B-Instruct \ --api-key token-abc123 \ --host 0.0.0.0 \ --port 8000命令参数详解--model Qwen/Qwen2.5-72B-Instruct-GPTQ-Int4: 指定从Hugging Face模型仓库加载的模型。vLLM会自动识别GPTQ量化模型并采用相应优化。--tensor-parallel-size 4:核心参数。启用张量并行将模型均匀拆分到4个GPU上。vLLM会自动检测并使用所有可用的GPUCUDA_VISIBLE_DEVICES0,1,2,3。--served-model-name Qwen2.5-72B-Instruct: 服务对外暴露的模型名称。--api-key token-abc123: 设置一个简单的API密钥用于基础验证。--host 0.0.0.0: 服务监听所有网络接口。--port 8000: 服务端口。执行后你会看到终端会开始输出日志。vLLM首先会从Hugging Face下载模型如果本地没有缓存然后进行加载。加载过程中你可以看到类似“Loading weights to 4 GPU(s)”的提示并观察到所有4张GPU的显存被逐渐占用。加载完成后会显示“Uvicorn running on http://0.0.0.0:8000”表示服务已就绪。2.3 验证服务状态服务启动后我们可以快速验证一下它是否正常工作。打开一个新的终端使用curl命令调用Completions接口curl http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -H Authorization: Bearer token-abc123 \ -d { model: Qwen2.5-72B-Instruct, prompt: 中国的首都是, max_tokens: 50, temperature: 0.7 }如果返回一个包含“北京”等文本的JSON响应说明模型服务运行成功。3. 搭建交互前端使用Chainlit通过API调用虽然强大但不够直观。我们使用Chainlit来快速构建一个类似ChatGPT的Web聊天界面。3.1 安装与配置Chainlit首先安装Chainlit。pip install chainlit然后创建一个Python脚本比如叫做chat_app.py。这个脚本将作为我们的Chainlit应用。# chat_app.py import chainlit as cl from openai import OpenAI # 配置客户端指向我们本地启动的vLLM服务 client OpenAI( base_urlhttp://localhost:8000/v1, # vLLM的OpenAI兼容接口地址 api_keytoken-abc123 # 与启动服务时设置的api-key一致 ) cl.on_message async def main(message: cl.Message): 处理用户消息的核心函数。 # 创建一个消息对象来显示模型正在思考 msg cl.Message(content) await msg.send() # 调用vLLM提供的OpenAI兼容接口 response client.chat.completions.create( modelQwen2.5-72B-Instruct, # 模型名称与启动服务时设置的--served-model-name一致 messages[ {role: system, content: 你是一个乐于助人的AI助手。}, {role: user, content: message.content} ], temperature0.7, max_tokens2048, streamTrue # 启用流式输出实现打字机效果 ) # 流式处理回复内容 for chunk in response: if chunk.choices[0].delta.content is not None: await msg.stream_token(chunk.choices[0].delta.content) # 流式传输完成后更新消息状态 await msg.update()3.2 启动Chainlit应用在包含chat_app.py的目录下运行以下命令chainlit run chat_app.pyChainlit会自动在浏览器中打开一个页面通常是http://localhost:8000如果端口冲突它会提示你访问另一个地址。现在你就能看到一个简洁的聊天界面了。4. 效果验证与使用一切就绪后让我们来实际体验一下这个分布式大模型的能力。4.1 验证部署成功在启动vLLM服务的终端或者通过查看日志文件如果你像示例中那样重定向了日志你可以确认模型是否加载成功。成功的标志是看到模型权重被加载到多个GPU并且API服务正常启动的信息。4.2 通过Chainlit进行交互在Chainlit的Web界面中你可以尝试提出各种问题知识问答“请解释一下量子计算的基本原理。”代码生成“用Python写一个快速排序函数并加上注释。”创意写作“写一个关于宇航员在火星发现古代文明遗迹的短篇故事开头。”逻辑推理“如果所有A都是B有些B是C那么有些A是C吗请逐步推理。”由于模型具有128K的长上下文能力你甚至可以粘贴一篇长文章让它进行总结或分析。4.3 监控GPU状态在模型运行期间你可以使用nvidia-smi命令来监控GPU的使用情况。你应该能看到4张GPU的显存都被占用并且在进行推理时它们的计算利用率Volatile GPU-Util会有所波动这证明模型并行正在有效工作。5. 总结与进阶建议通过本教程我们成功地将一个720亿参数的量化大模型通过vLLM的模型并行技术部署在了多GPU环境上并为其配上了友好的Web交互界面。回顾一下关键步骤环境准备确保拥有多GPU硬件和合适的驱动。核心部署使用vllm.entrypoints.openai.api_server并设置--tensor-parallel-size 4来启动分布式模型服务。前端搭建利用Chainlit快速创建一个调用本地API的聊天应用。一些进阶建议和注意事项性能调优你可以调整vLLM的--max-model-len最大模型长度、--gpu-memory-utilization等参数来优化性能和显存使用。使用Docker为了环境隔离和可重复性强烈建议使用Docker容器来部署。可以基于NVIDIA官方CUDA镜像构建包含vLLM和Chainlit的环境。安全考虑本教程为简化演示使用了简单的API Key。在生产环境中你需要配置更严格的网络防火墙、HTTPS以及更完善的认证机制。故障排查如果模型加载失败首先检查CUDA版本、显卡驱动是否兼容以及每张GPU的显存是否足够。查看vLLM的详细日志是定位问题的好方法。现在你已经拥有了一个强大的、本地化的大语言模型服务。无论是用于开发、研究还是构建应用它都能为你提供强大的AI能力支撑。动手试试吧看看这个“四分天下”的72B模型能为你带来怎样的惊喜。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Qwen2.5-72B-Instruct-GPTQ-Int4部署教程：vLLM模型并行（tensor_parallel_size=4）实操
Qwen2.5-72B-Instruct-GPTQ-Int4部署教程vLLM模型并行tensor_parallel_size4实操想体验一下720亿参数大模型的推理能力但被巨大的显存需求劝退别担心量化技术就是为你准备的。今天我们就来手把手部署一个经过GPTQ 4-bit量化的Qwen2.5-72B-Instruct模型让它能在消费级显卡上跑起来。这个教程的核心是vLLM模型并行。简单来说就是把一个72B的大模型像切蛋糕一样分成4块分别放到4张显卡上运行。这样原本需要上百GB显存的庞然大物现在可能只需要4张24GB显存的RTX 4090就能搞定。我们将使用vLLM作为推理引擎并用Chainlit搭建一个简单直观的Web界面来调用它。无论你是想搭建一个高性能的本地AI助手还是单纯想体验一下前沿大模型的能力这篇教程都能带你从零开始一步步实现目标。1. 环境准备与模型简介在开始动手之前我们先快速了解一下这次部署的主角并确认你的环境是否就绪。1.1 认识Qwen2.5-72B-Instruct-GPTQ-Int4Qwen2.5是通义千问模型系列的最新版本在编程、数学、长文本理解和多语言支持方面都有显著提升。我们这次部署的是它的72B参数指令调优版本并且经过了GPTQ 4-bit量化处理。模型特点参数规模720亿参数能力强大。量化技术GPTQ 4-bit将模型权重压缩到4位精度大幅降低显存占用。上下文长度支持长达128K tokens的输入并能生成最多8K tokens的回复。多语言支持涵盖中文、英文、日文、韩文等超过29种语言。为什么需要模型并行一个完整的72B模型即使经过4-bit量化其显存占用依然非常可观。单张消费级显卡如24GB显存的RTX 4090可能无法承载。通过vLLM的tensor_parallel_size参数我们可以将模型的计算图张量在多个GPU之间进行拆分实现并行计算和显存分担。1.2 系统与硬件要求为了顺利运行tensor_parallel_size4的配置你需要准备以下环境操作系统推荐Ubuntu 20.04/22.04 LTS或其他Linux发行版。Python版本3.8 - 3.11。CUDA版本11.8或12.1。确保驱动版本与之匹配。硬件关键GPU至少需要4张具有足够显存的NVIDIA GPU。例如4张 RTX 4090 (24GB)2张 RTX 6000 Ada (48GB)此时可设置tensor_parallel_size2或其他显存总量能容纳模型的组合。内存建议64GB或以上系统内存。存储模型文件大约40GB请确保有足够硬盘空间。2. 核心部署使用vLLM启动模型服务这是整个教程的核心步骤我们将使用vLLM的命令行工具来加载量化模型并开启API服务。2.1 安装vLLM首先我们需要安装vLLM。为了获得最佳性能和对新硬件的支持建议从源码安装或安装预发布的wheel包。# 方法一使用pip安装可能不是最新版但对大多数情况足够 pip install vllm # 方法二从源码安装推荐确保获得最新特性和优化 pip install githttps://github.com/vllm-project/vllm.git2.2 启动vLLM服务模型并行关键安装完成后使用以下命令启动模型服务。请特别注意--tensor-parallel-size 4这个参数它指定了将模型拆分到4张GPU上。python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-72B-Instruct-GPTQ-Int4 \ --tensor-parallel-size 4 \ --served-model-name Qwen2.5-72B-Instruct \ --api-key token-abc123 \ --host 0.0.0.0 \ --port 8000命令参数详解--model Qwen/Qwen2.5-72B-Instruct-GPTQ-Int4: 指定从Hugging Face模型仓库加载的模型。vLLM会自动识别GPTQ量化模型并采用相应优化。--tensor-parallel-size 4:核心参数。启用张量并行将模型均匀拆分到4个GPU上。vLLM会自动检测并使用所有可用的GPUCUDA_VISIBLE_DEVICES0,1,2,3。--served-model-name Qwen2.5-72B-Instruct: 服务对外暴露的模型名称。--api-key token-abc123: 设置一个简单的API密钥用于基础验证。--host 0.0.0.0: 服务监听所有网络接口。--port 8000: 服务端口。执行后你会看到终端会开始输出日志。vLLM首先会从Hugging Face下载模型如果本地没有缓存然后进行加载。加载过程中你可以看到类似“Loading weights to 4 GPU(s)”的提示并观察到所有4张GPU的显存被逐渐占用。加载完成后会显示“Uvicorn running on http://0.0.0.0:8000”表示服务已就绪。2.3 验证服务状态服务启动后我们可以快速验证一下它是否正常工作。打开一个新的终端使用curl命令调用Completions接口curl http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -H Authorization: Bearer token-abc123 \ -d { model: Qwen2.5-72B-Instruct, prompt: 中国的首都是, max_tokens: 50, temperature: 0.7 }如果返回一个包含“北京”等文本的JSON响应说明模型服务运行成功。3. 搭建交互前端使用Chainlit通过API调用虽然强大但不够直观。我们使用Chainlit来快速构建一个类似ChatGPT的Web聊天界面。3.1 安装与配置Chainlit首先安装Chainlit。pip install chainlit然后创建一个Python脚本比如叫做chat_app.py。这个脚本将作为我们的Chainlit应用。# chat_app.py import chainlit as cl from openai import OpenAI # 配置客户端指向我们本地启动的vLLM服务 client OpenAI( base_urlhttp://localhost:8000/v1, # vLLM的OpenAI兼容接口地址 api_keytoken-abc123 # 与启动服务时设置的api-key一致 ) cl.on_message async def main(message: cl.Message): 处理用户消息的核心函数。 # 创建一个消息对象来显示模型正在思考 msg cl.Message(content) await msg.send() # 调用vLLM提供的OpenAI兼容接口 response client.chat.completions.create( modelQwen2.5-72B-Instruct, # 模型名称与启动服务时设置的--served-model-name一致 messages[ {role: system, content: 你是一个乐于助人的AI助手。}, {role: user, content: message.content} ], temperature0.7, max_tokens2048, streamTrue # 启用流式输出实现打字机效果 ) # 流式处理回复内容 for chunk in response: if chunk.choices[0].delta.content is not None: await msg.stream_token(chunk.choices[0].delta.content) # 流式传输完成后更新消息状态 await msg.update()3.2 启动Chainlit应用在包含chat_app.py的目录下运行以下命令chainlit run chat_app.pyChainlit会自动在浏览器中打开一个页面通常是http://localhost:8000如果端口冲突它会提示你访问另一个地址。现在你就能看到一个简洁的聊天界面了。4. 效果验证与使用一切就绪后让我们来实际体验一下这个分布式大模型的能力。4.1 验证部署成功在启动vLLM服务的终端或者通过查看日志文件如果你像示例中那样重定向了日志你可以确认模型是否加载成功。成功的标志是看到模型权重被加载到多个GPU并且API服务正常启动的信息。4.2 通过Chainlit进行交互在Chainlit的Web界面中你可以尝试提出各种问题知识问答“请解释一下量子计算的基本原理。”代码生成“用Python写一个快速排序函数并加上注释。”创意写作“写一个关于宇航员在火星发现古代文明遗迹的短篇故事开头。”逻辑推理“如果所有A都是B有些B是C那么有些A是C吗请逐步推理。”由于模型具有128K的长上下文能力你甚至可以粘贴一篇长文章让它进行总结或分析。4.3 监控GPU状态在模型运行期间你可以使用nvidia-smi命令来监控GPU的使用情况。你应该能看到4张GPU的显存都被占用并且在进行推理时它们的计算利用率Volatile GPU-Util会有所波动这证明模型并行正在有效工作。5. 总结与进阶建议通过本教程我们成功地将一个720亿参数的量化大模型通过vLLM的模型并行技术部署在了多GPU环境上并为其配上了友好的Web交互界面。回顾一下关键步骤环境准备确保拥有多GPU硬件和合适的驱动。核心部署使用vllm.entrypoints.openai.api_server并设置--tensor-parallel-size 4来启动分布式模型服务。前端搭建利用Chainlit快速创建一个调用本地API的聊天应用。一些进阶建议和注意事项性能调优你可以调整vLLM的--max-model-len最大模型长度、--gpu-memory-utilization等参数来优化性能和显存使用。使用Docker为了环境隔离和可重复性强烈建议使用Docker容器来部署。可以基于NVIDIA官方CUDA镜像构建包含vLLM和Chainlit的环境。安全考虑本教程为简化演示使用了简单的API Key。在生产环境中你需要配置更严格的网络防火墙、HTTPS以及更完善的认证机制。故障排查如果模型加载失败首先检查CUDA版本、显卡驱动是否兼容以及每张GPU的显存是否足够。查看vLLM的详细日志是定位问题的好方法。现在你已经拥有了一个强大的、本地化的大语言模型服务。无论是用于开发、研究还是构建应用它都能为你提供强大的AI能力支撑。动手试试吧看看这个“四分天下”的72B模型能为你带来怎样的惊喜。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
