Phi-3-vision-128k-instruct部署教程vLLM Chainlit 在国产信创环境验证1. 模型简介Phi-3-Vision-128K-Instruct 是一个轻量级的开放多模态模型属于Phi-3模型家族。该模型支持128K上下文长度专注于高质量、密集推理的文本和视觉数据处理。通过结合监督微调和直接偏好优化模型具备精确的指令遵循能力和强大的安全措施。主要特点支持图文对话多模态交互轻量级设计适合资源有限环境经过严格的数据增强和优化过程适用于国产信创环境部署2. 环境准备2.1 硬件要求建议配置CPU: 至少16核内存: 64GB以上GPU: 推荐NVIDIA显卡显存16GB以上存储: 至少50GB可用空间2.2 软件依赖确保系统已安装Python 3.8CUDA 11.7 (如需GPU加速)vLLM 0.2.0Chainlit 1.0.03. 部署步骤3.1 模型下载与准备# 创建工作目录 mkdir -p /root/workspace/phi3_vision cd /root/workspace/phi3_vision # 下载模型权重 wget https://example.com/phi3-vision-128k-instruct.tar.gz tar -xzvf phi3-vision-128k-instruct.tar.gz3.2 使用vLLM部署模型# 启动vLLM服务 python -m vllm.entrypoints.api_server \ --model /root/workspace/phi3_vision \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-num-seqs 256 \ --served-model-name phi3-vision-128k-instruct \ /root/workspace/llm.log 21 3.3 验证部署状态# 查看服务日志 cat /root/workspace/llm.log成功部署后日志中应显示类似以下内容Uvicorn running on http://0.0.0.0:8000 Model loaded successfully4. Chainlit前端集成4.1 安装Chainlitpip install chainlit4.2 创建前端应用新建app.py文件import chainlit as cl from typing import Dict, Optional import aiohttp import base64 cl.on_chat_start async def on_chat_start(): await cl.Message(contentPhi-3 Vision 128K Instruct 已就绪可以开始图文对话).send() cl.on_message async def on_message(message: cl.Message): if not message.elements: await cl.Message(content请上传图片并提问).send() return image message.elements[0] image_data base64.b64encode(image.content).decode(utf-8) async with aiohttp.ClientSession() as session: async with session.post( http://localhost:8000/v1/chat/completions, json{ model: phi3-vision-128k-instruct, messages: [ { role: user, content: [ {type: text, text: message.content}, {type: image_url, image_url: fdata:image/jpeg;base64,{image_data}} ] } ], max_tokens: 2048 } ) as resp: response await resp.json() await cl.Message(contentresponse[choices][0][message][content]).send()4.3 启动前端服务chainlit run app.py -w5. 使用验证5.1 访问前端界面在浏览器中打开Chainlit提供的本地地址通常是http://localhost:80005.2 进行图文对话测试上传一张图片输入问题例如图片中是什么等待模型分析并返回结果成功响应示例这是一张城市街景照片画面中有多栋现代建筑、人行道和树木。前景可见几位行人正在过马路背景有蓝天和少量云朵。6. 常见问题解决6.1 模型加载失败可能原因显存不足模型路径错误解决方案检查GPU显存使用情况确认模型路径是否正确6.2 前端无响应可能原因vLLM服务未启动端口冲突解决方案检查vLLM服务状态确认端口8000未被占用6.3 图片识别不准确可能原因图片质量差问题描述不清晰解决方案提供清晰图片使用更具体的问题描述7. 总结本教程详细介绍了在国产信创环境下使用vLLM部署Phi-3-Vision-128K-Instruct多模态模型并通过Chainlit构建图文对话前端的完整流程。该方案具有以下优势高效部署利用vLLM实现高性能模型服务易用交互通过Chainlit提供友好的用户界面国产适配已验证在国产信创环境的兼容性多模态支持实现图文理解和对话能力获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Phi-3-vision-128k-instruct部署教程：vLLM + Chainlit 在国产信创环境验证
Phi-3-vision-128k-instruct部署教程vLLM Chainlit 在国产信创环境验证1. 模型简介Phi-3-Vision-128K-Instruct 是一个轻量级的开放多模态模型属于Phi-3模型家族。该模型支持128K上下文长度专注于高质量、密集推理的文本和视觉数据处理。通过结合监督微调和直接偏好优化模型具备精确的指令遵循能力和强大的安全措施。主要特点支持图文对话多模态交互轻量级设计适合资源有限环境经过严格的数据增强和优化过程适用于国产信创环境部署2. 环境准备2.1 硬件要求建议配置CPU: 至少16核内存: 64GB以上GPU: 推荐NVIDIA显卡显存16GB以上存储: 至少50GB可用空间2.2 软件依赖确保系统已安装Python 3.8CUDA 11.7 (如需GPU加速)vLLM 0.2.0Chainlit 1.0.03. 部署步骤3.1 模型下载与准备# 创建工作目录 mkdir -p /root/workspace/phi3_vision cd /root/workspace/phi3_vision # 下载模型权重 wget https://example.com/phi3-vision-128k-instruct.tar.gz tar -xzvf phi3-vision-128k-instruct.tar.gz3.2 使用vLLM部署模型# 启动vLLM服务 python -m vllm.entrypoints.api_server \ --model /root/workspace/phi3_vision \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-num-seqs 256 \ --served-model-name phi3-vision-128k-instruct \ /root/workspace/llm.log 21 3.3 验证部署状态# 查看服务日志 cat /root/workspace/llm.log成功部署后日志中应显示类似以下内容Uvicorn running on http://0.0.0.0:8000 Model loaded successfully4. Chainlit前端集成4.1 安装Chainlitpip install chainlit4.2 创建前端应用新建app.py文件import chainlit as cl from typing import Dict, Optional import aiohttp import base64 cl.on_chat_start async def on_chat_start(): await cl.Message(contentPhi-3 Vision 128K Instruct 已就绪可以开始图文对话).send() cl.on_message async def on_message(message: cl.Message): if not message.elements: await cl.Message(content请上传图片并提问).send() return image message.elements[0] image_data base64.b64encode(image.content).decode(utf-8) async with aiohttp.ClientSession() as session: async with session.post( http://localhost:8000/v1/chat/completions, json{ model: phi3-vision-128k-instruct, messages: [ { role: user, content: [ {type: text, text: message.content}, {type: image_url, image_url: fdata:image/jpeg;base64,{image_data}} ] } ], max_tokens: 2048 } ) as resp: response await resp.json() await cl.Message(contentresponse[choices][0][message][content]).send()4.3 启动前端服务chainlit run app.py -w5. 使用验证5.1 访问前端界面在浏览器中打开Chainlit提供的本地地址通常是http://localhost:80005.2 进行图文对话测试上传一张图片输入问题例如图片中是什么等待模型分析并返回结果成功响应示例这是一张城市街景照片画面中有多栋现代建筑、人行道和树木。前景可见几位行人正在过马路背景有蓝天和少量云朵。6. 常见问题解决6.1 模型加载失败可能原因显存不足模型路径错误解决方案检查GPU显存使用情况确认模型路径是否正确6.2 前端无响应可能原因vLLM服务未启动端口冲突解决方案检查vLLM服务状态确认端口8000未被占用6.3 图片识别不准确可能原因图片质量差问题描述不清晰解决方案提供清晰图片使用更具体的问题描述7. 总结本教程详细介绍了在国产信创环境下使用vLLM部署Phi-3-Vision-128K-Instruct多模态模型并通过Chainlit构建图文对话前端的完整流程。该方案具有以下优势高效部署利用vLLM实现高性能模型服务易用交互通过Chainlit提供友好的用户界面国产适配已验证在国产信创环境的兼容性多模态支持实现图文理解和对话能力获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
