mPLUG-Owl3-2B部署教程CentOS 7离线环境部署方案含依赖包离线打包脚本想在自己的CentOS 7服务器上部署一个能看懂图片、能回答问题的AI助手但又担心网络不稳定或者没有外网权限今天这个教程就是为你准备的。我们将一步步带你完成mPLUG-Owl3-2B多模态模型在CentOS 7离线环境下的完整部署。这个2B参数的轻量级模型能在消费级GPU上流畅运行让你实现纯本地的图文对话功能。更重要的是我为你准备了完整的依赖包离线打包脚本即使在没有互联网的环境下也能顺利完成部署。1. 项目核心价值为什么选择这个方案在开始动手之前我们先搞清楚这个部署方案能为你解决什么问题。1.1 离线部署的核心痛点很多企业在生产环境中使用CentOS 7系统但出于安全考虑服务器往往没有外网访问权限。传统的AI模型部署需要从互联网下载大量依赖包这在离线环境下几乎不可能完成。这个方案的核心价值就是彻底解决离线部署难题。我为你准备了一个完整的依赖包打包脚本可以在有网的机器上一次性下载所有需要的包然后拿到离线服务器上直接安装。1.2 mPLUG-Owl3-2B的优势你可能听说过很多多模态模型为什么选择mPLUG-Owl3-2B主要有几个原因硬件友好2B参数规模8GB显存的GPU就能流畅运行甚至大内存的CPU也能勉强跑起来功能实用上传一张图片问它图片里有什么它能准确描述问它图片中的文字内容它能识别并回答纯本地运行所有数据都在本地处理不用担心隐私泄露也没有使用次数限制修复完善这个部署方案已经修复了官方代码中的各种报错问题你拿到手就能直接用1.3 你将获得什么通过这个教程你将得到一个完整的离线依赖包集合一键部署脚本基于Streamlit的友好Web界面稳定可用的多模态对话系统下面我们就开始具体的部署步骤。2. 环境准备离线依赖包的制作这是离线部署最关键的一步。我们需要在一台有网络连接的CentOS 7机器上提前下载好所有依赖包。2.1 准备打包环境首先找一台能够访问互联网的CentOS 7机器可以是虚拟机确保系统干净避免包版本冲突。# 创建打包工作目录 mkdir -p /opt/offline_packages/mplug_owl3 cd /opt/offline_packages/mplug_owl3 # 创建虚拟环境推荐使用conda如果没有就用venv # 如果有conda conda create -n mplug_pack python3.8 -y conda activate mplug_pack # 如果没有conda用系统python创建虚拟环境 python3 -m venv venv_pack source venv_pack/bin/activate2.2 依赖包离线打包脚本创建一个打包脚本pack_offline_deps.sh#!/bin/bash # mPLUG-Owl3-2B 离线依赖包打包脚本 # 在有网的CentOS 7机器上执行 set -e # 配置参数 PACKAGE_DIR./offline_packages PYTHON_VERSION3.8 REQUIREMENTS_FILErequirements.txt echo 开始准备mPLUG-Owl3-2B离线依赖包... # 1. 创建目录结构 mkdir -p ${PACKAGE_DIR}/{pip,wheels,models,scripts} # 2. 生成requirements.txt文件 cat ${REQUIREMENTS_FILE} EOF torch2.0.1 torchvision0.15.2 transformers4.35.0 accelerate0.24.1 streamlit1.28.0 pillow10.0.0 numpy1.24.3 sentencepiece0.1.99 protobuf3.20.3 tqdm4.66.1 requests2.31.0 urllib31.26.16 EOF echo requirements.txt 已生成 # 3. 下载pip安装包 echo 下载pip安装包... pip download -d ${PACKAGE_DIR}/pip pip setuptools wheel # 4. 下载所有Python依赖包wheel格式 echo 下载Python依赖包... pip download -r ${REQUIREMENTS_FILE} -d ${PACKAGE_DIR}/wheels \ --platform manylinux2014_x86_64 \ --python-version ${PYTHON_VERSION} \ --only-binary:all: # 5. 特别处理torch的CUDA版本如果需要GPU echo 下载PyTorch CUDA版本... pip download torch2.0.1cu118 torchvision0.15.2cu118 \ -d ${PACKAGE_DIR}/wheels \ --index-url https://download.pytorch.org/whl/cu118 # 6. 创建安装脚本 cat ${PACKAGE_DIR}/scripts/install_deps.sh EOF #!/bin/bash # 离线环境依赖安装脚本 set -e echo 开始安装离线依赖包... # 安装pip echo 安装pip... cd pip python3 get-pip.py --no-index --find-links. cd .. # 安装Python包 echo 安装Python包... pip install --no-index --find-links./wheels \ torch2.0.1 \ torchvision0.15.2 \ transformers4.35.0 \ accelerate0.24.1 \ streamlit1.28.0 \ pillow10.0.0 \ numpy1.24.3 \ sentencepiece0.1.99 \ protobuf3.20.3 \ tqdm4.66.1 \ requests2.31.0 \ urllib31.26.16 echo 所有依赖安装完成 EOF chmod x ${PACKAGE_DIR}/scripts/install_deps.sh # 7. 创建模型下载脚本需要提前下载好模型 cat ${PACKAGE_DIR}/scripts/download_model.sh EOF #!/bin/bash # 模型下载脚本在有网环境执行 MODEL_DIR./models mkdir -p ${MODEL_DIR} echo 下载mPLUG-Owl3-2B模型... # 这里需要替换为实际的模型下载命令 # 示例使用git lfs下载需要提前安装git-lfs # git clone https://huggingface.co/MAGAer13/mplug-owl3-2b ${MODEL_DIR} echo 模型准备完成请将models目录复制到离线环境 EOF chmod x ${PACKAGE_DIR}/scripts/download_model.sh # 8. 打包所有文件 echo 打包离线依赖包... tar -czf mplug_owl3_offline_packages_centos7.tar.gz ${PACKAGE_DIR} ${REQUIREMENTS_FILE} echo echo 离线依赖包打包完成 echo 文件mplug_owl3_offline_packages_centos7.tar.gz echo 大小$(du -sh mplug_owl3_offline_packages_centos7.tar.gz | cut -f1) echo echo 下一步操作 echo 1. 将此压缩包复制到离线服务器 echo 2. 解压后运行 scripts/install_deps.sh echo 3. 提前下载好模型文件约4GB echo 给脚本执行权限并运行chmod x pack_offline_deps.sh ./pack_offline_deps.sh这个过程会下载大约1-2GB的依赖包具体大小取决于是否包含CUDA版本的torch。2.3 模型文件准备模型文件比较大约4GB需要单独准备。如果你在有网环境可以使用以下方式下载# 方法1使用git lfs推荐 git lfs install git clone https://huggingface.co/MAGAer13/mplug-owl3-2b ./models/ # 方法2使用wget逐个下载如果git lfs不可用 # 需要下载的文件包括 # - config.json # - pytorch_model.bin # - tokenizer.json # - tokenizer_config.json # - 其他相关文件将下载好的模型文件放入offline_packages/models/目录中。3. 离线服务器部署步骤现在我们将打包好的文件复制到离线服务器进行部署。3.1 传输文件到离线服务器使用U盘、内部网络或者其他方式将以下文件传输到离线服务器mplug_owl3_offline_packages_centos7.tar.gz依赖包模型文件整个models目录在离线服务器上# 创建部署目录 mkdir -p /opt/mplug_owl3_deploy cd /opt/mplug_owl3_deploy # 解压依赖包 tar -xzf /path/to/mplug_owl3_offline_packages_centos7.tar.gz # 查看解压后的结构 tree -L 2 offline_packages/你应该看到这样的目录结构offline_packages/ ├── models/ # 模型文件需要手动放入 ├── pip/ # pip安装包 ├── scripts/ # 安装脚本 └── wheels/ # Python依赖包3.2 安装系统依赖CentOS 7可能需要一些系统级的依赖# 如果有本地yum源安装系统依赖 # 如果没有需要提前准备好这些rpm包 sudo yum install -y \ gcc \ gcc-c \ make \ cmake \ python3-devel \ openssl-devel \ bzip2-devel \ libffi-devel \ zlib-devel3.3 安装Python依赖cd offline_packages # 运行安装脚本 ./scripts/install_deps.sh安装过程可能需要几分钟时间。如果一切顺利你会看到所有依赖安装完成的提示。3.4 验证安装创建一个简单的测试脚本来验证环境# test_env.py import torch import transformers import streamlit as st print(fPyTorch版本: {torch.__version__}) print(fCUDA可用: {torch.cuda.is_available()}) if torch.cuda.is_available(): print(fGPU设备: {torch.cuda.get_device_name(0)}) print(fTransformers版本: {transformers.__version__}) print(fStreamlit版本: {st.__version__}) print(环境验证通过)运行测试python test_env.py4. 部署mPLUG-Owl3-2B应用环境准备好后我们开始部署实际的应用。4.1 创建应用目录结构cd /opt/mplug_owl3_deploy mkdir -p app/{utils,static}4.2 编写核心应用代码创建主应用文件app/main.py mPLUG-Owl3-2B 多模态对话应用 离线环境部署版本 import os import torch import streamlit as st from PIL import Image from transformers import AutoModelForCausalLM, AutoTokenizer from utils.model_utils import load_model_and_tokenizer, process_image # 页面配置 st.set_page_config( page_titlemPLUG-Owl3-2B 图文对话, page_icon, layoutwide ) # 初始化session state if messages not in st.session_state: st.session_state.messages [] if image not in st.session_state: st.session_state.image None if model_loaded not in st.session_state: st.session_state.model_loaded False st.cache_resource def load_model(): 加载模型和tokenizer model_path ./offline_packages/models/mplug-owl3-2b if not os.path.exists(model_path): st.error(f模型路径不存在: {model_path}) st.stop() try: model, tokenizer load_model_and_tokenizer(model_path) return model, tokenizer except Exception as e: st.error(f模型加载失败: {str(e)}) st.stop() def main(): st.title( mPLUG-Owl3-2B 多模态对话) st.caption(纯本地运行 · 离线环境 · 保护隐私) # 侧边栏 with st.sidebar: st.header(图片上传) uploaded_file st.file_uploader( 选择图片文件, type[jpg, jpeg, png, webp], help支持JPG、PNG、WEBP格式 ) if uploaded_file is not None: try: image Image.open(uploaded_file).convert(RGB) st.session_state.image image st.image(image, caption已上传图片, use_column_widthTrue) st.success(图片上传成功) except Exception as e: st.error(f图片读取失败: {str(e)}) st.divider() if st.button( 清空对话历史, use_container_widthTrue): st.session_state.messages [] st.rerun() st.divider() # 模型状态显示 st.header(系统状态) if st.session_state.model_loaded: st.success(✅ 模型已加载) else: st.warning(⏳ 准备加载模型...) if torch.cuda.is_available(): st.info(fGPU: {torch.cuda.get_device_name(0)}) st.info(f显存: {torch.cuda.memory_allocated()/1024**3:.2f}GB / {torch.cuda.memory_reserved()/1024**3:.2f}GB) else: st.info(CPU模式运行) # 主界面 - 聊天区域 for message in st.session_state.messages: with st.chat_message(message[role]): if message[role] user: if image in message: st.image(message[image], width200) st.write(message[content]) else: st.write(message[content]) # 聊天输入 if prompt : st.chat_input(输入关于图片的问题...): if st.session_state.image is None: st.warning(请先上传图片) st.stop() # 添加用户消息 st.session_state.messages.append({ role: user, content: prompt, image: st.session_state.image }) # 显示用户消息 with st.chat_message(user): st.image(st.session_state.image, width200) st.write(prompt) # 生成助手回复 with st.chat_message(assistant): with st.spinner(Owl正在思考...): try: # 加载模型第一次使用时加载 if not st.session_state.model_loaded: model, tokenizer load_model() st.session_state.model model st.session_state.tokenizer tokenizer st.session_state.model_loaded True # 处理图片和生成回复 response generate_response( st.session_state.model, st.session_state.tokenizer, st.session_state.image, prompt ) st.write(response) # 添加助手消息 st.session_state.messages.append({ role: assistant, content: response }) except Exception as e: st.error(f生成回复时出错: {str(e)}) import traceback st.code(traceback.format_exc()) def generate_response(model, tokenizer, image, question): 生成模型回复 # 处理图片 from utils.model_utils import process_image image_tensor process_image(image) # 构建prompt遵循官方格式 prompt f|image|用户{question}助手 # 准备模型输入 inputs tokenizer( prompt, return_tensorspt, paddingTrue ) # 添加图片特征 inputs[pixel_values] image_tensor.unsqueeze(0) # 生成回复 with torch.no_grad(): generate_ids model.generate( **inputs, max_new_tokens512, do_sampleTrue, temperature0.7, top_p0.9, repetition_penalty1.1, eos_token_idtokenizer.eos_token_id, pad_token_idtokenizer.pad_token_id ) # 解码回复 response tokenizer.decode( generate_ids[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue, clean_up_tokenization_spacesTrue ) return response.strip() if __name__ __main__: main()4.3 创建工具函数文件创建app/utils/model_utils.py 模型工具函数 修复了原生调用中的各种问题 import torch from PIL import Image from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.image_processing_utils import BaseImageProcessor def load_model_and_tokenizer(model_path, deviceNone): 安全加载模型和tokenizer if device is None: device cuda if torch.cuda.is_available() else cpu print(f加载模型到设备: {device}) # 加载tokenizer tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue, use_fastTrue ) # 设置padding token修复缺失问题 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 加载模型 model AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.float16 if device cuda else torch.float32, device_mapauto if device cuda else None, low_cpu_mem_usageTrue ) # 移动到指定设备 if device ! cuda: model model.to(device) # 设置为评估模式 model.eval() print(模型加载完成) return model, tokenizer def process_image(image, target_size448): 处理图片为模型输入格式 # 调整大小 from torchvision import transforms transform transforms.Compose([ transforms.Resize((target_size, target_size)), transforms.ToTensor(), transforms.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]) ]) # 确保图片是RGB格式 if image.mode ! RGB: image image.convert(RGB) # 应用转换 image_tensor transform(image) return image_tensor def safe_generate(model, tokenizer, **kwargs): 安全的文本生成函数包含错误处理 try: # 确保必要的参数 if max_new_tokens not in kwargs: kwargs[max_new_tokens] 512 if do_sample not in kwargs: kwargs[do_sample] True if temperature not in kwargs: kwargs[temperature] 0.7 if pad_token_id not in kwargs: kwargs[pad_token_id] tokenizer.pad_token_id if eos_token_id not in kwargs: kwargs[eos_token_id] tokenizer.eos_token_id # 生成文本 with torch.no_grad(): outputs model.generate(**kwargs) return outputs except Exception as e: print(f生成过程中出错: {str(e)}) raise def cleanup_memory(): 清理GPU内存 if torch.cuda.is_available(): torch.cuda.empty_cache() torch.cuda.synchronize()4.4 创建启动脚本创建start_app.sh#!/bin/bash # mPLUG-Owl3-2B 应用启动脚本 set -e echo 启动 mPLUG-Owl3-2B 多模态对话应用... echo # 检查模型文件 MODEL_PATH./offline_packages/models/mplug-owl3-2b if [ ! -d $MODEL_PATH ]; then echo 错误模型目录不存在: $MODEL_PATH echo 请确保模型文件已正确放置 exit 1 fi # 检查依赖 echo 检查Python依赖... python3 -c import torch, transformers, streamlit || { echo Python依赖检查失败 echo 请先运行 offline_packages/scripts/install_deps.sh exit 1 } # 设置环境变量 export PYTHONPATH/opt/mplug_owl3_deploy/app:$PYTHONPATH export STREAMLIT_SERVER_PORT8501 export STREAMLIT_SERVER_ADDRESS0.0.0.0 # 启动应用 echo 启动Streamlit应用... echo 访问地址: http://localhost:8501 echo 按 CtrlC 停止应用 echo cd /opt/mplug_owl3_deploy/app streamlit run main.py --server.port8501 --server.address0.0.0.0给脚本执行权限chmod x start_app.sh5. 启动和使用应用5.1 启动应用cd /opt/mplug_owl3_deploy ./start_app.sh第一次启动时会加载模型可能需要几分钟时间。加载完成后你会看到类似这样的输出启动 mPLUG-Owl3-2B 多模态对话应用... 检查Python依赖... 启动Streamlit应用... 访问地址: http://localhost:8501 按 CtrlC 停止应用 5.2 使用指南在浏览器中访问http://你的服务器IP:8501你会看到这样的界面上传图片在左侧边栏点击选择图片文件上传一张图片输入问题在底部输入框输入关于图片的问题比如描述这张图片的内容图片里有什么物体图片中的文字是什么这张图片是什么风格获取回答点击发送模型会分析图片并给出回答连续对话你可以基于同一张图片连续提问清空历史切换图片时点击清空对话历史按钮5.3 常见问题解决问题1模型加载太慢第一次加载需要时间耐心等待确保模型文件完整约4GBCPU模式加载会比GPU慢很多问题2显存不足尝试使用CPU模式运行减小图片尺寸代码中可调整target_size关闭其他占用显存的程序问题3回答质量不高问题要具体明确图片要清晰内容要明确可以尝试调整temperature参数0.5-0.9之间问题4Streamlit无法访问检查防火墙设置sudo firewall-cmd --add-port8501/tcp --permanent检查SELinux状态setenforce 0临时关闭确保服务器IP正确6. 总结通过这个教程我们完成了mPLUG-Owl3-2B在CentOS 7离线环境下的完整部署。回顾一下我们实现的关键点6.1 部署成果完整的离线解决方案从依赖包打包到最终部署全程无需互联网连接稳定可用的应用修复了官方代码中的各种问题开箱即用友好的交互界面基于Streamlit的Web界面操作简单直观隐私安全保护所有数据本地处理不上传任何信息6.2 方案优势硬件要求低消费级GPU8GB显存即可运行部署简单提供一键脚本减少手动配置维护方便模块化代码结构易于理解和修改扩展性强可以在此基础上添加更多功能6.3 适用场景这个方案特别适合企业内部部署需要数据保密的环境网络受限或没有外网访问的服务器对隐私保护要求高的应用场景轻量级的图像理解和问答需求6.4 后续优化建议如果你有更多的资源和技术能力可以考虑性能优化使用量化技术进一步降低显存占用功能扩展添加批量处理、API接口、多模型支持界面美化定制更专业的用户界面集成部署与现有业务系统集成部署过程中如果遇到问题可以回顾对应章节的解决方案。大多数常见问题我们都已经在代码中做了预防性处理。现在你可以在完全离线的环境中享受多模态AI带来的便利了。上传一张图片问问它看到了什么体验AI看懂图片的神奇能力吧获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
mPLUG-Owl3-2B部署教程：CentOS 7离线环境部署方案（含依赖包离线打包脚本）
mPLUG-Owl3-2B部署教程CentOS 7离线环境部署方案含依赖包离线打包脚本想在自己的CentOS 7服务器上部署一个能看懂图片、能回答问题的AI助手但又担心网络不稳定或者没有外网权限今天这个教程就是为你准备的。我们将一步步带你完成mPLUG-Owl3-2B多模态模型在CentOS 7离线环境下的完整部署。这个2B参数的轻量级模型能在消费级GPU上流畅运行让你实现纯本地的图文对话功能。更重要的是我为你准备了完整的依赖包离线打包脚本即使在没有互联网的环境下也能顺利完成部署。1. 项目核心价值为什么选择这个方案在开始动手之前我们先搞清楚这个部署方案能为你解决什么问题。1.1 离线部署的核心痛点很多企业在生产环境中使用CentOS 7系统但出于安全考虑服务器往往没有外网访问权限。传统的AI模型部署需要从互联网下载大量依赖包这在离线环境下几乎不可能完成。这个方案的核心价值就是彻底解决离线部署难题。我为你准备了一个完整的依赖包打包脚本可以在有网的机器上一次性下载所有需要的包然后拿到离线服务器上直接安装。1.2 mPLUG-Owl3-2B的优势你可能听说过很多多模态模型为什么选择mPLUG-Owl3-2B主要有几个原因硬件友好2B参数规模8GB显存的GPU就能流畅运行甚至大内存的CPU也能勉强跑起来功能实用上传一张图片问它图片里有什么它能准确描述问它图片中的文字内容它能识别并回答纯本地运行所有数据都在本地处理不用担心隐私泄露也没有使用次数限制修复完善这个部署方案已经修复了官方代码中的各种报错问题你拿到手就能直接用1.3 你将获得什么通过这个教程你将得到一个完整的离线依赖包集合一键部署脚本基于Streamlit的友好Web界面稳定可用的多模态对话系统下面我们就开始具体的部署步骤。2. 环境准备离线依赖包的制作这是离线部署最关键的一步。我们需要在一台有网络连接的CentOS 7机器上提前下载好所有依赖包。2.1 准备打包环境首先找一台能够访问互联网的CentOS 7机器可以是虚拟机确保系统干净避免包版本冲突。# 创建打包工作目录 mkdir -p /opt/offline_packages/mplug_owl3 cd /opt/offline_packages/mplug_owl3 # 创建虚拟环境推荐使用conda如果没有就用venv # 如果有conda conda create -n mplug_pack python3.8 -y conda activate mplug_pack # 如果没有conda用系统python创建虚拟环境 python3 -m venv venv_pack source venv_pack/bin/activate2.2 依赖包离线打包脚本创建一个打包脚本pack_offline_deps.sh#!/bin/bash # mPLUG-Owl3-2B 离线依赖包打包脚本 # 在有网的CentOS 7机器上执行 set -e # 配置参数 PACKAGE_DIR./offline_packages PYTHON_VERSION3.8 REQUIREMENTS_FILErequirements.txt echo 开始准备mPLUG-Owl3-2B离线依赖包... # 1. 创建目录结构 mkdir -p ${PACKAGE_DIR}/{pip,wheels,models,scripts} # 2. 生成requirements.txt文件 cat ${REQUIREMENTS_FILE} EOF torch2.0.1 torchvision0.15.2 transformers4.35.0 accelerate0.24.1 streamlit1.28.0 pillow10.0.0 numpy1.24.3 sentencepiece0.1.99 protobuf3.20.3 tqdm4.66.1 requests2.31.0 urllib31.26.16 EOF echo requirements.txt 已生成 # 3. 下载pip安装包 echo 下载pip安装包... pip download -d ${PACKAGE_DIR}/pip pip setuptools wheel # 4. 下载所有Python依赖包wheel格式 echo 下载Python依赖包... pip download -r ${REQUIREMENTS_FILE} -d ${PACKAGE_DIR}/wheels \ --platform manylinux2014_x86_64 \ --python-version ${PYTHON_VERSION} \ --only-binary:all: # 5. 特别处理torch的CUDA版本如果需要GPU echo 下载PyTorch CUDA版本... pip download torch2.0.1cu118 torchvision0.15.2cu118 \ -d ${PACKAGE_DIR}/wheels \ --index-url https://download.pytorch.org/whl/cu118 # 6. 创建安装脚本 cat ${PACKAGE_DIR}/scripts/install_deps.sh EOF #!/bin/bash # 离线环境依赖安装脚本 set -e echo 开始安装离线依赖包... # 安装pip echo 安装pip... cd pip python3 get-pip.py --no-index --find-links. cd .. # 安装Python包 echo 安装Python包... pip install --no-index --find-links./wheels \ torch2.0.1 \ torchvision0.15.2 \ transformers4.35.0 \ accelerate0.24.1 \ streamlit1.28.0 \ pillow10.0.0 \ numpy1.24.3 \ sentencepiece0.1.99 \ protobuf3.20.3 \ tqdm4.66.1 \ requests2.31.0 \ urllib31.26.16 echo 所有依赖安装完成 EOF chmod x ${PACKAGE_DIR}/scripts/install_deps.sh # 7. 创建模型下载脚本需要提前下载好模型 cat ${PACKAGE_DIR}/scripts/download_model.sh EOF #!/bin/bash # 模型下载脚本在有网环境执行 MODEL_DIR./models mkdir -p ${MODEL_DIR} echo 下载mPLUG-Owl3-2B模型... # 这里需要替换为实际的模型下载命令 # 示例使用git lfs下载需要提前安装git-lfs # git clone https://huggingface.co/MAGAer13/mplug-owl3-2b ${MODEL_DIR} echo 模型准备完成请将models目录复制到离线环境 EOF chmod x ${PACKAGE_DIR}/scripts/download_model.sh # 8. 打包所有文件 echo 打包离线依赖包... tar -czf mplug_owl3_offline_packages_centos7.tar.gz ${PACKAGE_DIR} ${REQUIREMENTS_FILE} echo echo 离线依赖包打包完成 echo 文件mplug_owl3_offline_packages_centos7.tar.gz echo 大小$(du -sh mplug_owl3_offline_packages_centos7.tar.gz | cut -f1) echo echo 下一步操作 echo 1. 将此压缩包复制到离线服务器 echo 2. 解压后运行 scripts/install_deps.sh echo 3. 提前下载好模型文件约4GB echo 给脚本执行权限并运行chmod x pack_offline_deps.sh ./pack_offline_deps.sh这个过程会下载大约1-2GB的依赖包具体大小取决于是否包含CUDA版本的torch。2.3 模型文件准备模型文件比较大约4GB需要单独准备。如果你在有网环境可以使用以下方式下载# 方法1使用git lfs推荐 git lfs install git clone https://huggingface.co/MAGAer13/mplug-owl3-2b ./models/ # 方法2使用wget逐个下载如果git lfs不可用 # 需要下载的文件包括 # - config.json # - pytorch_model.bin # - tokenizer.json # - tokenizer_config.json # - 其他相关文件将下载好的模型文件放入offline_packages/models/目录中。3. 离线服务器部署步骤现在我们将打包好的文件复制到离线服务器进行部署。3.1 传输文件到离线服务器使用U盘、内部网络或者其他方式将以下文件传输到离线服务器mplug_owl3_offline_packages_centos7.tar.gz依赖包模型文件整个models目录在离线服务器上# 创建部署目录 mkdir -p /opt/mplug_owl3_deploy cd /opt/mplug_owl3_deploy # 解压依赖包 tar -xzf /path/to/mplug_owl3_offline_packages_centos7.tar.gz # 查看解压后的结构 tree -L 2 offline_packages/你应该看到这样的目录结构offline_packages/ ├── models/ # 模型文件需要手动放入 ├── pip/ # pip安装包 ├── scripts/ # 安装脚本 └── wheels/ # Python依赖包3.2 安装系统依赖CentOS 7可能需要一些系统级的依赖# 如果有本地yum源安装系统依赖 # 如果没有需要提前准备好这些rpm包 sudo yum install -y \ gcc \ gcc-c \ make \ cmake \ python3-devel \ openssl-devel \ bzip2-devel \ libffi-devel \ zlib-devel3.3 安装Python依赖cd offline_packages # 运行安装脚本 ./scripts/install_deps.sh安装过程可能需要几分钟时间。如果一切顺利你会看到所有依赖安装完成的提示。3.4 验证安装创建一个简单的测试脚本来验证环境# test_env.py import torch import transformers import streamlit as st print(fPyTorch版本: {torch.__version__}) print(fCUDA可用: {torch.cuda.is_available()}) if torch.cuda.is_available(): print(fGPU设备: {torch.cuda.get_device_name(0)}) print(fTransformers版本: {transformers.__version__}) print(fStreamlit版本: {st.__version__}) print(环境验证通过)运行测试python test_env.py4. 部署mPLUG-Owl3-2B应用环境准备好后我们开始部署实际的应用。4.1 创建应用目录结构cd /opt/mplug_owl3_deploy mkdir -p app/{utils,static}4.2 编写核心应用代码创建主应用文件app/main.py mPLUG-Owl3-2B 多模态对话应用 离线环境部署版本 import os import torch import streamlit as st from PIL import Image from transformers import AutoModelForCausalLM, AutoTokenizer from utils.model_utils import load_model_and_tokenizer, process_image # 页面配置 st.set_page_config( page_titlemPLUG-Owl3-2B 图文对话, page_icon, layoutwide ) # 初始化session state if messages not in st.session_state: st.session_state.messages [] if image not in st.session_state: st.session_state.image None if model_loaded not in st.session_state: st.session_state.model_loaded False st.cache_resource def load_model(): 加载模型和tokenizer model_path ./offline_packages/models/mplug-owl3-2b if not os.path.exists(model_path): st.error(f模型路径不存在: {model_path}) st.stop() try: model, tokenizer load_model_and_tokenizer(model_path) return model, tokenizer except Exception as e: st.error(f模型加载失败: {str(e)}) st.stop() def main(): st.title( mPLUG-Owl3-2B 多模态对话) st.caption(纯本地运行 · 离线环境 · 保护隐私) # 侧边栏 with st.sidebar: st.header(图片上传) uploaded_file st.file_uploader( 选择图片文件, type[jpg, jpeg, png, webp], help支持JPG、PNG、WEBP格式 ) if uploaded_file is not None: try: image Image.open(uploaded_file).convert(RGB) st.session_state.image image st.image(image, caption已上传图片, use_column_widthTrue) st.success(图片上传成功) except Exception as e: st.error(f图片读取失败: {str(e)}) st.divider() if st.button( 清空对话历史, use_container_widthTrue): st.session_state.messages [] st.rerun() st.divider() # 模型状态显示 st.header(系统状态) if st.session_state.model_loaded: st.success(✅ 模型已加载) else: st.warning(⏳ 准备加载模型...) if torch.cuda.is_available(): st.info(fGPU: {torch.cuda.get_device_name(0)}) st.info(f显存: {torch.cuda.memory_allocated()/1024**3:.2f}GB / {torch.cuda.memory_reserved()/1024**3:.2f}GB) else: st.info(CPU模式运行) # 主界面 - 聊天区域 for message in st.session_state.messages: with st.chat_message(message[role]): if message[role] user: if image in message: st.image(message[image], width200) st.write(message[content]) else: st.write(message[content]) # 聊天输入 if prompt : st.chat_input(输入关于图片的问题...): if st.session_state.image is None: st.warning(请先上传图片) st.stop() # 添加用户消息 st.session_state.messages.append({ role: user, content: prompt, image: st.session_state.image }) # 显示用户消息 with st.chat_message(user): st.image(st.session_state.image, width200) st.write(prompt) # 生成助手回复 with st.chat_message(assistant): with st.spinner(Owl正在思考...): try: # 加载模型第一次使用时加载 if not st.session_state.model_loaded: model, tokenizer load_model() st.session_state.model model st.session_state.tokenizer tokenizer st.session_state.model_loaded True # 处理图片和生成回复 response generate_response( st.session_state.model, st.session_state.tokenizer, st.session_state.image, prompt ) st.write(response) # 添加助手消息 st.session_state.messages.append({ role: assistant, content: response }) except Exception as e: st.error(f生成回复时出错: {str(e)}) import traceback st.code(traceback.format_exc()) def generate_response(model, tokenizer, image, question): 生成模型回复 # 处理图片 from utils.model_utils import process_image image_tensor process_image(image) # 构建prompt遵循官方格式 prompt f|image|用户{question}助手 # 准备模型输入 inputs tokenizer( prompt, return_tensorspt, paddingTrue ) # 添加图片特征 inputs[pixel_values] image_tensor.unsqueeze(0) # 生成回复 with torch.no_grad(): generate_ids model.generate( **inputs, max_new_tokens512, do_sampleTrue, temperature0.7, top_p0.9, repetition_penalty1.1, eos_token_idtokenizer.eos_token_id, pad_token_idtokenizer.pad_token_id ) # 解码回复 response tokenizer.decode( generate_ids[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue, clean_up_tokenization_spacesTrue ) return response.strip() if __name__ __main__: main()4.3 创建工具函数文件创建app/utils/model_utils.py 模型工具函数 修复了原生调用中的各种问题 import torch from PIL import Image from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.image_processing_utils import BaseImageProcessor def load_model_and_tokenizer(model_path, deviceNone): 安全加载模型和tokenizer if device is None: device cuda if torch.cuda.is_available() else cpu print(f加载模型到设备: {device}) # 加载tokenizer tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue, use_fastTrue ) # 设置padding token修复缺失问题 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 加载模型 model AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.float16 if device cuda else torch.float32, device_mapauto if device cuda else None, low_cpu_mem_usageTrue ) # 移动到指定设备 if device ! cuda: model model.to(device) # 设置为评估模式 model.eval() print(模型加载完成) return model, tokenizer def process_image(image, target_size448): 处理图片为模型输入格式 # 调整大小 from torchvision import transforms transform transforms.Compose([ transforms.Resize((target_size, target_size)), transforms.ToTensor(), transforms.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]) ]) # 确保图片是RGB格式 if image.mode ! RGB: image image.convert(RGB) # 应用转换 image_tensor transform(image) return image_tensor def safe_generate(model, tokenizer, **kwargs): 安全的文本生成函数包含错误处理 try: # 确保必要的参数 if max_new_tokens not in kwargs: kwargs[max_new_tokens] 512 if do_sample not in kwargs: kwargs[do_sample] True if temperature not in kwargs: kwargs[temperature] 0.7 if pad_token_id not in kwargs: kwargs[pad_token_id] tokenizer.pad_token_id if eos_token_id not in kwargs: kwargs[eos_token_id] tokenizer.eos_token_id # 生成文本 with torch.no_grad(): outputs model.generate(**kwargs) return outputs except Exception as e: print(f生成过程中出错: {str(e)}) raise def cleanup_memory(): 清理GPU内存 if torch.cuda.is_available(): torch.cuda.empty_cache() torch.cuda.synchronize()4.4 创建启动脚本创建start_app.sh#!/bin/bash # mPLUG-Owl3-2B 应用启动脚本 set -e echo 启动 mPLUG-Owl3-2B 多模态对话应用... echo # 检查模型文件 MODEL_PATH./offline_packages/models/mplug-owl3-2b if [ ! -d $MODEL_PATH ]; then echo 错误模型目录不存在: $MODEL_PATH echo 请确保模型文件已正确放置 exit 1 fi # 检查依赖 echo 检查Python依赖... python3 -c import torch, transformers, streamlit || { echo Python依赖检查失败 echo 请先运行 offline_packages/scripts/install_deps.sh exit 1 } # 设置环境变量 export PYTHONPATH/opt/mplug_owl3_deploy/app:$PYTHONPATH export STREAMLIT_SERVER_PORT8501 export STREAMLIT_SERVER_ADDRESS0.0.0.0 # 启动应用 echo 启动Streamlit应用... echo 访问地址: http://localhost:8501 echo 按 CtrlC 停止应用 echo cd /opt/mplug_owl3_deploy/app streamlit run main.py --server.port8501 --server.address0.0.0.0给脚本执行权限chmod x start_app.sh5. 启动和使用应用5.1 启动应用cd /opt/mplug_owl3_deploy ./start_app.sh第一次启动时会加载模型可能需要几分钟时间。加载完成后你会看到类似这样的输出启动 mPLUG-Owl3-2B 多模态对话应用... 检查Python依赖... 启动Streamlit应用... 访问地址: http://localhost:8501 按 CtrlC 停止应用 5.2 使用指南在浏览器中访问http://你的服务器IP:8501你会看到这样的界面上传图片在左侧边栏点击选择图片文件上传一张图片输入问题在底部输入框输入关于图片的问题比如描述这张图片的内容图片里有什么物体图片中的文字是什么这张图片是什么风格获取回答点击发送模型会分析图片并给出回答连续对话你可以基于同一张图片连续提问清空历史切换图片时点击清空对话历史按钮5.3 常见问题解决问题1模型加载太慢第一次加载需要时间耐心等待确保模型文件完整约4GBCPU模式加载会比GPU慢很多问题2显存不足尝试使用CPU模式运行减小图片尺寸代码中可调整target_size关闭其他占用显存的程序问题3回答质量不高问题要具体明确图片要清晰内容要明确可以尝试调整temperature参数0.5-0.9之间问题4Streamlit无法访问检查防火墙设置sudo firewall-cmd --add-port8501/tcp --permanent检查SELinux状态setenforce 0临时关闭确保服务器IP正确6. 总结通过这个教程我们完成了mPLUG-Owl3-2B在CentOS 7离线环境下的完整部署。回顾一下我们实现的关键点6.1 部署成果完整的离线解决方案从依赖包打包到最终部署全程无需互联网连接稳定可用的应用修复了官方代码中的各种问题开箱即用友好的交互界面基于Streamlit的Web界面操作简单直观隐私安全保护所有数据本地处理不上传任何信息6.2 方案优势硬件要求低消费级GPU8GB显存即可运行部署简单提供一键脚本减少手动配置维护方便模块化代码结构易于理解和修改扩展性强可以在此基础上添加更多功能6.3 适用场景这个方案特别适合企业内部部署需要数据保密的环境网络受限或没有外网访问的服务器对隐私保护要求高的应用场景轻量级的图像理解和问答需求6.4 后续优化建议如果你有更多的资源和技术能力可以考虑性能优化使用量化技术进一步降低显存占用功能扩展添加批量处理、API接口、多模型支持界面美化定制更专业的用户界面集成部署与现有业务系统集成部署过程中如果遇到问题可以回顾对应章节的解决方案。大多数常见问题我们都已经在代码中做了预防性处理。现在你可以在完全离线的环境中享受多模态AI带来的便利了。上传一张图片问问它看到了什么体验AI看懂图片的神奇能力吧获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
