百川2-13B-4bits WebUI v1.0 部署教程从云服务器选购24GB GPU内存到check.sh绿色✅全链路1. 前言为什么选择百川2-13B-4bits如果你正在寻找一个能在消费级GPU上流畅运行的中文大语言模型百川2-13B-Chat-4bits版本绝对值得关注。这个模型最大的亮点是用4bit量化技术把原本需要24GB显存的13B参数模型压缩到了只需要10GB左右就能跑起来。这意味着什么意味着你不再需要昂贵的专业计算卡一块主流的消费级显卡比如RTX 4090 D就能轻松驾驭。更让人惊喜的是这种压缩带来的性能损失微乎其微——官方数据显示只下降了1-2个百分点但显存占用直接减半还多。我最近在云服务器上完整部署了这个模型的WebUI v1.0版本从选服务器到最终看到那个绿色的check.sh✅整个过程踩了不少坑也积累了很多实用经验。今天就把这个全链路部署过程详细分享出来让你也能快速搭建自己的AI对话助手。2. 云服务器选购指南24GB GPU内存是关键部署大语言模型GPU是核心。百川2-13B-4bits虽然已经做了量化但对显存还是有要求的。下面这张表帮你理清选择思路配置项推荐配置最低要求说明GPU显存24GB16GB24GB最稳妥16GB勉强能跑但可能爆显存GPU型号RTX 4090 D / A100RTX 3090 / 40904090 D性价比高A100性能强但贵CPU核心8核以上4核模型加载和数据处理需要CPU参与内存32GB16GB系统运行和缓存需要足够内存硬盘100GB SSD50GB模型文件约25GB系统环境需要空间带宽10Mbps5Mbps下载模型和Web访问需要带宽2.1 主流云服务商对比我调研了几家主流云服务商下面是实际体验对比阿里云优点国内访问速度快文档齐全缺点GPU实例价格偏高需要备案推荐实例ecs.gn7i-c24g1.4xlarge约15元/小时腾讯云优点GPU型号选择多新用户优惠大缺点控制台稍复杂推荐实例GN7.4XLARGE64约12元/小时AWS优点全球可用稳定性好缺点国内访问可能慢价格贵推荐实例g5.2xlarge约1.5美元/小时个人建议如果你是国内用户追求性价比可以选腾讯云的新用户套餐。如果是长期使用阿里云的稳定性更好。2.2 省钱小技巧云服务器按小时计费用得好能省不少钱按量付费测试阶段用按量付费用完就释放抢占式实例价格是正常价的1/3但可能被回收适合短期测试预留实例长期使用选这个能省40-60%镜像备份配置好环境后创建镜像下次直接恢复省去重复配置时间我自己的选择是腾讯云GN7.4XLARGE6424GB显存按量付费测试完就关机。3. 环境准备一步到位的配置脚本选好服务器后第一件事就是配置基础环境。我整理了一个一键配置脚本帮你跳过所有坑。3.1 系统选择与初始化推荐使用Ubuntu 22.04 LTS这是最稳定的选择# 更新系统 sudo apt update sudo apt upgrade -y # 安装基础工具 sudo apt install -y git curl wget vim htop tmux screen # 设置时区亚洲/上海 sudo timedatectl set-timezone Asia/Shanghai # 创建项目目录 mkdir -p ~/projects/baichuan-webui cd ~/projects/baichuan-webui3.2 GPU驱动和CUDA安装这是最关键的一步装错了后面全白搭# 方法1使用官方驱动推荐 # 先添加NVIDIA驱动仓库 sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update # 安装驱动Ubuntu 22.04推荐nvidia-driver-535 sudo apt install -y nvidia-driver-535 # 安装CUDA Toolkit 11.8PyTorch 2.1.2兼容 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run --silent --toolkit --override # 配置环境变量 echo export PATH/usr/local/cuda-11.8/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc # 验证安装 nvidia-smi nvcc --version如果nvidia-smi能正常显示GPU信息说明驱动安装成功。如果报错可能需要重启服务器sudo reboot重启后重新登录再次运行nvidia-smi确认。3.3 Python环境配置百川WebUI需要Python 3.10建议用conda管理环境# 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda # 初始化conda ~/miniconda/bin/conda init bash source ~/.bashrc # 创建Python 3.10环境 conda create -n baichuan python3.10 -y conda activate baichuan # 验证Python版本 python --version # 应该显示Python 3.10.x4. 百川2-13B-4bits WebUI部署实战环境准备好了现在开始部署WebUI。整个过程我拆解成了清晰的步骤跟着做就行。4.1 下载模型文件百川2-13B-Chat-4bits模型文件大约25GB下载需要一些时间# 创建模型目录 mkdir -p ~/models/baichuan2-13b-chat-4bits cd ~/models/baichuan2-13b-chat-4bits # 方法1从Hugging Face下载需要科学上网 # git lfs install # git clone https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits . # 方法2从国内镜像下载推荐速度快 # 这里需要替换为实际的国内镜像地址比如魔搭社区或清华源 # 由于模型较大建议先下载到本地再上传到服务器 # 方法3如果服务器已经预装了模型很多云服务商提供 # 直接检查 /root/baichuan2-13b-webui/ 目录 ls -la /root/baichuan2-13b-webui/models/重要提示很多云服务商的AI镜像已经预装了模型。如果你用的是这类镜像可以跳过下载步骤直接进入下一步。4.2 安装WebUI依赖WebUI基于Gradio开发依赖比较多# 进入项目目录如果是预装镜像 cd /root/baichuan2-13b-webui/ # 或者如果是自己部署 cd ~/projects/baichuan-webui # 创建requirements.txt文件 cat requirements.txt EOF torch2.1.2 torchvision0.16.2 torchaudio2.1.2 transformers4.36.2 accelerate0.25.0 gradio4.13.0 sentencepiece0.1.99 protobuf3.20.3 numpy1.24.4 pandas2.1.4 scipy1.11.4 tqdm4.66.1 colorama0.4.6 psutil5.9.6 supervisor4.2.5 EOF # 安装依赖使用国内镜像加速 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 单独安装bitsandbytes4bit量化需要 pip install bitsandbytes0.41.3 -i https://pypi.tuna.tsinghua.edu.cn/simple如果bitsandbytes安装失败可能是CUDA版本不匹配可以尝试# 编译安装bitsandbytes git clone https://github.com/TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION118 make cuda11x python setup.py install4.3 配置启动脚本创建启动脚本方便管理# 创建启动脚本 start_webui.py cat start_webui.py EOF import os import sys import torch from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig from accelerate import infer_auto_device_map, init_empty_weights import gradio as gr # 模型路径 model_path /root/baichuan2-13b-webui/models/Baichuan2-13B-Chat-4bits # 或者如果是自己下载的模型 # model_path ~/models/baichuan2-13b-chat-4bits print(正在加载模型...) # 4bit量化配置 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue, bnb_4bit_quant_typenf4 ) # 加载tokenizer tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue, use_fastFalse ) # 加载模型 model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ) print(模型加载完成) # 创建Gradio界面 def predict(message, history, temperature, top_p, max_tokens): # 构建对话历史 prompt for user_msg, assistant_msg in history: prompt f用户{user_msg}/用户\n助手{assistant_msg}/助手\n prompt f用户{message}/用户\n助手 # 编码输入 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成参数 generate_kwargs { input_ids: inputs.input_ids, max_new_tokens: max_tokens, temperature: temperature, top_p: top_p, do_sample: True if temperature 0 else False, repetition_penalty: 1.1, pad_token_id: tokenizer.eos_token_id } # 生成回复 with torch.no_grad(): outputs model.generate(**generate_kwargs) # 解码输出 response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) return response # 创建Gradio界面 with gr.Blocks(title百川2-13B-Chat 聊天助手, themegr.themes.Soft()) as demo: gr.Markdown(# 百川2-13B-Chat 聊天助手) gr.Markdown(基于百川2-13B-4bits量化模型的对话AI) chatbot gr.Chatbot(height500) with gr.Row(): with gr.Column(scale4): msg gr.Textbox( label输入消息, placeholder输入您的问题..., lines3 ) with gr.Column(scale1): with gr.Row(): submit gr.Button(发送, variantprimary) clear gr.Button(清除历史) with gr.Accordion(高级参数, openFalse): temperature gr.Slider( minimum0.1, maximum2.0, value0.7, step0.1, labelTemperature温度, info值越高回答越随机越低越稳定 ) top_p gr.Slider( minimum0.1, maximum1.0, value0.9, step0.05, labelTop-p核采样, info控制词汇选择范围 ) max_tokens gr.Slider( minimum128, maximum2048, value512, step128, label最大生成长度, info控制回答的最大长度 ) # 绑定事件 submit.click( predict, inputs[msg, chatbot, temperature, top_p, max_tokens], outputs[chatbot] ) msg.submit( predict, inputs[msg, chatbot, temperature, top_p, max_tokens], outputs[chatbot] ) clear.click(lambda: None, None, chatbot, queueFalse) # 示例问题 gr.Examples( examples[ [你好请介绍一下你自己。], [帮我写一个Python快速排序算法。], [解释一下什么是机器学习], [用简单的语言解释量子计算。], [写一首关于春天的诗。] ], inputsmsg ) if __name__ __main__: demo.launch( server_name0.0.0.0, server_port7860, shareFalse, debugFalse ) EOF4.4 配置Supervisor守护进程为了让服务在后台稳定运行我们用Supervisor来管理# 安装Supervisor sudo apt install -y supervisor # 创建Supervisor配置 sudo tee /etc/supervisor/conf.d/baichuan-webui.conf EOF [program:baichuan-webui] directory/root/baichuan2-13b-webui command/root/miniconda3/envs/baichuan/bin/python start_webui.py autostarttrue autorestarttrue startretries3 userroot redirect_stderrtrue stdout_logfile/root/baichuan2-13b-webui/logs/webui.log stderr_logfile/root/baichuan2-13b-webui/logs/webui_error.log environmentPYTHONPATH/root/baichuan2-13b-webui,PATH/root/miniconda3/envs/baichuan/bin:%(ENV_PATH)s EOF # 创建日志目录 mkdir -p /root/baichuan2-13b-webui/logs # 重新加载Supervisor配置 sudo supervisorctl reread sudo supervisorctl update # 启动服务 sudo supervisorctl start baichuan-webui # 查看状态 sudo supervisorctl status baichuan-webui如果看到RUNNING状态说明服务启动成功。5. 验证部署check.sh绿色✅全通过部署完成后最重要的就是验证服务是否正常。项目提供了一个非常实用的检查脚本check.sh下面详细解读每个检查项。5.1 check.sh脚本详解先看看这个脚本都检查什么#!/bin/bash # check.sh 脚本内容概览 cat /root/baichuan2-13b-webui/check.sh # 运行检查脚本 /root/baichuan2-13b-webui/check.sh脚本会检查以下关键项服务状态WebUI进程是否在运行端口监听7860端口是否被监听GPU状态GPU是否可用显存占用情况Web访问Web界面是否能正常访问开机自启服务是否配置了开机自启动5.2 理想状态输出当一切正常时你会看到这样的输出╔══════════════════════════════════════════════════════════════╗ ║ 百川2-13B-Chat WebUI 状态检查 ║ ╚══════════════════════════════════════════════════════════════╝ 【服务状态】 ✅ 运行中 baichuan-webui RUNNING pid 12345, uptime 1:23:45 【端口监听】 ✅ 7860 端口监听中 tcp 0 0 0.0.0.0:7860 0.0.0.0:* LISTEN 12345/python 【GPU 状态】 型号: NVIDIA GeForce RTX 4090 D 显存: 21500 MiB / 24576 MiB (87.5%) 利用率: 85% 【WebUI 访问】 ✅ 可访问 URL: http://0.0.0.0:7860 【开机自启】 ✅ 已启用 Supervisor 服务: enabled 项目配置: 已安装 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ✅ 所有检查通过 项目运行正常可以正常使用。 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━看到这个绿色的✅恭喜你部署成功了5.3 常见问题排查如果检查脚本报错别慌下面是常见问题的解决方法问题1服务状态显示STOPPED# 查看详细错误 sudo supervisorctl tail -f baichuan-webui stderr # 常见原因1Python依赖缺失 # 解决方法重新安装依赖 pip install -r requirements.txt # 常见原因2端口被占用 # 解决方法检查端口占用 sudo lsof -i :7860 # 如果被占用可以修改端口或停止占用进程 # 重启服务 sudo supervisorctl restart baichuan-webui问题2GPU状态显示No GPU found# 检查驱动是否安装 nvidia-smi # 如果报错重新安装驱动 sudo apt purge nvidia-* -y sudo apt install nvidia-driver-535 -y sudo reboot # 检查CUDA nvcc --version问题3Web访问失败# 检查防火墙 sudo ufw status # 如果防火墙开启需要开放端口 sudo ufw allow 7860 # 检查服务器安全组云服务器 # 需要在云控制台开放7860端口入站规则 # 检查服务是否绑定到0.0.0.0 netstat -tulpn | grep 7860 # 应该显示 0.0.0.0:7860而不是127.0.0.1:78606. 使用技巧与优化建议部署只是第一步用好百川2-13B才是关键。下面分享一些实用技巧。6.1 参数调优指南WebUI提供了三个核心参数调好了效果大不同Temperature温度控制回答的随机性0.1-0.3回答稳定适合代码生成、数学计算0.4-0.7平衡模式适合日常对话推荐0.8-1.2更有创意适合写作、头脑风暴1.3-2.0天马行空适合创意实验Top-p核采样控制词汇选择范围0.1-0.5只选最可能的词回答保守0.6-0.9平衡范围推荐0.91.0考虑所有词回答多样Max Tokens最大长度控制回答长度128简短回答约100字512中等长度约400字推荐1024详细回答约800字2048长文回答约1600字6.2 提示词工程实战好的提示词能让模型发挥更好效果基础格式用户你的问题/用户 助手角色扮演你是一位经验丰富的Python开发工程师请用通俗易懂的语言解释什么是装饰器模式并给出一个实际应用场景的例子。分步骤思考请按以下步骤回答 1. 首先解释什么是神经网络 2. 然后说明神经网络的基本结构 3. 最后举一个实际应用的例子格式化输出请用表格对比Python和JavaScript在以下方面的区别 1. 语法特点 2. 应用场景 3. 学习难度 4. 性能表现6.3 性能优化建议如果感觉响应慢可以尝试这些优化1. 启用量化缓存# 在启动脚本中添加 model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16, use_cacheTrue # 启用缓存 )2. 调整批处理大小# 如果显存充足可以增加批处理 generate_kwargs { input_ids: inputs.input_ids, max_new_tokens: max_tokens, temperature: temperature, top_p: top_p, do_sample: True if temperature 0 else False, num_beams: 1, # 改为1加快速度 early_stopping: True, }3. 使用更快的注意力机制# 安装flash-attention需要编译 pip install flash-attn --no-build-isolation # 在代码中启用 model.config.use_flash_attention_2 True7. 总结与下一步通过这篇教程你应该已经成功部署了百川2-13B-4bits WebUI并且看到了那个令人安心的绿色check.sh✅。让我们回顾一下关键步骤7.1 部署要点回顾服务器选择24GB GPU显存是关键RTX 4090 D性价比最高环境配置Ubuntu 22.04 CUDA 11.8 Python 3.10是最佳组合模型部署4bit量化让13B模型在消费级GPU上流畅运行服务管理用Supervisor守护进程确保服务稳定运行验证检查check.sh脚本是部署成功的最终验证7.2 可能遇到的问题汇总问题现象解决方法显存不足加载模型时OOM检查GPU显存确保≥16GB端口占用7860端口被占用修改端口或停止占用进程依赖冲突安装包时报错使用conda创建干净环境网络超时下载模型慢使用国内镜像或提前下载权限问题脚本无法执行检查文件权限chmod x7.3 下一步探索方向部署成功只是开始这里有几个进阶方向1. 集成到现有系统# 将百川模型作为API服务 from fastapi import FastAPI app FastAPI() app.post(/chat) async def chat_endpoint(request: ChatRequest): response model.generate(request.message) return {response: response}2. 微调定制使用自己的数据微调模型适配特定行业术语优化对话风格3. 多模型管理同时部署多个模型根据请求路由到不同模型实现负载均衡4. 监控与优化添加性能监控实现自动扩缩容优化响应时间部署大模型看起来复杂但拆解成步骤后其实并不难。关键是理解每个环节的作用遇到问题知道如何排查。百川2-13B-4bits在中文理解和生成方面表现不错而且对硬件要求相对友好是个很好的入门选择。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
百川2-13B-4bits WebUI v1.0 部署教程：从云服务器选购（24GB GPU内存）到check.sh绿色✅全链路
百川2-13B-4bits WebUI v1.0 部署教程从云服务器选购24GB GPU内存到check.sh绿色✅全链路1. 前言为什么选择百川2-13B-4bits如果你正在寻找一个能在消费级GPU上流畅运行的中文大语言模型百川2-13B-Chat-4bits版本绝对值得关注。这个模型最大的亮点是用4bit量化技术把原本需要24GB显存的13B参数模型压缩到了只需要10GB左右就能跑起来。这意味着什么意味着你不再需要昂贵的专业计算卡一块主流的消费级显卡比如RTX 4090 D就能轻松驾驭。更让人惊喜的是这种压缩带来的性能损失微乎其微——官方数据显示只下降了1-2个百分点但显存占用直接减半还多。我最近在云服务器上完整部署了这个模型的WebUI v1.0版本从选服务器到最终看到那个绿色的check.sh✅整个过程踩了不少坑也积累了很多实用经验。今天就把这个全链路部署过程详细分享出来让你也能快速搭建自己的AI对话助手。2. 云服务器选购指南24GB GPU内存是关键部署大语言模型GPU是核心。百川2-13B-4bits虽然已经做了量化但对显存还是有要求的。下面这张表帮你理清选择思路配置项推荐配置最低要求说明GPU显存24GB16GB24GB最稳妥16GB勉强能跑但可能爆显存GPU型号RTX 4090 D / A100RTX 3090 / 40904090 D性价比高A100性能强但贵CPU核心8核以上4核模型加载和数据处理需要CPU参与内存32GB16GB系统运行和缓存需要足够内存硬盘100GB SSD50GB模型文件约25GB系统环境需要空间带宽10Mbps5Mbps下载模型和Web访问需要带宽2.1 主流云服务商对比我调研了几家主流云服务商下面是实际体验对比阿里云优点国内访问速度快文档齐全缺点GPU实例价格偏高需要备案推荐实例ecs.gn7i-c24g1.4xlarge约15元/小时腾讯云优点GPU型号选择多新用户优惠大缺点控制台稍复杂推荐实例GN7.4XLARGE64约12元/小时AWS优点全球可用稳定性好缺点国内访问可能慢价格贵推荐实例g5.2xlarge约1.5美元/小时个人建议如果你是国内用户追求性价比可以选腾讯云的新用户套餐。如果是长期使用阿里云的稳定性更好。2.2 省钱小技巧云服务器按小时计费用得好能省不少钱按量付费测试阶段用按量付费用完就释放抢占式实例价格是正常价的1/3但可能被回收适合短期测试预留实例长期使用选这个能省40-60%镜像备份配置好环境后创建镜像下次直接恢复省去重复配置时间我自己的选择是腾讯云GN7.4XLARGE6424GB显存按量付费测试完就关机。3. 环境准备一步到位的配置脚本选好服务器后第一件事就是配置基础环境。我整理了一个一键配置脚本帮你跳过所有坑。3.1 系统选择与初始化推荐使用Ubuntu 22.04 LTS这是最稳定的选择# 更新系统 sudo apt update sudo apt upgrade -y # 安装基础工具 sudo apt install -y git curl wget vim htop tmux screen # 设置时区亚洲/上海 sudo timedatectl set-timezone Asia/Shanghai # 创建项目目录 mkdir -p ~/projects/baichuan-webui cd ~/projects/baichuan-webui3.2 GPU驱动和CUDA安装这是最关键的一步装错了后面全白搭# 方法1使用官方驱动推荐 # 先添加NVIDIA驱动仓库 sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update # 安装驱动Ubuntu 22.04推荐nvidia-driver-535 sudo apt install -y nvidia-driver-535 # 安装CUDA Toolkit 11.8PyTorch 2.1.2兼容 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run --silent --toolkit --override # 配置环境变量 echo export PATH/usr/local/cuda-11.8/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc # 验证安装 nvidia-smi nvcc --version如果nvidia-smi能正常显示GPU信息说明驱动安装成功。如果报错可能需要重启服务器sudo reboot重启后重新登录再次运行nvidia-smi确认。3.3 Python环境配置百川WebUI需要Python 3.10建议用conda管理环境# 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda # 初始化conda ~/miniconda/bin/conda init bash source ~/.bashrc # 创建Python 3.10环境 conda create -n baichuan python3.10 -y conda activate baichuan # 验证Python版本 python --version # 应该显示Python 3.10.x4. 百川2-13B-4bits WebUI部署实战环境准备好了现在开始部署WebUI。整个过程我拆解成了清晰的步骤跟着做就行。4.1 下载模型文件百川2-13B-Chat-4bits模型文件大约25GB下载需要一些时间# 创建模型目录 mkdir -p ~/models/baichuan2-13b-chat-4bits cd ~/models/baichuan2-13b-chat-4bits # 方法1从Hugging Face下载需要科学上网 # git lfs install # git clone https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits . # 方法2从国内镜像下载推荐速度快 # 这里需要替换为实际的国内镜像地址比如魔搭社区或清华源 # 由于模型较大建议先下载到本地再上传到服务器 # 方法3如果服务器已经预装了模型很多云服务商提供 # 直接检查 /root/baichuan2-13b-webui/ 目录 ls -la /root/baichuan2-13b-webui/models/重要提示很多云服务商的AI镜像已经预装了模型。如果你用的是这类镜像可以跳过下载步骤直接进入下一步。4.2 安装WebUI依赖WebUI基于Gradio开发依赖比较多# 进入项目目录如果是预装镜像 cd /root/baichuan2-13b-webui/ # 或者如果是自己部署 cd ~/projects/baichuan-webui # 创建requirements.txt文件 cat requirements.txt EOF torch2.1.2 torchvision0.16.2 torchaudio2.1.2 transformers4.36.2 accelerate0.25.0 gradio4.13.0 sentencepiece0.1.99 protobuf3.20.3 numpy1.24.4 pandas2.1.4 scipy1.11.4 tqdm4.66.1 colorama0.4.6 psutil5.9.6 supervisor4.2.5 EOF # 安装依赖使用国内镜像加速 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 单独安装bitsandbytes4bit量化需要 pip install bitsandbytes0.41.3 -i https://pypi.tuna.tsinghua.edu.cn/simple如果bitsandbytes安装失败可能是CUDA版本不匹配可以尝试# 编译安装bitsandbytes git clone https://github.com/TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION118 make cuda11x python setup.py install4.3 配置启动脚本创建启动脚本方便管理# 创建启动脚本 start_webui.py cat start_webui.py EOF import os import sys import torch from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig from accelerate import infer_auto_device_map, init_empty_weights import gradio as gr # 模型路径 model_path /root/baichuan2-13b-webui/models/Baichuan2-13B-Chat-4bits # 或者如果是自己下载的模型 # model_path ~/models/baichuan2-13b-chat-4bits print(正在加载模型...) # 4bit量化配置 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue, bnb_4bit_quant_typenf4 ) # 加载tokenizer tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue, use_fastFalse ) # 加载模型 model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ) print(模型加载完成) # 创建Gradio界面 def predict(message, history, temperature, top_p, max_tokens): # 构建对话历史 prompt for user_msg, assistant_msg in history: prompt f用户{user_msg}/用户\n助手{assistant_msg}/助手\n prompt f用户{message}/用户\n助手 # 编码输入 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成参数 generate_kwargs { input_ids: inputs.input_ids, max_new_tokens: max_tokens, temperature: temperature, top_p: top_p, do_sample: True if temperature 0 else False, repetition_penalty: 1.1, pad_token_id: tokenizer.eos_token_id } # 生成回复 with torch.no_grad(): outputs model.generate(**generate_kwargs) # 解码输出 response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) return response # 创建Gradio界面 with gr.Blocks(title百川2-13B-Chat 聊天助手, themegr.themes.Soft()) as demo: gr.Markdown(# 百川2-13B-Chat 聊天助手) gr.Markdown(基于百川2-13B-4bits量化模型的对话AI) chatbot gr.Chatbot(height500) with gr.Row(): with gr.Column(scale4): msg gr.Textbox( label输入消息, placeholder输入您的问题..., lines3 ) with gr.Column(scale1): with gr.Row(): submit gr.Button(发送, variantprimary) clear gr.Button(清除历史) with gr.Accordion(高级参数, openFalse): temperature gr.Slider( minimum0.1, maximum2.0, value0.7, step0.1, labelTemperature温度, info值越高回答越随机越低越稳定 ) top_p gr.Slider( minimum0.1, maximum1.0, value0.9, step0.05, labelTop-p核采样, info控制词汇选择范围 ) max_tokens gr.Slider( minimum128, maximum2048, value512, step128, label最大生成长度, info控制回答的最大长度 ) # 绑定事件 submit.click( predict, inputs[msg, chatbot, temperature, top_p, max_tokens], outputs[chatbot] ) msg.submit( predict, inputs[msg, chatbot, temperature, top_p, max_tokens], outputs[chatbot] ) clear.click(lambda: None, None, chatbot, queueFalse) # 示例问题 gr.Examples( examples[ [你好请介绍一下你自己。], [帮我写一个Python快速排序算法。], [解释一下什么是机器学习], [用简单的语言解释量子计算。], [写一首关于春天的诗。] ], inputsmsg ) if __name__ __main__: demo.launch( server_name0.0.0.0, server_port7860, shareFalse, debugFalse ) EOF4.4 配置Supervisor守护进程为了让服务在后台稳定运行我们用Supervisor来管理# 安装Supervisor sudo apt install -y supervisor # 创建Supervisor配置 sudo tee /etc/supervisor/conf.d/baichuan-webui.conf EOF [program:baichuan-webui] directory/root/baichuan2-13b-webui command/root/miniconda3/envs/baichuan/bin/python start_webui.py autostarttrue autorestarttrue startretries3 userroot redirect_stderrtrue stdout_logfile/root/baichuan2-13b-webui/logs/webui.log stderr_logfile/root/baichuan2-13b-webui/logs/webui_error.log environmentPYTHONPATH/root/baichuan2-13b-webui,PATH/root/miniconda3/envs/baichuan/bin:%(ENV_PATH)s EOF # 创建日志目录 mkdir -p /root/baichuan2-13b-webui/logs # 重新加载Supervisor配置 sudo supervisorctl reread sudo supervisorctl update # 启动服务 sudo supervisorctl start baichuan-webui # 查看状态 sudo supervisorctl status baichuan-webui如果看到RUNNING状态说明服务启动成功。5. 验证部署check.sh绿色✅全通过部署完成后最重要的就是验证服务是否正常。项目提供了一个非常实用的检查脚本check.sh下面详细解读每个检查项。5.1 check.sh脚本详解先看看这个脚本都检查什么#!/bin/bash # check.sh 脚本内容概览 cat /root/baichuan2-13b-webui/check.sh # 运行检查脚本 /root/baichuan2-13b-webui/check.sh脚本会检查以下关键项服务状态WebUI进程是否在运行端口监听7860端口是否被监听GPU状态GPU是否可用显存占用情况Web访问Web界面是否能正常访问开机自启服务是否配置了开机自启动5.2 理想状态输出当一切正常时你会看到这样的输出╔══════════════════════════════════════════════════════════════╗ ║ 百川2-13B-Chat WebUI 状态检查 ║ ╚══════════════════════════════════════════════════════════════╝ 【服务状态】 ✅ 运行中 baichuan-webui RUNNING pid 12345, uptime 1:23:45 【端口监听】 ✅ 7860 端口监听中 tcp 0 0 0.0.0.0:7860 0.0.0.0:* LISTEN 12345/python 【GPU 状态】 型号: NVIDIA GeForce RTX 4090 D 显存: 21500 MiB / 24576 MiB (87.5%) 利用率: 85% 【WebUI 访问】 ✅ 可访问 URL: http://0.0.0.0:7860 【开机自启】 ✅ 已启用 Supervisor 服务: enabled 项目配置: 已安装 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ✅ 所有检查通过 项目运行正常可以正常使用。 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━看到这个绿色的✅恭喜你部署成功了5.3 常见问题排查如果检查脚本报错别慌下面是常见问题的解决方法问题1服务状态显示STOPPED# 查看详细错误 sudo supervisorctl tail -f baichuan-webui stderr # 常见原因1Python依赖缺失 # 解决方法重新安装依赖 pip install -r requirements.txt # 常见原因2端口被占用 # 解决方法检查端口占用 sudo lsof -i :7860 # 如果被占用可以修改端口或停止占用进程 # 重启服务 sudo supervisorctl restart baichuan-webui问题2GPU状态显示No GPU found# 检查驱动是否安装 nvidia-smi # 如果报错重新安装驱动 sudo apt purge nvidia-* -y sudo apt install nvidia-driver-535 -y sudo reboot # 检查CUDA nvcc --version问题3Web访问失败# 检查防火墙 sudo ufw status # 如果防火墙开启需要开放端口 sudo ufw allow 7860 # 检查服务器安全组云服务器 # 需要在云控制台开放7860端口入站规则 # 检查服务是否绑定到0.0.0.0 netstat -tulpn | grep 7860 # 应该显示 0.0.0.0:7860而不是127.0.0.1:78606. 使用技巧与优化建议部署只是第一步用好百川2-13B才是关键。下面分享一些实用技巧。6.1 参数调优指南WebUI提供了三个核心参数调好了效果大不同Temperature温度控制回答的随机性0.1-0.3回答稳定适合代码生成、数学计算0.4-0.7平衡模式适合日常对话推荐0.8-1.2更有创意适合写作、头脑风暴1.3-2.0天马行空适合创意实验Top-p核采样控制词汇选择范围0.1-0.5只选最可能的词回答保守0.6-0.9平衡范围推荐0.91.0考虑所有词回答多样Max Tokens最大长度控制回答长度128简短回答约100字512中等长度约400字推荐1024详细回答约800字2048长文回答约1600字6.2 提示词工程实战好的提示词能让模型发挥更好效果基础格式用户你的问题/用户 助手角色扮演你是一位经验丰富的Python开发工程师请用通俗易懂的语言解释什么是装饰器模式并给出一个实际应用场景的例子。分步骤思考请按以下步骤回答 1. 首先解释什么是神经网络 2. 然后说明神经网络的基本结构 3. 最后举一个实际应用的例子格式化输出请用表格对比Python和JavaScript在以下方面的区别 1. 语法特点 2. 应用场景 3. 学习难度 4. 性能表现6.3 性能优化建议如果感觉响应慢可以尝试这些优化1. 启用量化缓存# 在启动脚本中添加 model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16, use_cacheTrue # 启用缓存 )2. 调整批处理大小# 如果显存充足可以增加批处理 generate_kwargs { input_ids: inputs.input_ids, max_new_tokens: max_tokens, temperature: temperature, top_p: top_p, do_sample: True if temperature 0 else False, num_beams: 1, # 改为1加快速度 early_stopping: True, }3. 使用更快的注意力机制# 安装flash-attention需要编译 pip install flash-attn --no-build-isolation # 在代码中启用 model.config.use_flash_attention_2 True7. 总结与下一步通过这篇教程你应该已经成功部署了百川2-13B-4bits WebUI并且看到了那个令人安心的绿色check.sh✅。让我们回顾一下关键步骤7.1 部署要点回顾服务器选择24GB GPU显存是关键RTX 4090 D性价比最高环境配置Ubuntu 22.04 CUDA 11.8 Python 3.10是最佳组合模型部署4bit量化让13B模型在消费级GPU上流畅运行服务管理用Supervisor守护进程确保服务稳定运行验证检查check.sh脚本是部署成功的最终验证7.2 可能遇到的问题汇总问题现象解决方法显存不足加载模型时OOM检查GPU显存确保≥16GB端口占用7860端口被占用修改端口或停止占用进程依赖冲突安装包时报错使用conda创建干净环境网络超时下载模型慢使用国内镜像或提前下载权限问题脚本无法执行检查文件权限chmod x7.3 下一步探索方向部署成功只是开始这里有几个进阶方向1. 集成到现有系统# 将百川模型作为API服务 from fastapi import FastAPI app FastAPI() app.post(/chat) async def chat_endpoint(request: ChatRequest): response model.generate(request.message) return {response: response}2. 微调定制使用自己的数据微调模型适配特定行业术语优化对话风格3. 多模型管理同时部署多个模型根据请求路由到不同模型实现负载均衡4. 监控与优化添加性能监控实现自动扩缩容优化响应时间部署大模型看起来复杂但拆解成步骤后其实并不难。关键是理解每个环节的作用遇到问题知道如何排查。百川2-13B-4bits在中文理解和生成方面表现不错而且对硬件要求相对友好是个很好的入门选择。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
