Nanbeige 4.1-3B保姆级教程从HuggingFace加载模型到Streamlit前端上线1. 项目介绍与准备1.1 什么是Nanbeige 4.1-3BNanbeige 4.1-3B是一款拥有30亿参数的中文对话大模型特别适合角色扮演和创意对话场景。本教程将带您从零开始完成以下完整流程从HuggingFace下载模型搭建本地推理环境开发像素游戏风格的Streamlit前端部署完整的对话应用1.2 环境准备在开始前请确保您的系统满足以下要求Python 3.8或更高版本至少16GB内存NVIDIA GPU推荐显存≥12GB已安装CUDA 11.7使用以下命令安装必要依赖pip install torch transformers streamlit sentencepiece2. 模型加载与本地部署2.1 从HuggingFace获取模型创建model_loader.py文件添加以下代码加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model_name Nanbeige/Nanbeige-4.1-3B tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypeauto, device_mapauto )2.2 基础对话测试添加测试代码验证模型是否正常工作def generate_response(prompt): inputs tokenizer(prompt, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens2048) return tokenizer.decode(outputs[0], skip_special_tokensTrue) print(generate_response(你好你是谁))3. 开发像素游戏风格前端3.1 创建Streamlit应用框架新建app.py文件构建基础界面结构import streamlit as st st.set_page_config( page_titleNanbeige RPG终端, page_icon, layoutwide ) # 注入自定义CSS def load_css(): with open(style.css) as f: st.markdown(fstyle{f.read()}/style, unsafe_allow_htmlTrue) load_css()3.2 设计像素风格界面创建style.css文件添加以下核心样式/* 像素游戏主题 */ :root { --bg-color: #FDF6E3; --player-color: #4D96FF; --bot-color: #6BCB77; --border: 4px solid #2C2C2C; } body { background-color: var(--bg-color); font-family: Courier New, monospace; } /* 对话框样式 */ .player-msg { background: var(--player-color); border: var(--border); padding: 12px; margin: 8px 0; border-radius: 0; } .bot-msg { background: var(--bot-color); border: var(--border); padding: 12px; margin: 8px 0; border-radius: 0; }4. 实现完整对话功能4.1 集成模型与前端在app.py中添加对话逻辑from model_loader import model, tokenizer, generate_response st.cache_resource def load_model(): return model, tokenizer def format_response(text): if think in text: thought text.split(think)[1].split(/think)[0] response text.replace(fthink{thought}/think, ) return response, thought return text, None # 初始化对话历史 if messages not in st.session_state: st.session_state.messages []4.2 构建对话界面添加UI组件和交互逻辑# 对话显示区域 for msg in st.session_state.messages: if msg[role] player: st.markdown(fdiv classplayer-msgPLAYER: {msg[content]}/div, unsafe_allow_htmlTrue) else: st.markdown(fdiv classbot-msgNANBEIGE LV.99: {msg[content]}/div, unsafe_allow_htmlTrue) if thought in msg: with st.expander(系统日志): st.code(msg[thought], languagetext) # 输入区域 with st.form(chat_form): prompt st.text_area(你的指令, height100) submitted st.form_submit_button(发送) if submitted and prompt: st.session_state.messages.append({role: player, content: prompt}) # 生成响应 full_response generate_response(prompt) response, thought format_response(full_response) st.session_state.messages.append({ role: bot, content: response, thought: thought }) st.experimental_rerun() # 重置按钮 if st.button(RESET, typeprimary): st.session_state.messages [] st.experimental_rerun()5. 高级功能与优化5.1 实现流式输出修改响应生成逻辑实现逐字显示效果from time import sleep def stream_response(prompt): inputs tokenizer(prompt, return_tensorspt).to(cuda) streamer TextIteratorStreamer(tokenizer) generation_kwargs dict( inputs, streamerstreamer, max_new_tokens2048 ) # 在后台线程生成响应 from threading import Thread thread Thread(targetmodel.generate, kwargsgeneration_kwargs) thread.start() # 逐字显示 partial_response for new_token in streamer: partial_response new_token yield partial_response5.2 添加系统状态显示在侧边栏添加运行状态信息with st.sidebar: st.title(系统状态) st.metric(模型参数, 3B) st.metric(上下文长度, 2048 tokens) st.progress(0.8, text魔力储备) if st.checkbox(显示技术细节): st.code(f设备: {model.device}) st.code(f精度: {model.dtype})6. 部署与运行6.1 本地运行应用使用以下命令启动应用streamlit run app.py6.2 生产环境部署如需部署到服务器建议使用Nginx反向代理处理静态文件和SSLSupervisor管理进程Docker容器化可选简化部署示例DockerfileFROM python:3.9-slim WORKDIR /app COPY . . RUN pip install -r requirements.txt EXPOSE 8501 CMD [streamlit, run, app.py]7. 总结与下一步通过本教程您已经完成了从HuggingFace加载Nanbeige 4.1-3B模型搭建本地推理环境开发了完整的像素游戏风格对话前端实现了包括流式输出、思考过程显示等高级功能下一步建议尝试修改CSS主题颜色创造不同风格的冒险场景添加音效增强游戏体验集成更多模型功能如多轮对话记忆管理获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Nanbeige 4.1-3B保姆级教程：从HuggingFace加载模型到Streamlit前端上线
Nanbeige 4.1-3B保姆级教程从HuggingFace加载模型到Streamlit前端上线1. 项目介绍与准备1.1 什么是Nanbeige 4.1-3BNanbeige 4.1-3B是一款拥有30亿参数的中文对话大模型特别适合角色扮演和创意对话场景。本教程将带您从零开始完成以下完整流程从HuggingFace下载模型搭建本地推理环境开发像素游戏风格的Streamlit前端部署完整的对话应用1.2 环境准备在开始前请确保您的系统满足以下要求Python 3.8或更高版本至少16GB内存NVIDIA GPU推荐显存≥12GB已安装CUDA 11.7使用以下命令安装必要依赖pip install torch transformers streamlit sentencepiece2. 模型加载与本地部署2.1 从HuggingFace获取模型创建model_loader.py文件添加以下代码加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model_name Nanbeige/Nanbeige-4.1-3B tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypeauto, device_mapauto )2.2 基础对话测试添加测试代码验证模型是否正常工作def generate_response(prompt): inputs tokenizer(prompt, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens2048) return tokenizer.decode(outputs[0], skip_special_tokensTrue) print(generate_response(你好你是谁))3. 开发像素游戏风格前端3.1 创建Streamlit应用框架新建app.py文件构建基础界面结构import streamlit as st st.set_page_config( page_titleNanbeige RPG终端, page_icon, layoutwide ) # 注入自定义CSS def load_css(): with open(style.css) as f: st.markdown(fstyle{f.read()}/style, unsafe_allow_htmlTrue) load_css()3.2 设计像素风格界面创建style.css文件添加以下核心样式/* 像素游戏主题 */ :root { --bg-color: #FDF6E3; --player-color: #4D96FF; --bot-color: #6BCB77; --border: 4px solid #2C2C2C; } body { background-color: var(--bg-color); font-family: Courier New, monospace; } /* 对话框样式 */ .player-msg { background: var(--player-color); border: var(--border); padding: 12px; margin: 8px 0; border-radius: 0; } .bot-msg { background: var(--bot-color); border: var(--border); padding: 12px; margin: 8px 0; border-radius: 0; }4. 实现完整对话功能4.1 集成模型与前端在app.py中添加对话逻辑from model_loader import model, tokenizer, generate_response st.cache_resource def load_model(): return model, tokenizer def format_response(text): if think in text: thought text.split(think)[1].split(/think)[0] response text.replace(fthink{thought}/think, ) return response, thought return text, None # 初始化对话历史 if messages not in st.session_state: st.session_state.messages []4.2 构建对话界面添加UI组件和交互逻辑# 对话显示区域 for msg in st.session_state.messages: if msg[role] player: st.markdown(fdiv classplayer-msgPLAYER: {msg[content]}/div, unsafe_allow_htmlTrue) else: st.markdown(fdiv classbot-msgNANBEIGE LV.99: {msg[content]}/div, unsafe_allow_htmlTrue) if thought in msg: with st.expander(系统日志): st.code(msg[thought], languagetext) # 输入区域 with st.form(chat_form): prompt st.text_area(你的指令, height100) submitted st.form_submit_button(发送) if submitted and prompt: st.session_state.messages.append({role: player, content: prompt}) # 生成响应 full_response generate_response(prompt) response, thought format_response(full_response) st.session_state.messages.append({ role: bot, content: response, thought: thought }) st.experimental_rerun() # 重置按钮 if st.button(RESET, typeprimary): st.session_state.messages [] st.experimental_rerun()5. 高级功能与优化5.1 实现流式输出修改响应生成逻辑实现逐字显示效果from time import sleep def stream_response(prompt): inputs tokenizer(prompt, return_tensorspt).to(cuda) streamer TextIteratorStreamer(tokenizer) generation_kwargs dict( inputs, streamerstreamer, max_new_tokens2048 ) # 在后台线程生成响应 from threading import Thread thread Thread(targetmodel.generate, kwargsgeneration_kwargs) thread.start() # 逐字显示 partial_response for new_token in streamer: partial_response new_token yield partial_response5.2 添加系统状态显示在侧边栏添加运行状态信息with st.sidebar: st.title(系统状态) st.metric(模型参数, 3B) st.metric(上下文长度, 2048 tokens) st.progress(0.8, text魔力储备) if st.checkbox(显示技术细节): st.code(f设备: {model.device}) st.code(f精度: {model.dtype})6. 部署与运行6.1 本地运行应用使用以下命令启动应用streamlit run app.py6.2 生产环境部署如需部署到服务器建议使用Nginx反向代理处理静态文件和SSLSupervisor管理进程Docker容器化可选简化部署示例DockerfileFROM python:3.9-slim WORKDIR /app COPY . . RUN pip install -r requirements.txt EXPOSE 8501 CMD [streamlit, run, app.py]7. 总结与下一步通过本教程您已经完成了从HuggingFace加载Nanbeige 4.1-3B模型搭建本地推理环境开发了完整的像素游戏风格对话前端实现了包括流式输出、思考过程显示等高级功能下一步建议尝试修改CSS主题颜色创造不同风格的冒险场景添加音效增强游戏体验集成更多模型功能如多轮对话记忆管理获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
