StructBERT文本相似度模型部署教程Docker Compose多服务编排1. 引言为什么需要一键部署文本相似度服务想象一下你正在开发一个智能客服系统需要快速判断用户提问与知识库中哪个答案最匹配。或者你正在构建一个内容推荐引擎需要计算文章之间的语义相似度。手动编写复杂的相似度算法不仅耗时而且效果往往不尽如人意。这时一个预训练好的、开箱即用的文本相似度模型就显得尤为重要。StructBERT文本相似度-中文-通用-large模型正是为解决这类问题而生。它基于强大的StructBERT预训练模型专门针对中文语义相似度任务进行了优化训练能够精准地理解两段中文文本在语义上的接近程度。但是有了好模型如何快速、稳定地把它变成一项随时可用的服务呢手动配置Python环境、安装依赖、处理端口冲突……这些繁琐的步骤足以劝退很多人。本教程的目的就是带你绕过这些坑使用Docker Compose这个“编排大师”一键部署一个包含模型推理服务和友好Web界面的完整系统。你不需要是Docker专家跟着步骤走10分钟内就能让模型跑起来。2. 环境准备与项目结构解析在开始动手之前我们先花几分钟了解一下我们要搭建的东西到底是什么以及需要准备什么。2.1 核心组件介绍我们的部署方案包含两个核心服务它们通过Docker Compose被巧妙地编排在一起模型推理服务 (Model Service)这是背后的“大脑”。我们使用Sentence Transformers库来加载和运行StructBERT模型。这个服务会提供一个API接口通常是HTTP端口当你发送两段文本给它时它会计算出它们的相似度分数并返回。Web交互界面 (Web UI)这是面向用户的“脸蛋”。我们使用Gradio库快速构建一个可视化网页。你在这个页面上输入文本点击按钮它就会把请求发送给后面的模型服务并把结果漂亮地展示出来。Docker Compose的作用就是用一个配置文件docker-compose.yml同时定义和启动这两个服务并处理好它们之间的网络通信让它们像同一个应用一样协同工作。2.2 系统与工具准备你的电脑需要满足以下条件操作系统Windows 10/11, macOS, 或 Linux (如Ubuntu) 均可。本教程的命令在Linux/macOS的终端和Windows的PowerShell或WSL中通用。Docker确保已安装Docker Engine。打开终端输入docker --version检查。如果未安装请访问 Docker 官网下载适合你系统的 Docker Desktop 进行安装。Docker Compose通常安装Docker Desktop时会自带。通过docker-compose --version或docker compose version命令检查。代码编辑器如 VS Code、Sublime Text 或任何你喜欢的文本编辑器用于编写配置文件。约 2-3 GB 可用磁盘空间用于下载Docker镜像和模型文件。3. 一步步搭建你的文本相似度服务好了理论部分结束我们开始动手。整个过程就像搭积木一样简单。3.1 第一步创建项目目录首先为我们的项目创建一个专属文件夹并进入该文件夹。所有操作都在这里进行。mkdir structbert-similarity-service cd structbert-similarity-service3.2 第二步编写模型服务脚本 (app/model_server.py)我们需要创建模型服务的Python脚本。在项目根目录下创建一个app文件夹并在其中创建model_server.py文件。mkdir app用你的编辑器创建并打开app/model_server.py写入以下内容# app/model_server.py from sentence_transformers import SentenceTransformer, util from flask import Flask, request, jsonify import torch app Flask(__name__) # 1. 加载模型这里使用公开的相似度模型示例实际替换为你的模型路径 # 注意在实际部署中模型文件应预先准备好或从可靠源下载。 # 假设模型已下载至本地路径 ‘./model‘我们使用 from_pretrained 加载。 # 为简化教程此处以相似结构的模型名为例你需要替换为实际模型名或路径。 print(正在加载 StructBERT 文本相似度模型...) # 请将 ‘BAAI/bge-large-zh-v1.5‘ 替换为你的实际模型标识或路径 model SentenceTransformer(‘BAAI/bge-large-zh-v1.5‘) # 示例模型请替换 print(模型加载完毕) device ‘cuda‘ if torch.cuda.is_available() else ‘cpu‘ model.to(device) print(f模型运行在: {device}) app.route(‘/health‘, methods[‘GET‘]) def health_check(): 健康检查端点 return jsonify({“status“: “healthy“, “model“: “structbert-similarity“}) app.route(‘/similarity‘, methods[‘POST‘]) def calculate_similarity(): 计算两段文本的相似度 data request.json if not data or ‘text1‘ not in data or ‘text2‘ not in data: return jsonify({“error“: “请求中必须包含 ‘text1‘ 和 ‘text2‘ 字段“}), 400 text1 data[‘text1‘] text2 data[‘text2‘] try: # 编码句子获取嵌入向量 embeddings1 model.encode(text1, convert_to_tensorTrue, devicedevice) embeddings2 model.encode(text2, convert_to_tensorTrue, devicedevice) # 计算余弦相似度 cosine_score util.cos_sim(embeddings1, embeddings2) similarity_score cosine_score.item() # 获取标量值 return jsonify({ “text1“: text1, “text2“: text2, “similarity_score“: round(similarity_score, 4) # 保留4位小数 }) except Exception as e: return jsonify({“error“: f“计算过程中发生错误: {str(e)}“}), 500 if __name__ ‘__main__‘: # 在 Docker 容器内host 设置为 ‘0.0.0.0‘ 以允许外部访问 app.run(host‘0.0.0.0‘, port5000, debugFalse)关键点解释这个脚本创建了一个简单的Flask Web服务。/similarity是核心API接收包含text1和text2的JSON数据返回相似度分数。我们使用了sentence-transformers库它是处理这类任务的利器。重要提示代码中SentenceTransformer(‘BAAI/bge-large-zh-v1.5‘)是一个示例。你需要将其替换为你的StructBERT模型的实际路径或Hugging Face模型ID。例如如果你的模型文件夹在app/model下可以写为SentenceTransformer(‘./model‘)。3.3 第三步编写Web界面脚本 (app/webui.py)接下来创建Gradio交互界面。在app文件夹下创建webui.py。# app/webui.py import gradio as gr import requests import json # 模型服务的URL通过Docker Compose网络可以使用服务名‘model-server‘访问 MODEL_SERVICE_URL “http://model-server:5000/similarity“ def calculate_similarity_ui(text1, text2): Gradio界面调用的函数用于请求模型服务 if not text1.strip() or not text2.strip(): return “请输入两段有效的文本。“ payload {“text1“: text1, “text2“: text2} headers {“Content-Type“: “application/json“} try: response requests.post(MODEL_SERVICE_URL, datajson.dumps(payload), headersheaders, timeout30) if response.status_code 200: result response.json() score result[“similarity_score“] # 根据分数给出通俗解释 if score 0.8: interpretation “ 语义非常相似这两句话表达的意思几乎相同。“ elif score 0.6: interpretation “✅ 语义比较相似。核心意思相近可能在细节或表述上略有不同。“ elif score 0.4: interpretation “ 语义有一定相关性。它们谈论的是相关主题但具体观点或内容可能不同。“ elif score 0.2: interpretation “⚠️ 语义不太相似。可能只有少量关键词重合整体意思差别较大。“ else: interpretation “❌ 语义基本不相关。这两句话谈论的是完全不同的事情。“ return f“**相似度得分{score}**\n\n{interpretation}“ else: return f“请求模型服务失败 (状态码{response.status_code})。错误信息{response.text}“ except requests.exceptions.ConnectionError: return “无法连接到模型服务请确保‘model-server‘正在运行。“ except Exception as e: return f“处理请求时发生未知错误{str(e)}“ # 创建Gradio界面 demo gr.Interface( fncalculate_similarity_ui, inputs[ gr.Textbox(lines2, placeholder“请输入第一段文本...“, label“文本一“), gr.Textbox(lines2, placeholder“请输入第二段文本...“, label“文本二“) ], outputsgr.Markdown(label“相似度结果“), title“StructBERT 中文文本相似度计算器“, description“”” 输入两段中文文本模型将计算它们之间的语义相似度得分0-1之间。 得分越接近1表示语义越相似。 “””, examples[ [“今天天气真好我们出去散步吧。“, “阳光明媚适合外出走走。“], [“深度学习是人工智能的一个分支。“, “苹果是一种美味的水果。“], [“这家餐厅的火锅非常好吃。“, “那家店的火锅口味不错服务也好。“] ] ) if __name__ “__main__“: # Gradio 默认运行在 7860 端口在容器内也需要设置为 ‘0.0.0.0‘ demo.launch(server_name“0.0.0.0“, server_port7860, shareFalse)关键点解释这个界面非常简单只有两个输入框和一个按钮。它通过HTTP请求调用我们刚刚写的模型服务http://model-server:5000。model-server是我们在Docker Compose中将要定义的服务名在Docker网络内容器可以通过服务名直接通信。我们添加了对相似度分数的通俗解释让结果更直观。3.4 第四步编写Dockerfile (app/Dockerfile)我们需要为模型服务创建一个Docker镜像。在app目录下创建Dockerfile。# app/Dockerfile # 使用带有Python的官方镜像 FROM python:3.9-slim # 设置工作目录 WORKDIR /app # 复制依赖文件并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 复制应用代码 COPY . . # 暴露端口Flask应用端口 EXPOSE 5000 # 启动命令 CMD [“python“, “model_server.py“]3.5 第五步编写依赖文件 (app/requirements.txt)在app目录下创建requirements.txt列出模型服务需要的Python包。# app/requirements.txt flask2.0.0 sentence-transformers2.2.0 torch1.9.0 transformers4.15.03.6 第六步编写Docker Compose配置文件 (docker-compose.yml)现在来到最核心的一步在项目根目录structbert-similarity-service/下创建docker-compose.yml文件。# docker-compose.yml version: ‘3.8‘ services: # 服务一模型推理服务 model-server: build: ./app # 使用 ./app 目录下的 Dockerfile 构建镜像 container_name: structbert-model-server ports: - “5000:5000“ # 将宿主机的5000端口映射到容器的5000端口可选用于直接测试API volumes: # 假设你的模型文件较大可以挂载本地模型目录避免每次构建都下载 # - ./path/to/your/local/model:/app/model - ./app/logs:/app/logs # 可选挂载日志目录 environment: - PYTHONUNBUFFERED1 # 可以在此处定义健康检查 # healthcheck: # test: [“CMD“, “curl“, “-f“, “http://localhost:5000/health“] # interval: 30s # timeout: 10s # retries: 3 networks: - similarity-net # 如果模型很大启动需要时间可以适当延长超时 # deploy: # resources: # limits: # cpus: ‘2‘ # memory: 4G # 服务二Web用户界面 web-ui: image: gradio/gr:latest # 使用官方Gradio镜像它包含了Gradio环境 container_name: structbert-web-ui ports: - “7860:7860“ # Gradio默认端口在浏览器中访问 http://localhost:7860 volumes: - ./app/webui.py:/app/webui.py # 将我们的界面脚本挂载到容器中 working_dir: /app command: python webui.py depends_on: - model-server # 确保模型服务先启动 networks: - similarity-net # 定义自定义网络方便服务间通信 networks: similarity-net: driver: bridge这个文件是灵魂它定义了两个服务model-server和web-ui。model-server会根据app/Dockerfile构建一个自定义镜像。web-ui直接使用官方的Gradio镜像我们只把界面脚本挂载进去。ports将容器内的端口映射到你的电脑上这样你才能用浏览器访问。networks创建了一个独立的网络让两个容器能相互通信web-ui可以通过http://model-server:5000访问模型服务。depends_on确保model-server先启动。3.7 第七步启动所有服务万事俱备只差一行命令。在项目根目录下打开终端执行docker-compose up -d-d参数代表“后台运行”。你会看到Docker开始拉取镜像、构建镜像、启动容器。第一次运行可能会花费一些时间下载基础镜像和Python包。3.8 第八步验证服务是否运行执行以下命令查看容器状态docker-compose ps你应该看到两个服务的状态都是Up。如果状态不对可以查看日志# 查看所有服务的日志 docker-compose logs # 查看特定服务的日志例如查看模型服务启动是否报错 docker-compose logs model-server常见的启动问题可能是网络问题导致pip install失败或者模型路径不正确。请根据日志提示进行排查。4. 使用与测试你的文本相似度服务如果一切顺利现在就可以体验你的成果了。打开Web界面在你的浏览器中访问http://localhost:7860。你会看到我们设计的Gradio界面。计算相似度在“文本一”和“文本二”框中输入你想比较的句子。例如文本一今天的天气真不错文本二阳光明媚是个好天气点击“提交”按钮。稍等片刻下方就会显示出相似度得分和解释例如相似度得分0.92并提示“语义非常相似”。直接调用API你也可以直接测试模型服务的API。使用curl命令或 Postman 等工具。curl -X POST http://localhost:5000/similarity \ -H “Content-Type: application/json“ \ -d ‘{“text1“: “我喜欢吃苹果“, “text2“: “苹果是一种水果“}‘你会收到一个JSON响应{“text1“:“我喜欢吃苹果“,“text2“:“苹果是一种水果“,“similarity_score“:0.75}5. 管理你的服务日常使用中你可能会用到这些命令停止服务docker-compose down。这会停止并移除容器但镜像和卷数据会保留。重启服务docker-compose restart。查看实时日志docker-compose logs -f-f表示跟随输出。进入容器内部用于调试docker-compose exec model-server /bin/bash。重新构建镜像修改Dockerfile或代码后docker-compose up -d --build。停止并清理所有资源容器、网络docker-compose down -v-v会同时删除匿名卷慎用。6. 总结通过这个教程我们完成了一个从零到一的工业级文本相似度服务部署。回顾一下我们做了什么明晰架构我们设计了一个前后端分离的微服务架构模型计算和Web展示各司其职。编写核心用 Flask 和 Sentence Transformers 构建了模型API用 Gradio 构建了友好的用户界面。容器化封装通过 Dockerfile 将模型服务及其环境打包成标准镜像。一键编排利用 Docker Compose 定义多服务应用并通过一条命令启动整个系统。这种方式的优势非常明显环境隔离你的模型运行在干净的容器中与宿主机环境无关避免了“在我机器上好好的”这类问题。一键部署无论是换一台电脑还是在服务器上部署只需要有docker-compose.yml文件就能快速复现完全相同的环境。易于扩展如果未来需要加入缓存服务如Redis、数据库或者将模型服务横向扩展多个实例只需在docker-compose.yml中简单添加配置即可。资源可控可以方便地限制容器使用的CPU和内存。你现在拥有的是一个可运行、可测试的文本相似度服务原型。下一步你可以将代码中的示例模型路径替换为你真正的StructBERT模型路径。为模型服务添加更完善的错误处理、日志记录和输入验证。增加API认证提高安全性。使用 Nginx 对服务进行反向代理和负载均衡。希望这个教程能帮你扫清部署路上的障碍让你能更专注于模型本身的应用和优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
StructBERT文本相似度模型部署教程：Docker Compose多服务编排
StructBERT文本相似度模型部署教程Docker Compose多服务编排1. 引言为什么需要一键部署文本相似度服务想象一下你正在开发一个智能客服系统需要快速判断用户提问与知识库中哪个答案最匹配。或者你正在构建一个内容推荐引擎需要计算文章之间的语义相似度。手动编写复杂的相似度算法不仅耗时而且效果往往不尽如人意。这时一个预训练好的、开箱即用的文本相似度模型就显得尤为重要。StructBERT文本相似度-中文-通用-large模型正是为解决这类问题而生。它基于强大的StructBERT预训练模型专门针对中文语义相似度任务进行了优化训练能够精准地理解两段中文文本在语义上的接近程度。但是有了好模型如何快速、稳定地把它变成一项随时可用的服务呢手动配置Python环境、安装依赖、处理端口冲突……这些繁琐的步骤足以劝退很多人。本教程的目的就是带你绕过这些坑使用Docker Compose这个“编排大师”一键部署一个包含模型推理服务和友好Web界面的完整系统。你不需要是Docker专家跟着步骤走10分钟内就能让模型跑起来。2. 环境准备与项目结构解析在开始动手之前我们先花几分钟了解一下我们要搭建的东西到底是什么以及需要准备什么。2.1 核心组件介绍我们的部署方案包含两个核心服务它们通过Docker Compose被巧妙地编排在一起模型推理服务 (Model Service)这是背后的“大脑”。我们使用Sentence Transformers库来加载和运行StructBERT模型。这个服务会提供一个API接口通常是HTTP端口当你发送两段文本给它时它会计算出它们的相似度分数并返回。Web交互界面 (Web UI)这是面向用户的“脸蛋”。我们使用Gradio库快速构建一个可视化网页。你在这个页面上输入文本点击按钮它就会把请求发送给后面的模型服务并把结果漂亮地展示出来。Docker Compose的作用就是用一个配置文件docker-compose.yml同时定义和启动这两个服务并处理好它们之间的网络通信让它们像同一个应用一样协同工作。2.2 系统与工具准备你的电脑需要满足以下条件操作系统Windows 10/11, macOS, 或 Linux (如Ubuntu) 均可。本教程的命令在Linux/macOS的终端和Windows的PowerShell或WSL中通用。Docker确保已安装Docker Engine。打开终端输入docker --version检查。如果未安装请访问 Docker 官网下载适合你系统的 Docker Desktop 进行安装。Docker Compose通常安装Docker Desktop时会自带。通过docker-compose --version或docker compose version命令检查。代码编辑器如 VS Code、Sublime Text 或任何你喜欢的文本编辑器用于编写配置文件。约 2-3 GB 可用磁盘空间用于下载Docker镜像和模型文件。3. 一步步搭建你的文本相似度服务好了理论部分结束我们开始动手。整个过程就像搭积木一样简单。3.1 第一步创建项目目录首先为我们的项目创建一个专属文件夹并进入该文件夹。所有操作都在这里进行。mkdir structbert-similarity-service cd structbert-similarity-service3.2 第二步编写模型服务脚本 (app/model_server.py)我们需要创建模型服务的Python脚本。在项目根目录下创建一个app文件夹并在其中创建model_server.py文件。mkdir app用你的编辑器创建并打开app/model_server.py写入以下内容# app/model_server.py from sentence_transformers import SentenceTransformer, util from flask import Flask, request, jsonify import torch app Flask(__name__) # 1. 加载模型这里使用公开的相似度模型示例实际替换为你的模型路径 # 注意在实际部署中模型文件应预先准备好或从可靠源下载。 # 假设模型已下载至本地路径 ‘./model‘我们使用 from_pretrained 加载。 # 为简化教程此处以相似结构的模型名为例你需要替换为实际模型名或路径。 print(正在加载 StructBERT 文本相似度模型...) # 请将 ‘BAAI/bge-large-zh-v1.5‘ 替换为你的实际模型标识或路径 model SentenceTransformer(‘BAAI/bge-large-zh-v1.5‘) # 示例模型请替换 print(模型加载完毕) device ‘cuda‘ if torch.cuda.is_available() else ‘cpu‘ model.to(device) print(f模型运行在: {device}) app.route(‘/health‘, methods[‘GET‘]) def health_check(): 健康检查端点 return jsonify({“status“: “healthy“, “model“: “structbert-similarity“}) app.route(‘/similarity‘, methods[‘POST‘]) def calculate_similarity(): 计算两段文本的相似度 data request.json if not data or ‘text1‘ not in data or ‘text2‘ not in data: return jsonify({“error“: “请求中必须包含 ‘text1‘ 和 ‘text2‘ 字段“}), 400 text1 data[‘text1‘] text2 data[‘text2‘] try: # 编码句子获取嵌入向量 embeddings1 model.encode(text1, convert_to_tensorTrue, devicedevice) embeddings2 model.encode(text2, convert_to_tensorTrue, devicedevice) # 计算余弦相似度 cosine_score util.cos_sim(embeddings1, embeddings2) similarity_score cosine_score.item() # 获取标量值 return jsonify({ “text1“: text1, “text2“: text2, “similarity_score“: round(similarity_score, 4) # 保留4位小数 }) except Exception as e: return jsonify({“error“: f“计算过程中发生错误: {str(e)}“}), 500 if __name__ ‘__main__‘: # 在 Docker 容器内host 设置为 ‘0.0.0.0‘ 以允许外部访问 app.run(host‘0.0.0.0‘, port5000, debugFalse)关键点解释这个脚本创建了一个简单的Flask Web服务。/similarity是核心API接收包含text1和text2的JSON数据返回相似度分数。我们使用了sentence-transformers库它是处理这类任务的利器。重要提示代码中SentenceTransformer(‘BAAI/bge-large-zh-v1.5‘)是一个示例。你需要将其替换为你的StructBERT模型的实际路径或Hugging Face模型ID。例如如果你的模型文件夹在app/model下可以写为SentenceTransformer(‘./model‘)。3.3 第三步编写Web界面脚本 (app/webui.py)接下来创建Gradio交互界面。在app文件夹下创建webui.py。# app/webui.py import gradio as gr import requests import json # 模型服务的URL通过Docker Compose网络可以使用服务名‘model-server‘访问 MODEL_SERVICE_URL “http://model-server:5000/similarity“ def calculate_similarity_ui(text1, text2): Gradio界面调用的函数用于请求模型服务 if not text1.strip() or not text2.strip(): return “请输入两段有效的文本。“ payload {“text1“: text1, “text2“: text2} headers {“Content-Type“: “application/json“} try: response requests.post(MODEL_SERVICE_URL, datajson.dumps(payload), headersheaders, timeout30) if response.status_code 200: result response.json() score result[“similarity_score“] # 根据分数给出通俗解释 if score 0.8: interpretation “ 语义非常相似这两句话表达的意思几乎相同。“ elif score 0.6: interpretation “✅ 语义比较相似。核心意思相近可能在细节或表述上略有不同。“ elif score 0.4: interpretation “ 语义有一定相关性。它们谈论的是相关主题但具体观点或内容可能不同。“ elif score 0.2: interpretation “⚠️ 语义不太相似。可能只有少量关键词重合整体意思差别较大。“ else: interpretation “❌ 语义基本不相关。这两句话谈论的是完全不同的事情。“ return f“**相似度得分{score}**\n\n{interpretation}“ else: return f“请求模型服务失败 (状态码{response.status_code})。错误信息{response.text}“ except requests.exceptions.ConnectionError: return “无法连接到模型服务请确保‘model-server‘正在运行。“ except Exception as e: return f“处理请求时发生未知错误{str(e)}“ # 创建Gradio界面 demo gr.Interface( fncalculate_similarity_ui, inputs[ gr.Textbox(lines2, placeholder“请输入第一段文本...“, label“文本一“), gr.Textbox(lines2, placeholder“请输入第二段文本...“, label“文本二“) ], outputsgr.Markdown(label“相似度结果“), title“StructBERT 中文文本相似度计算器“, description“”” 输入两段中文文本模型将计算它们之间的语义相似度得分0-1之间。 得分越接近1表示语义越相似。 “””, examples[ [“今天天气真好我们出去散步吧。“, “阳光明媚适合外出走走。“], [“深度学习是人工智能的一个分支。“, “苹果是一种美味的水果。“], [“这家餐厅的火锅非常好吃。“, “那家店的火锅口味不错服务也好。“] ] ) if __name__ “__main__“: # Gradio 默认运行在 7860 端口在容器内也需要设置为 ‘0.0.0.0‘ demo.launch(server_name“0.0.0.0“, server_port7860, shareFalse)关键点解释这个界面非常简单只有两个输入框和一个按钮。它通过HTTP请求调用我们刚刚写的模型服务http://model-server:5000。model-server是我们在Docker Compose中将要定义的服务名在Docker网络内容器可以通过服务名直接通信。我们添加了对相似度分数的通俗解释让结果更直观。3.4 第四步编写Dockerfile (app/Dockerfile)我们需要为模型服务创建一个Docker镜像。在app目录下创建Dockerfile。# app/Dockerfile # 使用带有Python的官方镜像 FROM python:3.9-slim # 设置工作目录 WORKDIR /app # 复制依赖文件并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 复制应用代码 COPY . . # 暴露端口Flask应用端口 EXPOSE 5000 # 启动命令 CMD [“python“, “model_server.py“]3.5 第五步编写依赖文件 (app/requirements.txt)在app目录下创建requirements.txt列出模型服务需要的Python包。# app/requirements.txt flask2.0.0 sentence-transformers2.2.0 torch1.9.0 transformers4.15.03.6 第六步编写Docker Compose配置文件 (docker-compose.yml)现在来到最核心的一步在项目根目录structbert-similarity-service/下创建docker-compose.yml文件。# docker-compose.yml version: ‘3.8‘ services: # 服务一模型推理服务 model-server: build: ./app # 使用 ./app 目录下的 Dockerfile 构建镜像 container_name: structbert-model-server ports: - “5000:5000“ # 将宿主机的5000端口映射到容器的5000端口可选用于直接测试API volumes: # 假设你的模型文件较大可以挂载本地模型目录避免每次构建都下载 # - ./path/to/your/local/model:/app/model - ./app/logs:/app/logs # 可选挂载日志目录 environment: - PYTHONUNBUFFERED1 # 可以在此处定义健康检查 # healthcheck: # test: [“CMD“, “curl“, “-f“, “http://localhost:5000/health“] # interval: 30s # timeout: 10s # retries: 3 networks: - similarity-net # 如果模型很大启动需要时间可以适当延长超时 # deploy: # resources: # limits: # cpus: ‘2‘ # memory: 4G # 服务二Web用户界面 web-ui: image: gradio/gr:latest # 使用官方Gradio镜像它包含了Gradio环境 container_name: structbert-web-ui ports: - “7860:7860“ # Gradio默认端口在浏览器中访问 http://localhost:7860 volumes: - ./app/webui.py:/app/webui.py # 将我们的界面脚本挂载到容器中 working_dir: /app command: python webui.py depends_on: - model-server # 确保模型服务先启动 networks: - similarity-net # 定义自定义网络方便服务间通信 networks: similarity-net: driver: bridge这个文件是灵魂它定义了两个服务model-server和web-ui。model-server会根据app/Dockerfile构建一个自定义镜像。web-ui直接使用官方的Gradio镜像我们只把界面脚本挂载进去。ports将容器内的端口映射到你的电脑上这样你才能用浏览器访问。networks创建了一个独立的网络让两个容器能相互通信web-ui可以通过http://model-server:5000访问模型服务。depends_on确保model-server先启动。3.7 第七步启动所有服务万事俱备只差一行命令。在项目根目录下打开终端执行docker-compose up -d-d参数代表“后台运行”。你会看到Docker开始拉取镜像、构建镜像、启动容器。第一次运行可能会花费一些时间下载基础镜像和Python包。3.8 第八步验证服务是否运行执行以下命令查看容器状态docker-compose ps你应该看到两个服务的状态都是Up。如果状态不对可以查看日志# 查看所有服务的日志 docker-compose logs # 查看特定服务的日志例如查看模型服务启动是否报错 docker-compose logs model-server常见的启动问题可能是网络问题导致pip install失败或者模型路径不正确。请根据日志提示进行排查。4. 使用与测试你的文本相似度服务如果一切顺利现在就可以体验你的成果了。打开Web界面在你的浏览器中访问http://localhost:7860。你会看到我们设计的Gradio界面。计算相似度在“文本一”和“文本二”框中输入你想比较的句子。例如文本一今天的天气真不错文本二阳光明媚是个好天气点击“提交”按钮。稍等片刻下方就会显示出相似度得分和解释例如相似度得分0.92并提示“语义非常相似”。直接调用API你也可以直接测试模型服务的API。使用curl命令或 Postman 等工具。curl -X POST http://localhost:5000/similarity \ -H “Content-Type: application/json“ \ -d ‘{“text1“: “我喜欢吃苹果“, “text2“: “苹果是一种水果“}‘你会收到一个JSON响应{“text1“:“我喜欢吃苹果“,“text2“:“苹果是一种水果“,“similarity_score“:0.75}5. 管理你的服务日常使用中你可能会用到这些命令停止服务docker-compose down。这会停止并移除容器但镜像和卷数据会保留。重启服务docker-compose restart。查看实时日志docker-compose logs -f-f表示跟随输出。进入容器内部用于调试docker-compose exec model-server /bin/bash。重新构建镜像修改Dockerfile或代码后docker-compose up -d --build。停止并清理所有资源容器、网络docker-compose down -v-v会同时删除匿名卷慎用。6. 总结通过这个教程我们完成了一个从零到一的工业级文本相似度服务部署。回顾一下我们做了什么明晰架构我们设计了一个前后端分离的微服务架构模型计算和Web展示各司其职。编写核心用 Flask 和 Sentence Transformers 构建了模型API用 Gradio 构建了友好的用户界面。容器化封装通过 Dockerfile 将模型服务及其环境打包成标准镜像。一键编排利用 Docker Compose 定义多服务应用并通过一条命令启动整个系统。这种方式的优势非常明显环境隔离你的模型运行在干净的容器中与宿主机环境无关避免了“在我机器上好好的”这类问题。一键部署无论是换一台电脑还是在服务器上部署只需要有docker-compose.yml文件就能快速复现完全相同的环境。易于扩展如果未来需要加入缓存服务如Redis、数据库或者将模型服务横向扩展多个实例只需在docker-compose.yml中简单添加配置即可。资源可控可以方便地限制容器使用的CPU和内存。你现在拥有的是一个可运行、可测试的文本相似度服务原型。下一步你可以将代码中的示例模型路径替换为你真正的StructBERT模型路径。为模型服务添加更完善的错误处理、日志记录和输入验证。增加API认证提高安全性。使用 Nginx 对服务进行反向代理和负载均衡。希望这个教程能帮你扫清部署路上的障碍让你能更专注于模型本身的应用和优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
