Youtu-Parsing CI/CD集成Git变更→自动测试→supervisor更新一键发布1. 引言从手动更新到自动化发布的烦恼如果你用过Youtu-Parsing这个文档解析模型肯定遇到过这样的场景代码改了几行想要更新到服务器上结果得手动登录服务器、拉取代码、重启服务还要担心会不会影响正在运行的任务。更麻烦的是如果多人协作开发谁改了代码、什么时候部署的、有没有测试过这些信息都很难追踪。我最近给团队的Youtu-Parsing项目搭建了一套CI/CD流水线实现了从代码提交到服务更新的全自动化。现在只要在GitHub上提交代码系统就会自动测试、自动部署服务无缝重启整个过程完全不需要人工干预。这篇文章就带你一步步搭建这套系统让你也能享受“代码一提交服务自动更新”的丝滑体验。2. Youtu-Parsing项目回顾为什么需要自动化在开始搭建CI/CD之前我们先快速回顾一下Youtu-Parsing项目的基本情况这样你才能理解自动化部署到底解决了哪些实际问题。2.1 项目特点与部署痛点Youtu-Parsing是腾讯优图实验室推出的多模态文档解析模型它有几个核心特点全要素解析能识别文本、表格、公式、图表、印章、手写体几乎覆盖了所有文档元素像素级定位每个元素的位置都精确框出来这对于需要保留原始布局的场景特别有用结构化输出解析结果可以直接转成干净的文本、JSON或Markdown格式方便后续的RAG应用双并行加速采用Token并行和查询并行技术解析速度比传统方法快5-11倍但正是这些强大的功能也让部署和维护变得复杂服务依赖多需要Python环境、HuggingFace模型、supervisor进程管理启动时间长模型首次加载需要1-2分钟重启服务会影响用户体验配置复杂涉及WebUI端口、模型缓存路径、输出目录等多个配置项更新频繁随着文档解析需求的多样化代码需要不断优化和更新2.2 传统手动更新的“七宗罪”在没有自动化之前我们团队更新Youtu-Parsing服务是这样的流程# 1. 登录服务器 ssh rootyour-server-ip # 2. 进入项目目录 cd /root/Youtu-Parsing # 3. 拉取最新代码 git pull origin main # 4. 清理缓存防止旧代码影响 find . -name *.pyc -delete find . -name __pycache__ -type d -exec rm -rf {} # 5. 安装新依赖如果有 pip install -r requirements.txt # 6. 重启服务 supervisorctl restart youtu-parsing # 7. 查看日志确认启动成功 tail -f /var/log/supervisor/youtu-parsing-stdout.log这个过程看起来简单但实际上问题一大堆容易出错手动操作难免打错命令特别是半夜紧急修复的时候没有测试代码更新前没有自动测试可能把bug带到生产环境影响服务重启期间服务不可用如果有用户正在解析文档就会失败没有记录谁在什么时候更新了什么代码全靠记忆和聊天记录无法回滚如果新代码有问题要手动找回旧版本过程繁琐3. CI/CD方案设计GitHub Actions Supervisor的完美组合为了解决这些问题我设计了一套基于GitHub Actions和Supervisor的CI/CD方案。整个流程是这样的代码提交 → 自动测试 → 服务器部署 → 服务重启 → 健康检查3.1 技术选型与架构为什么选择GitHub Actions因为它有几个明显的优势完全免费对于开源项目GitHub Actions提供充足的免费额度集成简单直接在仓库里添加配置文件就行不需要额外搭建CI服务器生态丰富有大量的预置Action可以直接使用触发灵活可以按分支、标签、定时等多种方式触发整个架构分为三个部分组件作用配置位置GitHub仓库代码存储和版本管理你的Youtu-Parsing项目GitHub Actions自动化测试和部署.github/workflows/deploy.yml服务器端运行Youtu-Parsing服务你的VPS或云服务器3.2 工作流程详解当你在本地开发并提交代码后整个自动化流程是这样的触发条件代码推送到main分支或者创建Pull Request运行测试在GitHub的虚拟机上运行单元测试和集成测试连接服务器通过SSH连接到你的部署服务器拉取代码在服务器上执行git pull获取最新代码更新依赖检查并安装新的Python包重启服务通过supervisorctl重启Youtu-Parsing服务健康检查验证服务是否正常启动通知结果通过邮件、Slack或钉钉通知部署结果4. 实战搭建一步步配置自动化部署下面我就带你从头开始搭建这套系统。整个过程大概需要30分钟完成后你就再也不用手动更新服务了。4.1 准备工作服务器和GitHub配置在开始之前你需要准备好以下几样东西运行Youtu-Parsing的服务器可以是云服务器、VPS甚至是你本地的一台机器GitHub仓库把你的Youtu-Parsing代码放到GitHub上SSH密钥对用于GitHub Actions连接服务器生成SSH密钥在服务器上生成专用的部署密钥# 在服务器上执行 ssh-keygen -t ed25519 -C github-actions-deploy-key # 一路回车使用默认设置 # 密钥会生成在 ~/.ssh/id_ed25519 和 ~/.ssh/id_ed25519.pub配置服务器SSH访问把公钥添加到服务器的授权列表# 查看公钥内容 cat ~/.ssh/id_ed25519.pub # 把输出的内容添加到 ~/.ssh/authorized_keys echo 你的公钥内容 ~/.ssh/authorized_keys # 设置正确的权限 chmod 600 ~/.ssh/authorized_keys chmod 700 ~/.ssh配置GitHub仓库密钥接下来需要在GitHub仓库中添加两个密钥DEPLOY_KEY服务器的私钥用于GitHub Actions连接服务器KNOWN_HOSTS服务器的SSH指纹用于验证服务器身份获取服务器SSH指纹# 在服务器上执行 ssh-keyscan your-server-ip # 会输出类似这样的内容 # your-server-ip ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC...然后在GitHub仓库的设置页面找到Secrets and variables → Actions添加DEPLOY_KEYid_ed25519文件的内容私钥KNOWN_HOSTS上面ssh-keyscan命令的输出4.2 创建GitHub Actions工作流在你的Youtu-Parsing项目根目录创建.github/workflows/deploy.yml文件name: Deploy Youtu-Parsing on: push: branches: [ main ] pull_request: branches: [ main ] jobs: test: runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkoutv3 - name: Set up Python uses: actions/setup-pythonv4 with: python-version: 3.9 - name: Install dependencies run: | python -m pip install --upgrade pip pip install -r requirements.txt pip install pytest - name: Run tests run: | # 这里添加你的测试命令 # 比如pytest tests/ -v echo Tests passed! deploy: needs: test if: github.event_name push github.ref refs/heads/main runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkoutv3 - name: Deploy to server uses: appleboy/ssh-actionv0.1.5 with: host: ${{ secrets.SERVER_HOST }} username: ${{ secrets.SERVER_USER }} key: ${{ secrets.DEPLOY_KEY }} port: ${{ secrets.SERVER_PORT }} script: | # 进入项目目录 cd /root/Youtu-Parsing # 拉取最新代码 git pull origin main # 清理Python缓存 find . -name *.pyc -delete find . -name __pycache__ -type d -exec rm -rf {} # 检查是否需要更新依赖 pip install -r requirements.txt # 重启Youtu-Parsing服务 supervisorctl restart youtu-parsing # 等待服务启动 sleep 10 # 检查服务状态 supervisorctl status youtu-parsing # 健康检查尝试访问WebUI curl -f http://localhost:7860 || exit 1 - name: Send notification if: always() uses: 8398a7/action-slackv3 with: status: ${{ job.status }} channel: #deployments author_name: GitHub Actions Bot env: SLACK_WEBHOOK_URL: ${{ secrets.SLACK_WEBHOOK_URL }}这个配置文件做了几件事触发条件当代码推送到main分支时自动运行测试阶段先运行测试确保代码质量部署阶段只有测试通过且是main分支的推送才会部署服务器操作连接服务器、更新代码、重启服务健康检查验证服务是否正常启动通知发送部署结果到Slack可选4.3 添加测试用例可选但推荐虽然Youtu-Parsing是一个AI模型服务但我们仍然可以添加一些基本的测试来确保部署不会出大问题。在项目根目录创建tests/test_basic.pyimport sys import os # 添加项目根目录到Python路径 sys.path.insert(0, os.path.dirname(os.path.dirname(__file__))) def test_imports(): 测试基本导入是否正常 try: # 测试核心模块能否导入 import webui print(✓ webui模块导入成功) # 测试配置是否存在 from config import settings print(✓ 配置模块导入成功) return True except ImportError as e: print(f✗ 导入失败: {e}) return False def test_paths(): 测试关键路径是否存在 required_paths [ /root/Youtu-Parsing/outputs, /root/Youtu-Parsing/hf_cache, /etc/supervisor/conf.d/youtu-parsing.conf ] all_exist True for path in required_paths: if os.path.exists(path): print(f✓ 路径存在: {path}) else: print(f✗ 路径不存在: {path}) all_exist False return all_exist def test_supervisor_config(): 测试supervisor配置是否正确 config_path /etc/supervisor/conf.d/youtu-parsing.conf try: with open(config_path, r) as f: content f.read() # 检查关键配置项 required_configs [ autostarttrue, autorestarttrue, commandpython webui.py, stdout_logfile/var/log/supervisor/youtu-parsing-stdout.log ] all_found True for config in required_configs: if config in content: print(f✓ 配置项存在: {config}) else: print(f✗ 配置项缺失: {config}) all_found False return all_found except FileNotFoundError: print(f✗ 配置文件不存在: {config_path}) return False if __name__ __main__: print(运行Youtu-Parsing基础测试...) print(- * 50) results [] results.append(test_imports()) results.append(test_paths()) results.append(test_supervisor_config()) print(- * 50) if all(results): print(✅ 所有测试通过) sys.exit(0) else: print(❌ 部分测试失败) sys.exit(1)然后在GitHub Actions配置中更新测试步骤- name: Run tests run: | python tests/test_basic.py4.4 优化部署脚本处理常见问题在实际使用中我发现直接重启服务有时候会遇到问题比如端口被占用、模型加载失败等。所以我对部署脚本做了优化#!/bin/bash # deploy.sh - 优化的部署脚本 set -e # 遇到错误立即退出 echo 开始部署 Youtu-Parsing... # 1. 进入项目目录 cd /root/Youtu-Parsing || { echo ❌ 无法进入项目目录 exit 1 } # 2. 备份当前代码用于回滚 BACKUP_DIR/tmp/youtu-parsing-backup-$(date %Y%m%d-%H%M%S) mkdir -p $BACKUP_DIR cp -r . $BACKUP_DIR/ 2/dev/null || true echo 代码已备份到: $BACKUP_DIR # 3. 拉取最新代码 echo ⬇️ 拉取最新代码... git fetch origin git reset --hard origin/main # 4. 清理缓存 echo 清理Python缓存... find . -name *.pyc -delete find . -name __pycache__ -type d -exec rm -rf {} 2/dev/null || true # 5. 更新依赖 echo 检查依赖更新... if [ -f requirements.txt ]; then pip install -r requirements.txt --upgrade fi # 6. 检查端口占用 echo 检查端口占用... if lsof -ti:7860 /dev/null 21; then echo ⚠️ 端口7860被占用尝试优雅停止服务... supervisorctl stop youtu-parsing sleep 5 # 如果supervisor停止失败强制杀死进程 if lsof -ti:7860 /dev/null 21; then echo ⚠️ 强制结束占用进程... lsof -ti:7860 | xargs kill -9 2/dev/null || true sleep 2 fi fi # 7. 重启服务 echo 重启服务... supervisorctl restart youtu-parsing # 8. 等待服务启动 echo ⏳ 等待服务启动... MAX_WAIT60 WAITED0 while [ $WAITED -lt $MAX_WAIT ]; do if supervisorctl status youtu-parsing | grep -q RUNNING; then echo ✅ 服务运行正常 break fi echo 等待服务启动... ($((WAITED1))/$MAX_WAIT 秒) sleep 1 WAITED$((WAITED1)) done if [ $WAITED -ge $MAX_WAIT ]; then echo ❌ 服务启动超时 echo 查看日志... tail -20 /var/log/supervisor/youtu-parsing-stderr.log || true exit 1 fi # 9. 健康检查 echo 执行健康检查... sleep 5 # 给服务一些时间完全启动 if curl -f -s -o /dev/null -w %{http_code} http://localhost:7860 | grep -q 200; then echo ✅ 健康检查通过 else echo ❌ 健康检查失败 echo 尝试回滚到备份版本... # 回滚到备份 cd /root rm -rf Youtu-Parsing cp -r $BACKUP_DIR Youtu-Parsing cd Youtu-Parsing supervisorctl restart youtu-parsing echo 已回滚到备份版本 exit 1 fi # 10. 清理旧备份保留最近3个 echo 清理旧备份... ls -dt /tmp/youtu-parsing-backup-* | tail -n 4 | xargs rm -rf 2/dev/null || true echo 部署完成 echo 服务地址: http://$(curl -s ifconfig.me):7860然后在GitHub Actions中使用这个脚本- name: Deploy to server uses: appleboy/ssh-actionv0.1.5 with: host: ${{ secrets.SERVER_HOST }} username: ${{ secrets.SERVER_USER }} key: ${{ secrets.DEPLOY_KEY }} port: ${{ secrets.SERVER_PORT }} script: | # 上传部署脚本 cat /tmp/deploy_youtu.sh EOF # 上面部署脚本的内容 EOF # 执行部署 bash /tmp/deploy_youtu.sh5. 高级功能让CI/CD更智能基础功能搭建好后我们可以添加一些高级功能让整个流程更加智能和可靠。5.1 数据库迁移自动化如果Youtu-Parsing使用了数据库比如记录解析历史我们可以在部署时自动处理数据库迁移# 在部署脚本中添加数据库迁移 echo ️ 检查数据库迁移... if [ -f alembic.ini ]; then echo 执行数据库迁移... alembic upgrade head elif [ -f migrations/ ]; then echo 执行Flask-Migrate迁移... flask db upgrade fi5.2 性能测试与监控部署后自动运行性能测试确保新版本不会降低解析速度# performance_test.py import requests import time import statistics def test_parsing_speed(image_path): 测试单张图片解析速度 with open(image_path, rb) as f: files {file: f} start_time time.time() response requests.post(http://localhost:7860/parse, filesfiles) end_time time.time() if response.status_code 200: return end_time - start_time else: return None def run_performance_test(): 运行性能测试套件 test_images [ test_images/simple_text.jpg, test_images/complex_table.png, test_images/math_formula.jpg ] results [] for image in test_images: print(f测试 {image}...) speed test_parsing_speed(image) if speed: results.append(speed) print(f 解析时间: {speed:.2f}秒) else: print(f 解析失败) if results: avg_speed statistics.mean(results) print(f\n平均解析时间: {avg_speed:.2f}秒) # 如果性能下降超过20%发出警告 baseline 3.0 # 基准解析时间 if avg_speed baseline * 1.2: print(⚠️ 警告解析性能下降超过20%) return False return True在GitHub Actions中添加性能测试- name: Performance test run: | # 等待服务完全启动 sleep 30 # 运行性能测试 python tests/performance_test.py if [ $? -ne 0 ]; then echo ❌ 性能测试失败 exit 1 fi5.3 多环境部署对于更复杂的项目你可能需要多环境部署开发、测试、生产# .github/workflows/deploy.yml name: Deploy Youtu-Parsing on: push: branches: - main # 推送到main - 生产环境 - staging # 推送到staging - 测试环境 jobs: deploy: runs-on: ubuntu-latest strategy: matrix: environment: [staging, production] include: - environment: staging branch: staging server: ${{ secrets.STAGING_SERVER }} port: 7861 - environment: production branch: main server: ${{ secrets.PRODUCTION_SERVER }} port: 7860 steps: - name: Checkout code uses: actions/checkoutv3 - name: Deploy to ${{ matrix.environment }} if: github.ref refs/heads/${{ matrix.branch }} uses: appleboy/ssh-actionv0.1.5 with: host: ${{ matrix.server }} username: ${{ secrets.SERVER_USER }} key: ${{ secrets.DEPLOY_KEY }} script: | # 根据环境选择配置 if [ ${{ matrix.environment }} production ]; then CONFIG_FILEconfig/production.py PORT7860 else CONFIG_FILEconfig/staging.py PORT7861 fi # 部署逻辑...5.4 自动生成变更日志每次部署时自动生成变更日志方便追踪更新内容- name: Generate changelog run: | # 获取上次部署的commit LAST_DEPLOY$(curl -s https://api.github.com/repos/${{ github.repository }}/deployments | \ jq -r .[0].sha 2/dev/null || echo ) if [ -z $LAST_DEPLOY ]; then # 第一次部署获取所有commit git log --oneline -n 20 CHANGELOG.md else # 获取上次部署后的commit git log --oneline $LAST_DEPLOY..HEAD CHANGELOG.md fi echo ## 本次更新内容 $GITHUB_STEP_SUMMARY cat CHANGELOG.md $GITHUB_STEP_SUMMARY6. 故障排除与优化建议在实际使用中你可能会遇到一些问题。这里我总结了一些常见问题的解决方法。6.1 常见问题与解决方案问题可能原因解决方案SSH连接失败密钥配置错误、防火墙限制检查密钥权限、确认服务器防火墙开放22端口Git pull失败本地修改冲突、权限不足先备份再强制重置git reset --hard origin/main服务启动失败端口被占用、依赖缺失检查端口占用、验证requirements.txt完整性模型加载慢首次下载模型、网络问题提前缓存模型、使用国内镜像源内存不足图片太大、并发过多限制图片大小、添加处理队列6.2 性能优化建议使用Docker镜像缓存如果使用Docker可以构建基础镜像包含所有依赖增量更新只更新变化的文件而不是每次都全量拉取并行部署如果有多个服务器可以并行部署减少停机时间蓝绿部署准备两套环境切换流量实现零停机更新6.3 监控与告警部署完成后建议添加监控确保服务稳定# 监控脚本monitor_youtu.sh #!/bin/bash # 检查服务状态 SERVICE_STATUS$(supervisorctl status youtu-parsing | awk {print $2}) if [ $SERVICE_STATUS ! RUNNING ]; then echo ❌ Youtu-Parsing服务异常: $SERVICE_STATUS # 发送告警通知 curl -X POST -H Content-type: application/json \ --data {\text\:\Youtu-Parsing服务异常: $SERVICE_STATUS\} \ $SLACK_WEBHOOK_URL exit 1 fi # 检查端口响应 if ! curl -f -s -o /dev/null http://localhost:7860; then echo ❌ Youtu-Parsing端口无响应 # 尝试重启 supervisorctl restart youtu-parsing exit 1 fi # 检查日志错误 ERROR_COUNT$(tail -100 /var/log/supervisor/youtu-parsing-stderr.log | grep -c ERROR\|Exception) if [ $ERROR_COUNT -gt 10 ]; then echo ⚠️ Youtu-Parsing日志中有较多错误: $ERROR_COUNT fi echo ✅ Youtu-Parsing服务运行正常设置定时任务每分钟运行一次# 添加crontab * * * * * /root/scripts/monitor_youtu.sh /var/log/youtu-monitor.log 217. 总结通过这套CI/CD流水线Youtu-Parsing的部署更新从原来的手动操作变成了完全自动化。现在我们的工作流程是这样的本地开发在feature分支上开发新功能提交代码推送到GitHub自动触发测试代码审查创建Pull Request团队成员review合并部署合并到main分支自动部署到服务器监控告警系统自动监控服务状态异常时告警7.1 带来的好处效率提升部署时间从10分钟缩短到2分钟错误减少自动化流程避免了人为操作失误可追溯每次部署都有完整的日志记录快速回滚出现问题可以一键回滚到上一个版本团队协作多人开发时不会互相影响7.2 下一步优化方向如果你已经实现了基础功能还可以考虑添加代码质量检查集成flake8、black等工具自动格式化代码安全扫描在CI流程中加入安全漏洞扫描自动化测试添加更多单元测试和集成测试多服务器部署支持同时部署到多台服务器数据库备份部署前自动备份数据库7.3 开始行动如果你也想为你的Youtu-Parsing项目添加CI/CD我建议从小开始先实现最基本的自动部署再逐步添加高级功能充分测试在测试环境验证流程再应用到生产环境文档化记录整个配置过程方便团队其他成员理解监控反馈部署后密切关注服务状态及时调整自动化部署不是一蹴而就的而是一个持续改进的过程。但一旦搭建起来你会发现它带来的效率提升和错误减少是非常值得的。现在当你的团队需要更新Youtu-Parsing时只需要简单的一句代码已经合并了剩下的就交给自动化流程吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Youtu-ParsingCI/CD集成：Git变更→自动测试→supervisor更新一键发布
Youtu-Parsing CI/CD集成Git变更→自动测试→supervisor更新一键发布1. 引言从手动更新到自动化发布的烦恼如果你用过Youtu-Parsing这个文档解析模型肯定遇到过这样的场景代码改了几行想要更新到服务器上结果得手动登录服务器、拉取代码、重启服务还要担心会不会影响正在运行的任务。更麻烦的是如果多人协作开发谁改了代码、什么时候部署的、有没有测试过这些信息都很难追踪。我最近给团队的Youtu-Parsing项目搭建了一套CI/CD流水线实现了从代码提交到服务更新的全自动化。现在只要在GitHub上提交代码系统就会自动测试、自动部署服务无缝重启整个过程完全不需要人工干预。这篇文章就带你一步步搭建这套系统让你也能享受“代码一提交服务自动更新”的丝滑体验。2. Youtu-Parsing项目回顾为什么需要自动化在开始搭建CI/CD之前我们先快速回顾一下Youtu-Parsing项目的基本情况这样你才能理解自动化部署到底解决了哪些实际问题。2.1 项目特点与部署痛点Youtu-Parsing是腾讯优图实验室推出的多模态文档解析模型它有几个核心特点全要素解析能识别文本、表格、公式、图表、印章、手写体几乎覆盖了所有文档元素像素级定位每个元素的位置都精确框出来这对于需要保留原始布局的场景特别有用结构化输出解析结果可以直接转成干净的文本、JSON或Markdown格式方便后续的RAG应用双并行加速采用Token并行和查询并行技术解析速度比传统方法快5-11倍但正是这些强大的功能也让部署和维护变得复杂服务依赖多需要Python环境、HuggingFace模型、supervisor进程管理启动时间长模型首次加载需要1-2分钟重启服务会影响用户体验配置复杂涉及WebUI端口、模型缓存路径、输出目录等多个配置项更新频繁随着文档解析需求的多样化代码需要不断优化和更新2.2 传统手动更新的“七宗罪”在没有自动化之前我们团队更新Youtu-Parsing服务是这样的流程# 1. 登录服务器 ssh rootyour-server-ip # 2. 进入项目目录 cd /root/Youtu-Parsing # 3. 拉取最新代码 git pull origin main # 4. 清理缓存防止旧代码影响 find . -name *.pyc -delete find . -name __pycache__ -type d -exec rm -rf {} # 5. 安装新依赖如果有 pip install -r requirements.txt # 6. 重启服务 supervisorctl restart youtu-parsing # 7. 查看日志确认启动成功 tail -f /var/log/supervisor/youtu-parsing-stdout.log这个过程看起来简单但实际上问题一大堆容易出错手动操作难免打错命令特别是半夜紧急修复的时候没有测试代码更新前没有自动测试可能把bug带到生产环境影响服务重启期间服务不可用如果有用户正在解析文档就会失败没有记录谁在什么时候更新了什么代码全靠记忆和聊天记录无法回滚如果新代码有问题要手动找回旧版本过程繁琐3. CI/CD方案设计GitHub Actions Supervisor的完美组合为了解决这些问题我设计了一套基于GitHub Actions和Supervisor的CI/CD方案。整个流程是这样的代码提交 → 自动测试 → 服务器部署 → 服务重启 → 健康检查3.1 技术选型与架构为什么选择GitHub Actions因为它有几个明显的优势完全免费对于开源项目GitHub Actions提供充足的免费额度集成简单直接在仓库里添加配置文件就行不需要额外搭建CI服务器生态丰富有大量的预置Action可以直接使用触发灵活可以按分支、标签、定时等多种方式触发整个架构分为三个部分组件作用配置位置GitHub仓库代码存储和版本管理你的Youtu-Parsing项目GitHub Actions自动化测试和部署.github/workflows/deploy.yml服务器端运行Youtu-Parsing服务你的VPS或云服务器3.2 工作流程详解当你在本地开发并提交代码后整个自动化流程是这样的触发条件代码推送到main分支或者创建Pull Request运行测试在GitHub的虚拟机上运行单元测试和集成测试连接服务器通过SSH连接到你的部署服务器拉取代码在服务器上执行git pull获取最新代码更新依赖检查并安装新的Python包重启服务通过supervisorctl重启Youtu-Parsing服务健康检查验证服务是否正常启动通知结果通过邮件、Slack或钉钉通知部署结果4. 实战搭建一步步配置自动化部署下面我就带你从头开始搭建这套系统。整个过程大概需要30分钟完成后你就再也不用手动更新服务了。4.1 准备工作服务器和GitHub配置在开始之前你需要准备好以下几样东西运行Youtu-Parsing的服务器可以是云服务器、VPS甚至是你本地的一台机器GitHub仓库把你的Youtu-Parsing代码放到GitHub上SSH密钥对用于GitHub Actions连接服务器生成SSH密钥在服务器上生成专用的部署密钥# 在服务器上执行 ssh-keygen -t ed25519 -C github-actions-deploy-key # 一路回车使用默认设置 # 密钥会生成在 ~/.ssh/id_ed25519 和 ~/.ssh/id_ed25519.pub配置服务器SSH访问把公钥添加到服务器的授权列表# 查看公钥内容 cat ~/.ssh/id_ed25519.pub # 把输出的内容添加到 ~/.ssh/authorized_keys echo 你的公钥内容 ~/.ssh/authorized_keys # 设置正确的权限 chmod 600 ~/.ssh/authorized_keys chmod 700 ~/.ssh配置GitHub仓库密钥接下来需要在GitHub仓库中添加两个密钥DEPLOY_KEY服务器的私钥用于GitHub Actions连接服务器KNOWN_HOSTS服务器的SSH指纹用于验证服务器身份获取服务器SSH指纹# 在服务器上执行 ssh-keyscan your-server-ip # 会输出类似这样的内容 # your-server-ip ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC...然后在GitHub仓库的设置页面找到Secrets and variables → Actions添加DEPLOY_KEYid_ed25519文件的内容私钥KNOWN_HOSTS上面ssh-keyscan命令的输出4.2 创建GitHub Actions工作流在你的Youtu-Parsing项目根目录创建.github/workflows/deploy.yml文件name: Deploy Youtu-Parsing on: push: branches: [ main ] pull_request: branches: [ main ] jobs: test: runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkoutv3 - name: Set up Python uses: actions/setup-pythonv4 with: python-version: 3.9 - name: Install dependencies run: | python -m pip install --upgrade pip pip install -r requirements.txt pip install pytest - name: Run tests run: | # 这里添加你的测试命令 # 比如pytest tests/ -v echo Tests passed! deploy: needs: test if: github.event_name push github.ref refs/heads/main runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkoutv3 - name: Deploy to server uses: appleboy/ssh-actionv0.1.5 with: host: ${{ secrets.SERVER_HOST }} username: ${{ secrets.SERVER_USER }} key: ${{ secrets.DEPLOY_KEY }} port: ${{ secrets.SERVER_PORT }} script: | # 进入项目目录 cd /root/Youtu-Parsing # 拉取最新代码 git pull origin main # 清理Python缓存 find . -name *.pyc -delete find . -name __pycache__ -type d -exec rm -rf {} # 检查是否需要更新依赖 pip install -r requirements.txt # 重启Youtu-Parsing服务 supervisorctl restart youtu-parsing # 等待服务启动 sleep 10 # 检查服务状态 supervisorctl status youtu-parsing # 健康检查尝试访问WebUI curl -f http://localhost:7860 || exit 1 - name: Send notification if: always() uses: 8398a7/action-slackv3 with: status: ${{ job.status }} channel: #deployments author_name: GitHub Actions Bot env: SLACK_WEBHOOK_URL: ${{ secrets.SLACK_WEBHOOK_URL }}这个配置文件做了几件事触发条件当代码推送到main分支时自动运行测试阶段先运行测试确保代码质量部署阶段只有测试通过且是main分支的推送才会部署服务器操作连接服务器、更新代码、重启服务健康检查验证服务是否正常启动通知发送部署结果到Slack可选4.3 添加测试用例可选但推荐虽然Youtu-Parsing是一个AI模型服务但我们仍然可以添加一些基本的测试来确保部署不会出大问题。在项目根目录创建tests/test_basic.pyimport sys import os # 添加项目根目录到Python路径 sys.path.insert(0, os.path.dirname(os.path.dirname(__file__))) def test_imports(): 测试基本导入是否正常 try: # 测试核心模块能否导入 import webui print(✓ webui模块导入成功) # 测试配置是否存在 from config import settings print(✓ 配置模块导入成功) return True except ImportError as e: print(f✗ 导入失败: {e}) return False def test_paths(): 测试关键路径是否存在 required_paths [ /root/Youtu-Parsing/outputs, /root/Youtu-Parsing/hf_cache, /etc/supervisor/conf.d/youtu-parsing.conf ] all_exist True for path in required_paths: if os.path.exists(path): print(f✓ 路径存在: {path}) else: print(f✗ 路径不存在: {path}) all_exist False return all_exist def test_supervisor_config(): 测试supervisor配置是否正确 config_path /etc/supervisor/conf.d/youtu-parsing.conf try: with open(config_path, r) as f: content f.read() # 检查关键配置项 required_configs [ autostarttrue, autorestarttrue, commandpython webui.py, stdout_logfile/var/log/supervisor/youtu-parsing-stdout.log ] all_found True for config in required_configs: if config in content: print(f✓ 配置项存在: {config}) else: print(f✗ 配置项缺失: {config}) all_found False return all_found except FileNotFoundError: print(f✗ 配置文件不存在: {config_path}) return False if __name__ __main__: print(运行Youtu-Parsing基础测试...) print(- * 50) results [] results.append(test_imports()) results.append(test_paths()) results.append(test_supervisor_config()) print(- * 50) if all(results): print(✅ 所有测试通过) sys.exit(0) else: print(❌ 部分测试失败) sys.exit(1)然后在GitHub Actions配置中更新测试步骤- name: Run tests run: | python tests/test_basic.py4.4 优化部署脚本处理常见问题在实际使用中我发现直接重启服务有时候会遇到问题比如端口被占用、模型加载失败等。所以我对部署脚本做了优化#!/bin/bash # deploy.sh - 优化的部署脚本 set -e # 遇到错误立即退出 echo 开始部署 Youtu-Parsing... # 1. 进入项目目录 cd /root/Youtu-Parsing || { echo ❌ 无法进入项目目录 exit 1 } # 2. 备份当前代码用于回滚 BACKUP_DIR/tmp/youtu-parsing-backup-$(date %Y%m%d-%H%M%S) mkdir -p $BACKUP_DIR cp -r . $BACKUP_DIR/ 2/dev/null || true echo 代码已备份到: $BACKUP_DIR # 3. 拉取最新代码 echo ⬇️ 拉取最新代码... git fetch origin git reset --hard origin/main # 4. 清理缓存 echo 清理Python缓存... find . -name *.pyc -delete find . -name __pycache__ -type d -exec rm -rf {} 2/dev/null || true # 5. 更新依赖 echo 检查依赖更新... if [ -f requirements.txt ]; then pip install -r requirements.txt --upgrade fi # 6. 检查端口占用 echo 检查端口占用... if lsof -ti:7860 /dev/null 21; then echo ⚠️ 端口7860被占用尝试优雅停止服务... supervisorctl stop youtu-parsing sleep 5 # 如果supervisor停止失败强制杀死进程 if lsof -ti:7860 /dev/null 21; then echo ⚠️ 强制结束占用进程... lsof -ti:7860 | xargs kill -9 2/dev/null || true sleep 2 fi fi # 7. 重启服务 echo 重启服务... supervisorctl restart youtu-parsing # 8. 等待服务启动 echo ⏳ 等待服务启动... MAX_WAIT60 WAITED0 while [ $WAITED -lt $MAX_WAIT ]; do if supervisorctl status youtu-parsing | grep -q RUNNING; then echo ✅ 服务运行正常 break fi echo 等待服务启动... ($((WAITED1))/$MAX_WAIT 秒) sleep 1 WAITED$((WAITED1)) done if [ $WAITED -ge $MAX_WAIT ]; then echo ❌ 服务启动超时 echo 查看日志... tail -20 /var/log/supervisor/youtu-parsing-stderr.log || true exit 1 fi # 9. 健康检查 echo 执行健康检查... sleep 5 # 给服务一些时间完全启动 if curl -f -s -o /dev/null -w %{http_code} http://localhost:7860 | grep -q 200; then echo ✅ 健康检查通过 else echo ❌ 健康检查失败 echo 尝试回滚到备份版本... # 回滚到备份 cd /root rm -rf Youtu-Parsing cp -r $BACKUP_DIR Youtu-Parsing cd Youtu-Parsing supervisorctl restart youtu-parsing echo 已回滚到备份版本 exit 1 fi # 10. 清理旧备份保留最近3个 echo 清理旧备份... ls -dt /tmp/youtu-parsing-backup-* | tail -n 4 | xargs rm -rf 2/dev/null || true echo 部署完成 echo 服务地址: http://$(curl -s ifconfig.me):7860然后在GitHub Actions中使用这个脚本- name: Deploy to server uses: appleboy/ssh-actionv0.1.5 with: host: ${{ secrets.SERVER_HOST }} username: ${{ secrets.SERVER_USER }} key: ${{ secrets.DEPLOY_KEY }} port: ${{ secrets.SERVER_PORT }} script: | # 上传部署脚本 cat /tmp/deploy_youtu.sh EOF # 上面部署脚本的内容 EOF # 执行部署 bash /tmp/deploy_youtu.sh5. 高级功能让CI/CD更智能基础功能搭建好后我们可以添加一些高级功能让整个流程更加智能和可靠。5.1 数据库迁移自动化如果Youtu-Parsing使用了数据库比如记录解析历史我们可以在部署时自动处理数据库迁移# 在部署脚本中添加数据库迁移 echo ️ 检查数据库迁移... if [ -f alembic.ini ]; then echo 执行数据库迁移... alembic upgrade head elif [ -f migrations/ ]; then echo 执行Flask-Migrate迁移... flask db upgrade fi5.2 性能测试与监控部署后自动运行性能测试确保新版本不会降低解析速度# performance_test.py import requests import time import statistics def test_parsing_speed(image_path): 测试单张图片解析速度 with open(image_path, rb) as f: files {file: f} start_time time.time() response requests.post(http://localhost:7860/parse, filesfiles) end_time time.time() if response.status_code 200: return end_time - start_time else: return None def run_performance_test(): 运行性能测试套件 test_images [ test_images/simple_text.jpg, test_images/complex_table.png, test_images/math_formula.jpg ] results [] for image in test_images: print(f测试 {image}...) speed test_parsing_speed(image) if speed: results.append(speed) print(f 解析时间: {speed:.2f}秒) else: print(f 解析失败) if results: avg_speed statistics.mean(results) print(f\n平均解析时间: {avg_speed:.2f}秒) # 如果性能下降超过20%发出警告 baseline 3.0 # 基准解析时间 if avg_speed baseline * 1.2: print(⚠️ 警告解析性能下降超过20%) return False return True在GitHub Actions中添加性能测试- name: Performance test run: | # 等待服务完全启动 sleep 30 # 运行性能测试 python tests/performance_test.py if [ $? -ne 0 ]; then echo ❌ 性能测试失败 exit 1 fi5.3 多环境部署对于更复杂的项目你可能需要多环境部署开发、测试、生产# .github/workflows/deploy.yml name: Deploy Youtu-Parsing on: push: branches: - main # 推送到main - 生产环境 - staging # 推送到staging - 测试环境 jobs: deploy: runs-on: ubuntu-latest strategy: matrix: environment: [staging, production] include: - environment: staging branch: staging server: ${{ secrets.STAGING_SERVER }} port: 7861 - environment: production branch: main server: ${{ secrets.PRODUCTION_SERVER }} port: 7860 steps: - name: Checkout code uses: actions/checkoutv3 - name: Deploy to ${{ matrix.environment }} if: github.ref refs/heads/${{ matrix.branch }} uses: appleboy/ssh-actionv0.1.5 with: host: ${{ matrix.server }} username: ${{ secrets.SERVER_USER }} key: ${{ secrets.DEPLOY_KEY }} script: | # 根据环境选择配置 if [ ${{ matrix.environment }} production ]; then CONFIG_FILEconfig/production.py PORT7860 else CONFIG_FILEconfig/staging.py PORT7861 fi # 部署逻辑...5.4 自动生成变更日志每次部署时自动生成变更日志方便追踪更新内容- name: Generate changelog run: | # 获取上次部署的commit LAST_DEPLOY$(curl -s https://api.github.com/repos/${{ github.repository }}/deployments | \ jq -r .[0].sha 2/dev/null || echo ) if [ -z $LAST_DEPLOY ]; then # 第一次部署获取所有commit git log --oneline -n 20 CHANGELOG.md else # 获取上次部署后的commit git log --oneline $LAST_DEPLOY..HEAD CHANGELOG.md fi echo ## 本次更新内容 $GITHUB_STEP_SUMMARY cat CHANGELOG.md $GITHUB_STEP_SUMMARY6. 故障排除与优化建议在实际使用中你可能会遇到一些问题。这里我总结了一些常见问题的解决方法。6.1 常见问题与解决方案问题可能原因解决方案SSH连接失败密钥配置错误、防火墙限制检查密钥权限、确认服务器防火墙开放22端口Git pull失败本地修改冲突、权限不足先备份再强制重置git reset --hard origin/main服务启动失败端口被占用、依赖缺失检查端口占用、验证requirements.txt完整性模型加载慢首次下载模型、网络问题提前缓存模型、使用国内镜像源内存不足图片太大、并发过多限制图片大小、添加处理队列6.2 性能优化建议使用Docker镜像缓存如果使用Docker可以构建基础镜像包含所有依赖增量更新只更新变化的文件而不是每次都全量拉取并行部署如果有多个服务器可以并行部署减少停机时间蓝绿部署准备两套环境切换流量实现零停机更新6.3 监控与告警部署完成后建议添加监控确保服务稳定# 监控脚本monitor_youtu.sh #!/bin/bash # 检查服务状态 SERVICE_STATUS$(supervisorctl status youtu-parsing | awk {print $2}) if [ $SERVICE_STATUS ! RUNNING ]; then echo ❌ Youtu-Parsing服务异常: $SERVICE_STATUS # 发送告警通知 curl -X POST -H Content-type: application/json \ --data {\text\:\Youtu-Parsing服务异常: $SERVICE_STATUS\} \ $SLACK_WEBHOOK_URL exit 1 fi # 检查端口响应 if ! curl -f -s -o /dev/null http://localhost:7860; then echo ❌ Youtu-Parsing端口无响应 # 尝试重启 supervisorctl restart youtu-parsing exit 1 fi # 检查日志错误 ERROR_COUNT$(tail -100 /var/log/supervisor/youtu-parsing-stderr.log | grep -c ERROR\|Exception) if [ $ERROR_COUNT -gt 10 ]; then echo ⚠️ Youtu-Parsing日志中有较多错误: $ERROR_COUNT fi echo ✅ Youtu-Parsing服务运行正常设置定时任务每分钟运行一次# 添加crontab * * * * * /root/scripts/monitor_youtu.sh /var/log/youtu-monitor.log 217. 总结通过这套CI/CD流水线Youtu-Parsing的部署更新从原来的手动操作变成了完全自动化。现在我们的工作流程是这样的本地开发在feature分支上开发新功能提交代码推送到GitHub自动触发测试代码审查创建Pull Request团队成员review合并部署合并到main分支自动部署到服务器监控告警系统自动监控服务状态异常时告警7.1 带来的好处效率提升部署时间从10分钟缩短到2分钟错误减少自动化流程避免了人为操作失误可追溯每次部署都有完整的日志记录快速回滚出现问题可以一键回滚到上一个版本团队协作多人开发时不会互相影响7.2 下一步优化方向如果你已经实现了基础功能还可以考虑添加代码质量检查集成flake8、black等工具自动格式化代码安全扫描在CI流程中加入安全漏洞扫描自动化测试添加更多单元测试和集成测试多服务器部署支持同时部署到多台服务器数据库备份部署前自动备份数据库7.3 开始行动如果你也想为你的Youtu-Parsing项目添加CI/CD我建议从小开始先实现最基本的自动部署再逐步添加高级功能充分测试在测试环境验证流程再应用到生产环境文档化记录整个配置过程方便团队其他成员理解监控反馈部署后密切关注服务状态及时调整自动化部署不是一蹴而就的而是一个持续改进的过程。但一旦搭建起来你会发现它带来的效率提升和错误减少是非常值得的。现在当你的团队需要更新Youtu-Parsing时只需要简单的一句代码已经合并了剩下的就交给自动化流程吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
