Realistic Vision V5.1 虚拟摄影棚Ubuntu服务器生产环境高可用部署架构1. 引言想象一下你的团队需要为电商平台批量生成高质量的商品展示图或者为营销活动快速制作风格统一的宣传素材。手动操作费时费力而一个不稳定的AI绘图服务关键时刻掉链子更是让人头疼。这时候一个能稳定运行、能扛住高并发、并且能持续提供高质量图片生成服务的“虚拟摄影棚”就成了刚需。Realistic Vision V5.1 在生成写实人像方面表现非常出色但要把它从个人玩具变成企业级的生产力工具单机部署是远远不够的。今天我们就来聊聊如何在Ubuntu服务器上为Realistic Vision V5.1搭建一套高可用的生产环境架构。这套方案的核心目标就三个稳定、高效、易扩展。我们会用到Nginx做流量分发用多GPU节点来并行处理任务用Redis来缓存结果加速访问再配上完善的监控和日志系统确保整个服务坚如磐石。无论你是公司的运维工程师还是负责技术选型的负责人这篇文章都会手把手带你走通从零到一的部署过程。我们不只讲命令更会解释为什么这么做帮你构建一个真正能用于实际业务的生产级AI绘图服务。2. 架构设计与核心组件在开始敲命令之前我们先花几分钟看看整个架构长什么样理解各个部件是怎么协同工作的。这能帮你避免“只见树木不见森林”的困惑。2.1 整体架构俯瞰我们的目标架构是一个典型的分层、分布式系统主要分为四层接入层由Nginx构成它是流量的总入口。所有用户的图片生成请求都先发到这里。Nginx的核心工作有两个一是作为反向代理把请求转发给后端的应用服务二是做负载均衡把大量的请求均匀地分发给后端的多个服务实例防止单个实例被压垮。应用服务层这是运行业务逻辑的核心。我们会在多台服务器或单台服务器的多个容器上部署Realistic Vision V5.1的推理API服务比如使用FastAPI或Gradio封装的接口。每个服务实例都可以利用所在服务器的GPU进行图片生成。缓存与队列层我们引入Redis。它在这里扮演两个关键角色一是作为缓存存储近期生成的热门图片结果当同样的请求再次到来时直接返回无需重复计算极大提升响应速度二是作为任务队列可选在任务量极大时可以对请求进行缓冲和排队平滑后端处理压力。存储与监控层生成的图片文件需要持久化存储通常会使用对象存储如MinIO或网络文件系统NFS。同时我们需要部署监控系统如PrometheusGrafana来收集服务器和应用的各项指标GPU使用率、内存、请求延迟等并配置集中式的日志收集如ELK栈方便问题排查。2.2 为什么选择这些组件Ubuntu Server长期支持LTS版本稳定社区支持完善对NVIDIA GPU驱动和Docker的支持非常好是生产环境的常见选择。Nginx轻量、高性能、高并发负载均衡算法丰富轮询、权重、IP哈希等配置简单是经过无数验证的网关组件。Docker Docker Compose容器化部署能确保环境一致性避免“在我机器上是好的”这类问题。Compose可以方便地定义和管理多容器应用简化部署。Redis性能极高的内存数据库读写速度极快非常适合做缓存和简单队列场景。多GPU节点这是提升整体生成能力的根本。通过横向扩展增加服务器或纵向扩展单台服务器多卡实现并行处理缩短用户等待时间。这个架构的优势在于解耦和弹性。每一层都可以独立扩展和升级。流量大了就加Nginx节点或应用节点图片多了就扩容存储想提升缓存效率就调整Redis策略。3. 基础环境与依赖安装好了蓝图有了我们开始动手搭建地基。这里假设你已经有一台或多台安装了Ubuntu 20.04/22.04 LTS的服务器并且拥有sudo权限。3.1 系统更新与基础工具首先登录你的服务器进行系统更新并安装一些必要的工具。# 更新软件包列表并升级现有包 sudo apt update sudo apt upgrade -y # 安装常用工具 sudo apt install -y curl wget git vim htop net-tools3.2 安装NVIDIA驱动与CUDA这是能让Realistic Vision V5.1跑在GPU上的关键一步。推荐使用官方仓库安装兼容性更好。# 添加NVIDIA官方仓库密钥 distribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list # 更新并安装驱动这里安装的是较新的驱动具体版本可根据需要调整 sudo apt update sudo apt install -y nvidia-driver-535 nvidia-container-toolkit # 安装完成后重启服务器 sudo reboot重启后使用nvidia-smi命令验证驱动是否安装成功。你应该能看到GPU的信息。3.3 安装Docker与Docker Compose我们将使用Docker来容器化部署所有服务。# 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 添加Docker仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io # 将当前用户加入docker组避免每次都要sudo sudo usermod -aG docker $USER # 注意需要退出当前终端重新登录此设置才会生效 # 安装Docker Compose插件新方式 sudo apt install -y docker-compose-plugin # 验证安装 docker compose version4. 核心服务部署与配置基础环境就绪现在我们来部署架构中的核心服务。4.1 部署Redis缓存服务我们使用Docker Compose来管理Redis服务。创建一个项目目录比如ai-photo-studio。mkdir -p ~/ai-photo-studio/redis cd ~/ai-photo-studio/redis创建docker-compose.yml文件version: 3.8 services: redis: image: redis:7-alpine container_name: realistic-vision-redis restart: always ports: - 6379:6379 command: redis-server --appendonly yes --requirepass your_strong_password_here # 务必设置强密码 volumes: - ./data:/data healthcheck: test: [CMD, redis-cli, --raw, incr, ping] interval: 10s timeout: 5s retries: 3启动Redisdocker compose up -d使用docker ps检查容器是否运行正常。记住这里的your_strong_password_here后续应用连接Redis时需要。4.2 封装Realistic Vision V5.1 API服务这是最核心的一步。我们需要创建一个Docker镜像里面包含Realistic Vision V5.1模型和提供HTTP API的代码。这里以使用diffusers库和FastAPI为例。在项目根目录创建app/目录mkdir -p ~/ai-photo-studio/app cd ~/ai-photo-studio/app创建应用文件main.py:from fastapi import FastAPI, HTTPException from pydantic import BaseModel from diffusers import StableDiffusionPipeline import torch import redis import hashlib import base64 from io import BytesIO from PIL import Image import json import time app FastAPI(titleRealistic Vision V5.1 API) # 连接Redis缓存 redis_client redis.Redis( hostredis, # Docker Compose服务名 port6379, passwordyour_strong_password_here, # 替换为你的密码 decode_responsesFalse ) # 加载模型假设模型已提前下载到容器内 pipe StableDiffusionPipeline.from_pretrained( /app/models/Realistic_Vision_V5.1, torch_dtypetorch.float16 if torch.cuda.is_available() else torch.float32, ).to(cuda if torch.cuda.is_available() else cpu) class GenerationRequest(BaseModel): prompt: str negative_prompt: str num_inference_steps: int 30 height: int 768 width: int 768 def generate_cache_key(request: GenerationRequest) - str: 根据请求参数生成唯一的缓存键 data f{request.prompt}-{request.negative_prompt}-{request.num_inference_steps}-{request.height}-{request.width} return hashlib.md5(data.encode()).hexdigest() app.post(/generate) async def generate_image(request: GenerationRequest): start_time time.time() # 1. 检查缓存 cache_key generate_cache_key(request) cached_data redis_client.get(cache_key) if cached_data: print(fCache hit for key: {cache_key}) img_data base64.b64decode(cached_data) process_time time.time() - start_time return { status: success, from_cache: True, processing_time: round(process_time, 2), image: base64.b64encode(img_data).decode(utf-8) } # 2. 缓存未命中执行生成 print(fCache miss, generating for key: {cache_key}) try: with torch.autocast(cuda): image pipe( promptrequest.prompt, negative_promptrequest.negative_prompt, num_inference_stepsrequest.num_inference_steps, heightrequest.height, widthrequest.width, ).images[0] # 将PIL Image转换为字节流并Base64编码 buffered BytesIO() image.save(buffered, formatPNG) img_byte buffered.getvalue() img_b64 base64.b64encode(img_byte) # 3. 存入Redis缓存设置1小时过期 redis_client.setex(cache_key, 3600, img_b64) process_time time.time() - start_time return { status: success, from_cache: False, processing_time: round(process_time, 2), image: img_b64.decode(utf-8) } except Exception as e: raise HTTPException(status_code500, detailfGeneration failed: {str(e)}) app.get(/health) async def health_check(): return {status: healthy, gpu_available: torch.cuda.is_available()}创建requirements.txt:fastapi0.104.1 uvicorn[standard]0.24.0 diffusers0.24.0 transformers4.35.2 accelerate0.25.0 torch2.1.0 torchvision0.16.0 redis5.0.1 pillow10.1.0 pydantic2.5.0创建Dockerfile:FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04 WORKDIR /app # 安装系统依赖和Python RUN apt-get update apt-get install -y \ python3-pip \ python3-dev \ git \ rm -rf /var/lib/apt/lists/* # 复制依赖文件并安装 COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt # 复制应用代码 COPY . . # 提前下载模型这里需要你有权访问该模型或从其他源获取 # 注意模型文件很大构建镜像可能很慢。生产环境建议将模型放在数据卷中。 # RUN git lfs install git clone https://huggingface.co/SG161222/Realistic_Vision_V5.1_noVAE /app/models/Realistic_Vision_V5.1 # 暴露端口 EXPOSE 8000 # 启动命令 CMD [uvicorn, main:app, --host, 0.0.0.0, --port, 8000, --workers, 1]重要提示直接将大模型放在Docker镜像里会导致镜像巨大。更好的做法是将模型文件放在宿主机的共享存储如NFS上然后通过Docker卷volume挂载到容器内的/app/models路径。或者在容器启动后通过初始化脚本从安全的对象存储中下载模型。创建应用服务的docker-compose.yml(位于~/ai-photo-studio/app):version: 3.8 services: ai-service-1: build: . container_name: realistic-vision-service-1 restart: always deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ports: - 8001:8000 # 将宿主机的8001端口映射到容器的8000端口 environment: - REDIS_HOSTredis - REDIS_PASSWORDyour_strong_password_here volumes: # 假设模型已下载到宿主机的 /data/models/Realistic_Vision_V5.1 目录 - /data/models/Realistic_Vision_V5.1:/app/models/Realistic_Vision_V5.1 depends_on: - redis networks: - ai-network ai-service-2: build: . container_name: realistic-vision-service-2 restart: always deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ports: - 8002:8000 # 第二个服务实例映射到8002端口 environment: - REDIS_HOSTredis - REDIS_PASSWORDyour_strong_password_here volumes: - /data/models/Realistic_Vision_V5.1:/app/models/Realistic_Vision_V5.1 depends_on: - redis networks: - ai-network networks: ai-network: external: true # 使用外部网络确保能与redis服务通信你需要先创建一个Docker网络docker network create ai-network并确保Redis服务也连接到了这个网络。在app目录下运行docker compose up -d --build来构建并启动两个服务实例。4.3 配置Nginx负载均衡现在我们有了两个运行在8001和8002端口的AI服务实例。接下来用Nginx把它们统一成一个入口。在服务器上安装Nginxsudo apt install -y nginx创建Nginx配置文件/etc/nginx/sites-available/ai-studioupstream ai_backend { # 负载均衡后端服务器列表 # 这里配置的是本机上的两个Docker服务如果是多台服务器则填写其他服务器的IP和端口 server 127.0.0.1:8001 max_fails3 fail_timeout30s; server 127.0.0.1:8002 max_fails3 fail_timeout30s; # 可以添加更多服务器... # server 192.168.1.101:8000; # server 192.168.1.102:8000; } server { listen 80; # 如果你的域名是 ai-studio.yourcompany.com则替换下面的 _ server_name _; # 客户端请求体大小限制用于上传大的Base64图片数据 client_max_body_size 20M; location / { proxy_pass http://ai_backend; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 超时设置 proxy_connect_timeout 300s; proxy_send_timeout 300s; proxy_read_timeout 300s; # 图片生成可能需要较长时间 } # 健康检查端点 location /health { proxy_pass http://ai_backend/health; access_log off; } }启用该配置并重启Nginxsudo ln -s /etc/nginx/sites-available/ai-studio /etc/nginx/sites-enabled/ sudo nginx -t # 测试配置语法 sudo systemctl restart nginx现在所有发送到服务器80端口的/generate请求都会被Nginx轮询转发到后端的两个AI服务实例上。5. 监控、日志与高可用保障服务跑起来了但我们怎么知道它是否健康出了问题怎么查这一部分就是为系统装上“眼睛”和“耳朵”。5.1 基础系统监控使用htop、nvidia-smi、docker stats可以临时查看状态。但对于生产环境建议部署Prometheus Grafana。Node Exporter部署在每台服务器上收集硬件和系统指标。cAdvisor或 Docker 自带的 metrics 接口收集容器指标。Prometheus定时抓取并存储这些指标。Grafana从 Prometheus 读取数据绘制成直观的仪表盘。你可以搜索“Prometheus Grafana Docker compose”找到现成的编排文件快速搭建一套监控系统。关键监控项包括各服务器的CPU/内存/磁盘使用率、各容器的CPU/内存使用率、GPU利用率、GPU显存使用率、Nginx的请求率/延迟/错误率。5.2 应用日志收集Docker容器默认的日志驱动是json-file我们可以用docker logs查看。但在多节点环境下集中管理日志更方便。一个简单的方法是使用Docker的logging驱动将日志发送到远程的Syslog服务器或直接配置日志卷。更成熟的方案是使用ELK Stack(Elasticsearch, Logstash, Kibana) 或Loki。这里提供一个使用Docker Compose管理日志的简单示例将日志写入宿主机的特定目录并定期轮转修改AI服务的docker-compose.yml为每个服务添加日志配置services: ai-service-1: # ... 其他配置 ... logging: driver: json-file options: max-size: 10m max-file: 3 tag: ai-service-1 # 给日志打上标签便于区分然后可以在宿主机上使用logrotate工具来管理这些日志文件。5.3 高可用性策略Nginx高可用单台Nginx是单点故障。可以使用Keepalived实现Nginx的双机主备共享一个虚拟IPVIP。当主机宕机时备机自动接管VIP。Redis高可用我们之前部署的是单机Redis。生产环境建议使用Redis Sentinel或Redis Cluster模式实现主从复制和自动故障转移。存储高可用用于存放模型和生成图片的存储应使用高可用方案如分布式文件系统Ceph, GlusterFS或云服务商提供的对象存储S3兼容。服务健康检查与自愈Docker Compose的restart: always策略可以在容器意外退出时重启它。结合监控系统可以设置当某个服务实例健康检查连续失败时自动在另一台健康的节点上拉起新的实例。6. 测试与验证架构部署完成后必须进行全面测试。功能测试使用curl或 Postman 向Nginx的IP地址发送生成请求。curl -X POST http://你的服务器IP/generate \ -H Content-Type: application/json \ -d {prompt: a professional photo of a smiling woman in business attire, studio lighting, num_inference_steps: 25}观察返回结果是否包含图片的Base64数据。负载均衡测试连续发送多个请求查看Nginx的访问日志sudo tail -f /var/log/nginx/access.log确认请求被均匀分配到ai-service-1和ai-service-2对应的后端端口8001, 8002。缓存测试连续发送两次完全相同的请求。第一次应该from_cache: false处理时间较长第二次应该from_cache: true处理时间极短毫秒级。压力测试使用工具如wrk或ab进行简单的并发测试观察系统负载和响应情况。ab -n 100 -c 10 -p data.json -T application/json http://你的服务器IP/generate注意data.json文件包含你的请求体故障模拟手动停止一个AI服务容器docker stop realistic-vision-service-1然后继续发送请求。服务应该能继续工作由另一个实例处理并且Nginx的健康检查机制应该能检测到故障节点并将其从后端列表中暂时移除。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Realistic Vision V5.1 虚拟摄影棚：Ubuntu服务器生产环境高可用部署架构
Realistic Vision V5.1 虚拟摄影棚Ubuntu服务器生产环境高可用部署架构1. 引言想象一下你的团队需要为电商平台批量生成高质量的商品展示图或者为营销活动快速制作风格统一的宣传素材。手动操作费时费力而一个不稳定的AI绘图服务关键时刻掉链子更是让人头疼。这时候一个能稳定运行、能扛住高并发、并且能持续提供高质量图片生成服务的“虚拟摄影棚”就成了刚需。Realistic Vision V5.1 在生成写实人像方面表现非常出色但要把它从个人玩具变成企业级的生产力工具单机部署是远远不够的。今天我们就来聊聊如何在Ubuntu服务器上为Realistic Vision V5.1搭建一套高可用的生产环境架构。这套方案的核心目标就三个稳定、高效、易扩展。我们会用到Nginx做流量分发用多GPU节点来并行处理任务用Redis来缓存结果加速访问再配上完善的监控和日志系统确保整个服务坚如磐石。无论你是公司的运维工程师还是负责技术选型的负责人这篇文章都会手把手带你走通从零到一的部署过程。我们不只讲命令更会解释为什么这么做帮你构建一个真正能用于实际业务的生产级AI绘图服务。2. 架构设计与核心组件在开始敲命令之前我们先花几分钟看看整个架构长什么样理解各个部件是怎么协同工作的。这能帮你避免“只见树木不见森林”的困惑。2.1 整体架构俯瞰我们的目标架构是一个典型的分层、分布式系统主要分为四层接入层由Nginx构成它是流量的总入口。所有用户的图片生成请求都先发到这里。Nginx的核心工作有两个一是作为反向代理把请求转发给后端的应用服务二是做负载均衡把大量的请求均匀地分发给后端的多个服务实例防止单个实例被压垮。应用服务层这是运行业务逻辑的核心。我们会在多台服务器或单台服务器的多个容器上部署Realistic Vision V5.1的推理API服务比如使用FastAPI或Gradio封装的接口。每个服务实例都可以利用所在服务器的GPU进行图片生成。缓存与队列层我们引入Redis。它在这里扮演两个关键角色一是作为缓存存储近期生成的热门图片结果当同样的请求再次到来时直接返回无需重复计算极大提升响应速度二是作为任务队列可选在任务量极大时可以对请求进行缓冲和排队平滑后端处理压力。存储与监控层生成的图片文件需要持久化存储通常会使用对象存储如MinIO或网络文件系统NFS。同时我们需要部署监控系统如PrometheusGrafana来收集服务器和应用的各项指标GPU使用率、内存、请求延迟等并配置集中式的日志收集如ELK栈方便问题排查。2.2 为什么选择这些组件Ubuntu Server长期支持LTS版本稳定社区支持完善对NVIDIA GPU驱动和Docker的支持非常好是生产环境的常见选择。Nginx轻量、高性能、高并发负载均衡算法丰富轮询、权重、IP哈希等配置简单是经过无数验证的网关组件。Docker Docker Compose容器化部署能确保环境一致性避免“在我机器上是好的”这类问题。Compose可以方便地定义和管理多容器应用简化部署。Redis性能极高的内存数据库读写速度极快非常适合做缓存和简单队列场景。多GPU节点这是提升整体生成能力的根本。通过横向扩展增加服务器或纵向扩展单台服务器多卡实现并行处理缩短用户等待时间。这个架构的优势在于解耦和弹性。每一层都可以独立扩展和升级。流量大了就加Nginx节点或应用节点图片多了就扩容存储想提升缓存效率就调整Redis策略。3. 基础环境与依赖安装好了蓝图有了我们开始动手搭建地基。这里假设你已经有一台或多台安装了Ubuntu 20.04/22.04 LTS的服务器并且拥有sudo权限。3.1 系统更新与基础工具首先登录你的服务器进行系统更新并安装一些必要的工具。# 更新软件包列表并升级现有包 sudo apt update sudo apt upgrade -y # 安装常用工具 sudo apt install -y curl wget git vim htop net-tools3.2 安装NVIDIA驱动与CUDA这是能让Realistic Vision V5.1跑在GPU上的关键一步。推荐使用官方仓库安装兼容性更好。# 添加NVIDIA官方仓库密钥 distribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list # 更新并安装驱动这里安装的是较新的驱动具体版本可根据需要调整 sudo apt update sudo apt install -y nvidia-driver-535 nvidia-container-toolkit # 安装完成后重启服务器 sudo reboot重启后使用nvidia-smi命令验证驱动是否安装成功。你应该能看到GPU的信息。3.3 安装Docker与Docker Compose我们将使用Docker来容器化部署所有服务。# 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 添加Docker仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io # 将当前用户加入docker组避免每次都要sudo sudo usermod -aG docker $USER # 注意需要退出当前终端重新登录此设置才会生效 # 安装Docker Compose插件新方式 sudo apt install -y docker-compose-plugin # 验证安装 docker compose version4. 核心服务部署与配置基础环境就绪现在我们来部署架构中的核心服务。4.1 部署Redis缓存服务我们使用Docker Compose来管理Redis服务。创建一个项目目录比如ai-photo-studio。mkdir -p ~/ai-photo-studio/redis cd ~/ai-photo-studio/redis创建docker-compose.yml文件version: 3.8 services: redis: image: redis:7-alpine container_name: realistic-vision-redis restart: always ports: - 6379:6379 command: redis-server --appendonly yes --requirepass your_strong_password_here # 务必设置强密码 volumes: - ./data:/data healthcheck: test: [CMD, redis-cli, --raw, incr, ping] interval: 10s timeout: 5s retries: 3启动Redisdocker compose up -d使用docker ps检查容器是否运行正常。记住这里的your_strong_password_here后续应用连接Redis时需要。4.2 封装Realistic Vision V5.1 API服务这是最核心的一步。我们需要创建一个Docker镜像里面包含Realistic Vision V5.1模型和提供HTTP API的代码。这里以使用diffusers库和FastAPI为例。在项目根目录创建app/目录mkdir -p ~/ai-photo-studio/app cd ~/ai-photo-studio/app创建应用文件main.py:from fastapi import FastAPI, HTTPException from pydantic import BaseModel from diffusers import StableDiffusionPipeline import torch import redis import hashlib import base64 from io import BytesIO from PIL import Image import json import time app FastAPI(titleRealistic Vision V5.1 API) # 连接Redis缓存 redis_client redis.Redis( hostredis, # Docker Compose服务名 port6379, passwordyour_strong_password_here, # 替换为你的密码 decode_responsesFalse ) # 加载模型假设模型已提前下载到容器内 pipe StableDiffusionPipeline.from_pretrained( /app/models/Realistic_Vision_V5.1, torch_dtypetorch.float16 if torch.cuda.is_available() else torch.float32, ).to(cuda if torch.cuda.is_available() else cpu) class GenerationRequest(BaseModel): prompt: str negative_prompt: str num_inference_steps: int 30 height: int 768 width: int 768 def generate_cache_key(request: GenerationRequest) - str: 根据请求参数生成唯一的缓存键 data f{request.prompt}-{request.negative_prompt}-{request.num_inference_steps}-{request.height}-{request.width} return hashlib.md5(data.encode()).hexdigest() app.post(/generate) async def generate_image(request: GenerationRequest): start_time time.time() # 1. 检查缓存 cache_key generate_cache_key(request) cached_data redis_client.get(cache_key) if cached_data: print(fCache hit for key: {cache_key}) img_data base64.b64decode(cached_data) process_time time.time() - start_time return { status: success, from_cache: True, processing_time: round(process_time, 2), image: base64.b64encode(img_data).decode(utf-8) } # 2. 缓存未命中执行生成 print(fCache miss, generating for key: {cache_key}) try: with torch.autocast(cuda): image pipe( promptrequest.prompt, negative_promptrequest.negative_prompt, num_inference_stepsrequest.num_inference_steps, heightrequest.height, widthrequest.width, ).images[0] # 将PIL Image转换为字节流并Base64编码 buffered BytesIO() image.save(buffered, formatPNG) img_byte buffered.getvalue() img_b64 base64.b64encode(img_byte) # 3. 存入Redis缓存设置1小时过期 redis_client.setex(cache_key, 3600, img_b64) process_time time.time() - start_time return { status: success, from_cache: False, processing_time: round(process_time, 2), image: img_b64.decode(utf-8) } except Exception as e: raise HTTPException(status_code500, detailfGeneration failed: {str(e)}) app.get(/health) async def health_check(): return {status: healthy, gpu_available: torch.cuda.is_available()}创建requirements.txt:fastapi0.104.1 uvicorn[standard]0.24.0 diffusers0.24.0 transformers4.35.2 accelerate0.25.0 torch2.1.0 torchvision0.16.0 redis5.0.1 pillow10.1.0 pydantic2.5.0创建Dockerfile:FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04 WORKDIR /app # 安装系统依赖和Python RUN apt-get update apt-get install -y \ python3-pip \ python3-dev \ git \ rm -rf /var/lib/apt/lists/* # 复制依赖文件并安装 COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt # 复制应用代码 COPY . . # 提前下载模型这里需要你有权访问该模型或从其他源获取 # 注意模型文件很大构建镜像可能很慢。生产环境建议将模型放在数据卷中。 # RUN git lfs install git clone https://huggingface.co/SG161222/Realistic_Vision_V5.1_noVAE /app/models/Realistic_Vision_V5.1 # 暴露端口 EXPOSE 8000 # 启动命令 CMD [uvicorn, main:app, --host, 0.0.0.0, --port, 8000, --workers, 1]重要提示直接将大模型放在Docker镜像里会导致镜像巨大。更好的做法是将模型文件放在宿主机的共享存储如NFS上然后通过Docker卷volume挂载到容器内的/app/models路径。或者在容器启动后通过初始化脚本从安全的对象存储中下载模型。创建应用服务的docker-compose.yml(位于~/ai-photo-studio/app):version: 3.8 services: ai-service-1: build: . container_name: realistic-vision-service-1 restart: always deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ports: - 8001:8000 # 将宿主机的8001端口映射到容器的8000端口 environment: - REDIS_HOSTredis - REDIS_PASSWORDyour_strong_password_here volumes: # 假设模型已下载到宿主机的 /data/models/Realistic_Vision_V5.1 目录 - /data/models/Realistic_Vision_V5.1:/app/models/Realistic_Vision_V5.1 depends_on: - redis networks: - ai-network ai-service-2: build: . container_name: realistic-vision-service-2 restart: always deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ports: - 8002:8000 # 第二个服务实例映射到8002端口 environment: - REDIS_HOSTredis - REDIS_PASSWORDyour_strong_password_here volumes: - /data/models/Realistic_Vision_V5.1:/app/models/Realistic_Vision_V5.1 depends_on: - redis networks: - ai-network networks: ai-network: external: true # 使用外部网络确保能与redis服务通信你需要先创建一个Docker网络docker network create ai-network并确保Redis服务也连接到了这个网络。在app目录下运行docker compose up -d --build来构建并启动两个服务实例。4.3 配置Nginx负载均衡现在我们有了两个运行在8001和8002端口的AI服务实例。接下来用Nginx把它们统一成一个入口。在服务器上安装Nginxsudo apt install -y nginx创建Nginx配置文件/etc/nginx/sites-available/ai-studioupstream ai_backend { # 负载均衡后端服务器列表 # 这里配置的是本机上的两个Docker服务如果是多台服务器则填写其他服务器的IP和端口 server 127.0.0.1:8001 max_fails3 fail_timeout30s; server 127.0.0.1:8002 max_fails3 fail_timeout30s; # 可以添加更多服务器... # server 192.168.1.101:8000; # server 192.168.1.102:8000; } server { listen 80; # 如果你的域名是 ai-studio.yourcompany.com则替换下面的 _ server_name _; # 客户端请求体大小限制用于上传大的Base64图片数据 client_max_body_size 20M; location / { proxy_pass http://ai_backend; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 超时设置 proxy_connect_timeout 300s; proxy_send_timeout 300s; proxy_read_timeout 300s; # 图片生成可能需要较长时间 } # 健康检查端点 location /health { proxy_pass http://ai_backend/health; access_log off; } }启用该配置并重启Nginxsudo ln -s /etc/nginx/sites-available/ai-studio /etc/nginx/sites-enabled/ sudo nginx -t # 测试配置语法 sudo systemctl restart nginx现在所有发送到服务器80端口的/generate请求都会被Nginx轮询转发到后端的两个AI服务实例上。5. 监控、日志与高可用保障服务跑起来了但我们怎么知道它是否健康出了问题怎么查这一部分就是为系统装上“眼睛”和“耳朵”。5.1 基础系统监控使用htop、nvidia-smi、docker stats可以临时查看状态。但对于生产环境建议部署Prometheus Grafana。Node Exporter部署在每台服务器上收集硬件和系统指标。cAdvisor或 Docker 自带的 metrics 接口收集容器指标。Prometheus定时抓取并存储这些指标。Grafana从 Prometheus 读取数据绘制成直观的仪表盘。你可以搜索“Prometheus Grafana Docker compose”找到现成的编排文件快速搭建一套监控系统。关键监控项包括各服务器的CPU/内存/磁盘使用率、各容器的CPU/内存使用率、GPU利用率、GPU显存使用率、Nginx的请求率/延迟/错误率。5.2 应用日志收集Docker容器默认的日志驱动是json-file我们可以用docker logs查看。但在多节点环境下集中管理日志更方便。一个简单的方法是使用Docker的logging驱动将日志发送到远程的Syslog服务器或直接配置日志卷。更成熟的方案是使用ELK Stack(Elasticsearch, Logstash, Kibana) 或Loki。这里提供一个使用Docker Compose管理日志的简单示例将日志写入宿主机的特定目录并定期轮转修改AI服务的docker-compose.yml为每个服务添加日志配置services: ai-service-1: # ... 其他配置 ... logging: driver: json-file options: max-size: 10m max-file: 3 tag: ai-service-1 # 给日志打上标签便于区分然后可以在宿主机上使用logrotate工具来管理这些日志文件。5.3 高可用性策略Nginx高可用单台Nginx是单点故障。可以使用Keepalived实现Nginx的双机主备共享一个虚拟IPVIP。当主机宕机时备机自动接管VIP。Redis高可用我们之前部署的是单机Redis。生产环境建议使用Redis Sentinel或Redis Cluster模式实现主从复制和自动故障转移。存储高可用用于存放模型和生成图片的存储应使用高可用方案如分布式文件系统Ceph, GlusterFS或云服务商提供的对象存储S3兼容。服务健康检查与自愈Docker Compose的restart: always策略可以在容器意外退出时重启它。结合监控系统可以设置当某个服务实例健康检查连续失败时自动在另一台健康的节点上拉起新的实例。6. 测试与验证架构部署完成后必须进行全面测试。功能测试使用curl或 Postman 向Nginx的IP地址发送生成请求。curl -X POST http://你的服务器IP/generate \ -H Content-Type: application/json \ -d {prompt: a professional photo of a smiling woman in business attire, studio lighting, num_inference_steps: 25}观察返回结果是否包含图片的Base64数据。负载均衡测试连续发送多个请求查看Nginx的访问日志sudo tail -f /var/log/nginx/access.log确认请求被均匀分配到ai-service-1和ai-service-2对应的后端端口8001, 8002。缓存测试连续发送两次完全相同的请求。第一次应该from_cache: false处理时间较长第二次应该from_cache: true处理时间极短毫秒级。压力测试使用工具如wrk或ab进行简单的并发测试观察系统负载和响应情况。ab -n 100 -c 10 -p data.json -T application/json http://你的服务器IP/generate注意data.json文件包含你的请求体故障模拟手动停止一个AI服务容器docker stop realistic-vision-service-1然后继续发送请求。服务应该能继续工作由另一个实例处理并且Nginx的健康检查机制应该能检测到故障节点并将其从后端列表中暂时移除。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
