Whisper 语音转录服务 EKS GPU 部署方案

OpenAI Whisper large-v3 | G6.xlarge (NVIDIA L4) | Karpenter 自动调度 | S3 文件处理概述在 EKS 集群上部署 Whisper large-v3 语音转录服务，使用 GPU 加速推理。从 S3 拉取音频文件，GPU 转录后返回文本，处理完删除本地临时文件。架构调用方 │ │ POST /v1/audio/transcriptions ▼ Whisper Service (ClusterIP / ALB) │ ├── 从 S3 下载音频 → emptyDir 临时存储 ├── Whisper large-v3 GPU 推理 ├── 返回转录文本 └── 删除本地临时文件 │ ▼ G6.xlarge 节点 (NVIDIA L4, 24GB 显存) └── Karpenter 自动创建/回收资源规划项目值模型openai/whisper-large-v3（~3GB）GPUNVIDIA L4（24GB 显存），模型占用 ~3GB