Chord - Ink Shadow 模型服务监控与运维使用Prometheus与Grafana搭建可视化看板你是不是也遇到过这种情况模型服务跑得好好的突然响应变慢或者干脆不响应了。用户抱怨不断而你却一头雾水不知道是代码问题、资源瓶颈还是网络抽风。等到问题爆发再去查日志往往已经晚了。对于像 Chord - Ink Shadow 这样在生产环境中提供关键服务的模型来说这种“黑盒”状态是绝对不能接受的。我们需要一双眼睛能实时看清服务的“心跳”——每秒处理多少请求、响应快不快、有没有出错、GPU是不是在“偷懒”。今天我就带你一步步搭建这套“眼睛”用 Prometheus 收集数据用 Grafana 呈现图表。整个过程不复杂跟着做你就能拥有一个专业级的服务监控看板把服务的运行状态看得清清楚楚。1. 为什么你需要这套监控看板在动手之前我们先聊聊为什么这套组合是监控领域的“黄金搭档”。想象一下你的模型服务就像一辆跑在高速公路上的汽车。Prometheus 就是遍布车身的各种传感器速度表、转速表、油温表它每隔几秒就采集一次数据。而 Grafana 则是中控台上的那块大屏幕把传感器传来的数据变成一目了然的图表和仪表盘让你一眼就能知道车速、油耗、发动机状态。对于模型服务我们最关心哪些指标呢主要是这几类吞吐量与性能每秒能处理多少请求QPS每个请求平均要花多长时间延迟。这直接关系到用户体验和系统容量。可靠性有多少请求失败了错误率。这是服务健康度的直接体现。资源利用GPU、CPU、内存的使用率。这能告诉你资源是否被充分利用或者是否遇到了瓶颈。业务指标可选比如输入文本的平均长度、生成结果的分布等帮助你更深入理解使用模式。没有监控你就只能靠“猜”和“救火”。有了这套看板你就能“预见”问题比如在GPU利用率持续走高时提前扩容或者在错误率微微抬头时及时介入排查。接下来我们从模型服务端开始让它学会“说话”暴露指标。2. 第一步让模型服务暴露监控指标Prometheus 采集数据的方式很独特它被称为“拉”模式。意思是它需要你的服务提供一个特定的 HTTP 接口通常是/metrics这个接口会返回当前服务的所有监控指标格式是纯文本的。然后 Prometheus 会定期比如每15秒来这个地址“拉取”一次数据。所以我们的首要任务是改造 Chord - Ink Shadow 模型服务让它能提供这个/metrics接口。2.1 为你的服务添加 Prometheus 客户端库具体方法取决于你使用的编程语言和框架。这里以 Python 的 FastAPI 应用为例这是非常常见的搭配。首先安装必要的 Python 库pip install prometheus-client这个库提供了所有你需要的基础工具比如计数器、仪表盘、直方图等。2.2 在 FastAPI 应用中集成指标暴露假设你的模型服务主文件是main.py下面是如何集成监控的代码示例# main.py from fastapi import FastAPI, Request from prometheus_client import Counter, Histogram, generate_latest, REGISTRY, Gauge import time # 创建 FastAPI 应用 app FastAPI(titleChord Ink Shadow Model API) # 定义监控指标 # 1. 请求计数器统计总请求量按路径和方法区分 REQUEST_COUNT Counter( model_http_requests_total, Total HTTP requests, [method, endpoint, status_code] ) # 2. 请求延迟直方图统计请求耗时分布 REQUEST_LATENCY Histogram( model_http_request_duration_seconds, HTTP request latency in seconds, [method, endpoint], buckets(0.01, 0.05, 0.1, 0.5, 1.0, 5.0) # 自定义时间桶 ) # 3. 活跃请求数仪表当前正在处理的请求数 INFLIGHT_REQUESTS Gauge( model_inflight_requests, Number of inflight HTTP requests ) # 4. GPU 利用率仪表假设使用 NVIDIA GPU GPU_UTILIZATION Gauge( model_gpu_utilization_percent, GPU utilization percentage, [gpu_id] ) # 中间件用于捕获每次请求的数据 app.middleware(http) async def monitor_requests(request: Request, call_next): # 请求开始时活跃请求数1 INFLIGHT_REQUESTS.inc() start_time time.time() try: response await call_next(request) # 请求结束后根据状态码记录 status_code response.status_code except Exception: status_code 500 raise finally: # 请求结束后活跃请求数-1 INFLIGHT_REQUESTS.dec() # 计算耗时 latency time.time() - start_time # 记录指标 REQUEST_COUNT.labels( methodrequest.method, endpointrequest.url.path, status_codestatus_code ).inc() REQUEST_LATENCY.labels( methodrequest.method, endpointrequest.url.path ).observe(latency) return response # 你的模型推理端点 app.post(/v1/generate) async def generate_text(/* 你的参数 */): # 这里是你的模型推理逻辑 # 模拟 GPU 利用率更新实际中应从 nvidia-smi 或 pynvml 库获取 # update_gpu_metrics() return {result: generated text} # 暴露 Prometheus 指标的专属端点 app.get(/metrics) async def metrics(): from prometheus_client import CONTENT_TYPE_LATEST return Response(generate_latest(REGISTRY), media_typeCONTENT_TYPE_LATEST) # 一个健康检查端点方便后续配置 app.get(/health) async def health(): return {status: healthy}代码解释我们定义了四种核心指标请求总数、请求延迟、活跃请求数和GPU利用率。通过一个中间件我们能够无侵入地拦截所有请求自动记录次数、状态和耗时。添加了一个/metrics端点Prometheus 会来这个地址抓取数据。添加了一个/health端点用于服务健康检查。完成代码修改后重启你的模型服务。现在访问http://你的服务地址:端口/metrics你应该能看到一堆以# HELP和# TYPE开头后面跟着metric_name value的文本数据。这就是 Prometheus 能理解的格式。好了现在你的服务已经会“说话”了。接下来我们需要一个“听众”来持续记录这些话语。3. 第二步部署与配置 PrometheusPrometheus 是一个开源的监控系统和时间序列数据库。我们将它部署在模型服务所在的服务器或集群上让它负责定时抓取和存储指标。3.1 通过 Docker 快速运行 Prometheus这是最快捷的方式。首先创建一个 Prometheus 的配置文件prometheus.yml# prometheus.yml global: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s # 每15秒评估一次告警规则 # 告警规则配置后续可扩展 rule_files: # - first_rules.yml # 抓取配置告诉 Prometheus 要去哪里抓数据 scrape_configs: # 监控 Prometheus 自身 - job_name: prometheus static_configs: - targets: [localhost:9090] # 监控我们的 Chord - Ink Shadow 模型服务 - job_name: ink_shadow_model metrics_path: /metrics # 指标端点路径 static_configs: - targets: [your-model-service-host:port] # 替换为你的模型服务实际地址和端口 labels: service: ink-shadow-model environment: production关键配置说明scrape_interval抓取频率根据业务压力调整生产环境15-30秒比较常见。targets这是最重要的部分填入你上一步中模型服务的真实 IP 和端口。如果服务有多个实例可以在这里添加多个targets。然后使用 Docker 运行 Prometheus# 创建一个目录存放配置和数据 mkdir prometheus-data # 将上面的 prometheus.yml 文件放在当前目录 # 运行 Prometheus 容器 docker run -d \ --nameprometheus \ -p 9090:9090 \ -v $(pwd)/prometheus.yml:/etc/prometheus/prometheus.yml \ -v $(pwd)/prometheus-data:/prometheus \ prom/prometheus运行后访问http://服务器IP:9090就能看到 Prometheus 自带的简单界面。在顶部导航栏点击 “Status” - “Targets”你应该能看到ink_shadow_model这个 job 的状态是UP。如果状态是DOWN请检查targets地址是否正确以及模型服务的/metrics端点能否正常访问。3.2 验证数据抓取在 Prometheus 的 Web 界面http://服务器IP:9090/graph中你可以输入我们定义的指标名进行查询例如model_http_requests_total点击 “Execute”如果能看到有数据曲线出现就说明一切正常Prometheus 已经在忠实地记录你的服务指标了。数据收集器已经就位并且开始工作了。但这些原始数据并不直观我们需要一个更强大的工具来把它们变成好看的图表。4. 第三步使用 Grafana 创建可视化仪表盘Grafana 是一个功能强大的数据可视化平台它可以从 Prometheus 等多种数据源读取数据并绘制成精美的图表和仪表盘。4.1 部署 Grafana同样我们用 Docker 来快速启动docker run -d \ --namegrafana \ -p 3000:3000 \ -v grafana-storage:/var/lib/grafana \ grafana/grafana-enterprise启动后访问http://服务器IP:3000。默认用户名和密码都是admin首次登录会要求修改密码。4.2 添加 Prometheus 数据源登录后点击左侧齿轮图标 “Configuration” - “Data sources”。点击 “Add data source”选择 “Prometheus”。在 URL 一栏填写你的 Prometheus 服务地址。因为我们在同一台机器用 Docker 运行且 Prometheus 暴露了 9090 端口给宿主机所以这里可以填http://localhost:9090如果 Grafana 容器需要访问宿主网络可能需要用宿主机的IP。点击 “Save test”如果显示 “Data source is working”恭喜连接成功。4.3 创建你的第一个监控仪表盘现在我们可以开始打造专属的模型服务监控大屏了。点击左侧 “” 号 - “Dashboard” - “Add new panel”。面板1请求 QPS每秒查询率在 “Query” 选项卡中数据源选择刚才添加的 Prometheus。输入 PromQL 查询语句rate(model_http_requests_total{jobink_shadow_model}[5m])。这个语句计算的是过去5分钟内每秒的平均请求数。在右侧 “Panel options” 中给这个图表起个名字比如 “请求 QPS”。你可以选择不同的可视化类型比如 “Time series”折线图就很适合看趋势。面板2请求平均延迟新建一个面板。输入查询语句rate(model_http_request_duration_seconds_sum{jobink_shadow_model}[5m]) / rate(model_http_request_duration_seconds_count{jobink_shadow_model}[5m])。这个公式计算的是平均延迟。在 “Standard options” - “Unit” 中选择 “seconds (s)”让单位更清晰。面板3错误率新建面板。输入查询语句sum(rate(model_http_requests_total{jobink_shadow_model, status_code~5..}[5m])) / sum(rate(model_http_requests_total{jobink_shadow_model}[5m]))。这个公式计算5xx状态码的请求占总请求的比例。在 “Standard options” - “Unit” 中选择 “percent (0.0-1.0)”。面板4GPU 利用率新建面板。输入查询语句model_gpu_utilization_percent{jobink_shadow_model}。在 “Standard options” - “Unit” 中选择 “percent (0-100)”。你可以根据需要继续添加“活跃请求数”、“内存使用率”等面板。把所有面板拖拽排列好一个实时监控看板就初具雏形了。别忘了点击顶部工具栏的 “Save” 图标给你的仪表盘起个名字比如 “Chord-Ink-Shadow 生产监控”。5. 总结走完这三步你已经成功为 Chord - Ink Shadow 模型服务装上了“眼睛”和“大脑”。现在打开 Grafana 仪表盘服务的实时状态、性能趋势、资源消耗都一目了然。这套监控体系的价值会随着服务规模的扩大和运行时间的增长而愈发凸显。你会发现很多之前模糊的问题变得清晰了晚高峰的流量增长曲线是怎样的某个新上线的模型版本是否导致了延迟增加GPU 在大部分时间是否处于低效的空闲状态这些数据会成为你进行容量规划、性能优化和故障排查的最有力依据。当然这只是监控的起点。在此基础上你还可以探索更多高级功能比如基于 Prometheus 的告警规则Alertmanager当错误率超过阈值或延迟突然飙升时自动发送通知到钉钉、企业微信或邮件或者利用 Grafana 的变量功能制作一个可以按服务实例、按接口筛选的交互式仪表盘。监控体系的建设是一个从“看不见”到“看得见”再到“看得懂”和“管得住”的过程。今天搭建的这个看板就是你迈向精细化运维的第一步。赶紧动手试试吧亲眼看到数据流动起来的那一刻你会对服务的掌控感有一个全新的认识。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Chord - Ink Shadow 模型服务监控与运维：使用Prometheus与Grafana搭建可视化看板
Chord - Ink Shadow 模型服务监控与运维使用Prometheus与Grafana搭建可视化看板你是不是也遇到过这种情况模型服务跑得好好的突然响应变慢或者干脆不响应了。用户抱怨不断而你却一头雾水不知道是代码问题、资源瓶颈还是网络抽风。等到问题爆发再去查日志往往已经晚了。对于像 Chord - Ink Shadow 这样在生产环境中提供关键服务的模型来说这种“黑盒”状态是绝对不能接受的。我们需要一双眼睛能实时看清服务的“心跳”——每秒处理多少请求、响应快不快、有没有出错、GPU是不是在“偷懒”。今天我就带你一步步搭建这套“眼睛”用 Prometheus 收集数据用 Grafana 呈现图表。整个过程不复杂跟着做你就能拥有一个专业级的服务监控看板把服务的运行状态看得清清楚楚。1. 为什么你需要这套监控看板在动手之前我们先聊聊为什么这套组合是监控领域的“黄金搭档”。想象一下你的模型服务就像一辆跑在高速公路上的汽车。Prometheus 就是遍布车身的各种传感器速度表、转速表、油温表它每隔几秒就采集一次数据。而 Grafana 则是中控台上的那块大屏幕把传感器传来的数据变成一目了然的图表和仪表盘让你一眼就能知道车速、油耗、发动机状态。对于模型服务我们最关心哪些指标呢主要是这几类吞吐量与性能每秒能处理多少请求QPS每个请求平均要花多长时间延迟。这直接关系到用户体验和系统容量。可靠性有多少请求失败了错误率。这是服务健康度的直接体现。资源利用GPU、CPU、内存的使用率。这能告诉你资源是否被充分利用或者是否遇到了瓶颈。业务指标可选比如输入文本的平均长度、生成结果的分布等帮助你更深入理解使用模式。没有监控你就只能靠“猜”和“救火”。有了这套看板你就能“预见”问题比如在GPU利用率持续走高时提前扩容或者在错误率微微抬头时及时介入排查。接下来我们从模型服务端开始让它学会“说话”暴露指标。2. 第一步让模型服务暴露监控指标Prometheus 采集数据的方式很独特它被称为“拉”模式。意思是它需要你的服务提供一个特定的 HTTP 接口通常是/metrics这个接口会返回当前服务的所有监控指标格式是纯文本的。然后 Prometheus 会定期比如每15秒来这个地址“拉取”一次数据。所以我们的首要任务是改造 Chord - Ink Shadow 模型服务让它能提供这个/metrics接口。2.1 为你的服务添加 Prometheus 客户端库具体方法取决于你使用的编程语言和框架。这里以 Python 的 FastAPI 应用为例这是非常常见的搭配。首先安装必要的 Python 库pip install prometheus-client这个库提供了所有你需要的基础工具比如计数器、仪表盘、直方图等。2.2 在 FastAPI 应用中集成指标暴露假设你的模型服务主文件是main.py下面是如何集成监控的代码示例# main.py from fastapi import FastAPI, Request from prometheus_client import Counter, Histogram, generate_latest, REGISTRY, Gauge import time # 创建 FastAPI 应用 app FastAPI(titleChord Ink Shadow Model API) # 定义监控指标 # 1. 请求计数器统计总请求量按路径和方法区分 REQUEST_COUNT Counter( model_http_requests_total, Total HTTP requests, [method, endpoint, status_code] ) # 2. 请求延迟直方图统计请求耗时分布 REQUEST_LATENCY Histogram( model_http_request_duration_seconds, HTTP request latency in seconds, [method, endpoint], buckets(0.01, 0.05, 0.1, 0.5, 1.0, 5.0) # 自定义时间桶 ) # 3. 活跃请求数仪表当前正在处理的请求数 INFLIGHT_REQUESTS Gauge( model_inflight_requests, Number of inflight HTTP requests ) # 4. GPU 利用率仪表假设使用 NVIDIA GPU GPU_UTILIZATION Gauge( model_gpu_utilization_percent, GPU utilization percentage, [gpu_id] ) # 中间件用于捕获每次请求的数据 app.middleware(http) async def monitor_requests(request: Request, call_next): # 请求开始时活跃请求数1 INFLIGHT_REQUESTS.inc() start_time time.time() try: response await call_next(request) # 请求结束后根据状态码记录 status_code response.status_code except Exception: status_code 500 raise finally: # 请求结束后活跃请求数-1 INFLIGHT_REQUESTS.dec() # 计算耗时 latency time.time() - start_time # 记录指标 REQUEST_COUNT.labels( methodrequest.method, endpointrequest.url.path, status_codestatus_code ).inc() REQUEST_LATENCY.labels( methodrequest.method, endpointrequest.url.path ).observe(latency) return response # 你的模型推理端点 app.post(/v1/generate) async def generate_text(/* 你的参数 */): # 这里是你的模型推理逻辑 # 模拟 GPU 利用率更新实际中应从 nvidia-smi 或 pynvml 库获取 # update_gpu_metrics() return {result: generated text} # 暴露 Prometheus 指标的专属端点 app.get(/metrics) async def metrics(): from prometheus_client import CONTENT_TYPE_LATEST return Response(generate_latest(REGISTRY), media_typeCONTENT_TYPE_LATEST) # 一个健康检查端点方便后续配置 app.get(/health) async def health(): return {status: healthy}代码解释我们定义了四种核心指标请求总数、请求延迟、活跃请求数和GPU利用率。通过一个中间件我们能够无侵入地拦截所有请求自动记录次数、状态和耗时。添加了一个/metrics端点Prometheus 会来这个地址抓取数据。添加了一个/health端点用于服务健康检查。完成代码修改后重启你的模型服务。现在访问http://你的服务地址:端口/metrics你应该能看到一堆以# HELP和# TYPE开头后面跟着metric_name value的文本数据。这就是 Prometheus 能理解的格式。好了现在你的服务已经会“说话”了。接下来我们需要一个“听众”来持续记录这些话语。3. 第二步部署与配置 PrometheusPrometheus 是一个开源的监控系统和时间序列数据库。我们将它部署在模型服务所在的服务器或集群上让它负责定时抓取和存储指标。3.1 通过 Docker 快速运行 Prometheus这是最快捷的方式。首先创建一个 Prometheus 的配置文件prometheus.yml# prometheus.yml global: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s # 每15秒评估一次告警规则 # 告警规则配置后续可扩展 rule_files: # - first_rules.yml # 抓取配置告诉 Prometheus 要去哪里抓数据 scrape_configs: # 监控 Prometheus 自身 - job_name: prometheus static_configs: - targets: [localhost:9090] # 监控我们的 Chord - Ink Shadow 模型服务 - job_name: ink_shadow_model metrics_path: /metrics # 指标端点路径 static_configs: - targets: [your-model-service-host:port] # 替换为你的模型服务实际地址和端口 labels: service: ink-shadow-model environment: production关键配置说明scrape_interval抓取频率根据业务压力调整生产环境15-30秒比较常见。targets这是最重要的部分填入你上一步中模型服务的真实 IP 和端口。如果服务有多个实例可以在这里添加多个targets。然后使用 Docker 运行 Prometheus# 创建一个目录存放配置和数据 mkdir prometheus-data # 将上面的 prometheus.yml 文件放在当前目录 # 运行 Prometheus 容器 docker run -d \ --nameprometheus \ -p 9090:9090 \ -v $(pwd)/prometheus.yml:/etc/prometheus/prometheus.yml \ -v $(pwd)/prometheus-data:/prometheus \ prom/prometheus运行后访问http://服务器IP:9090就能看到 Prometheus 自带的简单界面。在顶部导航栏点击 “Status” - “Targets”你应该能看到ink_shadow_model这个 job 的状态是UP。如果状态是DOWN请检查targets地址是否正确以及模型服务的/metrics端点能否正常访问。3.2 验证数据抓取在 Prometheus 的 Web 界面http://服务器IP:9090/graph中你可以输入我们定义的指标名进行查询例如model_http_requests_total点击 “Execute”如果能看到有数据曲线出现就说明一切正常Prometheus 已经在忠实地记录你的服务指标了。数据收集器已经就位并且开始工作了。但这些原始数据并不直观我们需要一个更强大的工具来把它们变成好看的图表。4. 第三步使用 Grafana 创建可视化仪表盘Grafana 是一个功能强大的数据可视化平台它可以从 Prometheus 等多种数据源读取数据并绘制成精美的图表和仪表盘。4.1 部署 Grafana同样我们用 Docker 来快速启动docker run -d \ --namegrafana \ -p 3000:3000 \ -v grafana-storage:/var/lib/grafana \ grafana/grafana-enterprise启动后访问http://服务器IP:3000。默认用户名和密码都是admin首次登录会要求修改密码。4.2 添加 Prometheus 数据源登录后点击左侧齿轮图标 “Configuration” - “Data sources”。点击 “Add data source”选择 “Prometheus”。在 URL 一栏填写你的 Prometheus 服务地址。因为我们在同一台机器用 Docker 运行且 Prometheus 暴露了 9090 端口给宿主机所以这里可以填http://localhost:9090如果 Grafana 容器需要访问宿主网络可能需要用宿主机的IP。点击 “Save test”如果显示 “Data source is working”恭喜连接成功。4.3 创建你的第一个监控仪表盘现在我们可以开始打造专属的模型服务监控大屏了。点击左侧 “” 号 - “Dashboard” - “Add new panel”。面板1请求 QPS每秒查询率在 “Query” 选项卡中数据源选择刚才添加的 Prometheus。输入 PromQL 查询语句rate(model_http_requests_total{jobink_shadow_model}[5m])。这个语句计算的是过去5分钟内每秒的平均请求数。在右侧 “Panel options” 中给这个图表起个名字比如 “请求 QPS”。你可以选择不同的可视化类型比如 “Time series”折线图就很适合看趋势。面板2请求平均延迟新建一个面板。输入查询语句rate(model_http_request_duration_seconds_sum{jobink_shadow_model}[5m]) / rate(model_http_request_duration_seconds_count{jobink_shadow_model}[5m])。这个公式计算的是平均延迟。在 “Standard options” - “Unit” 中选择 “seconds (s)”让单位更清晰。面板3错误率新建面板。输入查询语句sum(rate(model_http_requests_total{jobink_shadow_model, status_code~5..}[5m])) / sum(rate(model_http_requests_total{jobink_shadow_model}[5m]))。这个公式计算5xx状态码的请求占总请求的比例。在 “Standard options” - “Unit” 中选择 “percent (0.0-1.0)”。面板4GPU 利用率新建面板。输入查询语句model_gpu_utilization_percent{jobink_shadow_model}。在 “Standard options” - “Unit” 中选择 “percent (0-100)”。你可以根据需要继续添加“活跃请求数”、“内存使用率”等面板。把所有面板拖拽排列好一个实时监控看板就初具雏形了。别忘了点击顶部工具栏的 “Save” 图标给你的仪表盘起个名字比如 “Chord-Ink-Shadow 生产监控”。5. 总结走完这三步你已经成功为 Chord - Ink Shadow 模型服务装上了“眼睛”和“大脑”。现在打开 Grafana 仪表盘服务的实时状态、性能趋势、资源消耗都一目了然。这套监控体系的价值会随着服务规模的扩大和运行时间的增长而愈发凸显。你会发现很多之前模糊的问题变得清晰了晚高峰的流量增长曲线是怎样的某个新上线的模型版本是否导致了延迟增加GPU 在大部分时间是否处于低效的空闲状态这些数据会成为你进行容量规划、性能优化和故障排查的最有力依据。当然这只是监控的起点。在此基础上你还可以探索更多高级功能比如基于 Prometheus 的告警规则Alertmanager当错误率超过阈值或延迟突然飙升时自动发送通知到钉钉、企业微信或邮件或者利用 Grafana 的变量功能制作一个可以按服务实例、按接口筛选的交互式仪表盘。监控体系的建设是一个从“看不见”到“看得见”再到“看得懂”和“管得住”的过程。今天搭建的这个看板就是你迈向精细化运维的第一步。赶紧动手试试吧亲眼看到数据流动起来的那一刻你会对服务的掌控感有一个全新的认识。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
