云原生监控体系建设打造全方位的可观测性平台引言在云原生时代监控是保障系统稳定运行的关键。一个完善的监控体系可以帮助我们及时发现问题、定位问题、解决问题。今天就来分享一下云原生监控体系的建设经验。监控体系概述可观测性三支柱监控体系通常包括三个方面指标量化的度量如CPU使用率、响应时间、内存使用量等。指标是监控的基础可以帮助我们了解系统的运行状态。日志事件的记录如应用日志、系统日志、访问日志等。日志可以帮助我们了解系统发生了什么是问题排查的重要依据。追踪请求的完整路径记录请求从入口到出口的整个过程。追踪可以帮助我们了解请求在各个服务之间的流转情况定位性能瓶颈。监控目标监控体系的目标是发现问题及时发现系统中的异常如服务宕机、性能下降、错误率升高等。定位问题快速定位问题的根源通过指标、日志和追踪的结合找到问题发生的位置和原因。解决问题帮助解决问题提供足够的信息让工程师能够快速修复问题。预防问题通过数据分析预测潜在问题提前采取措施避免问题发生。优化性能通过监控数据发现性能瓶颈进行系统优化。监控层次监控体系可以分为几个层次基础设施层监控服务器、网络、存储等基础设施的状态。平台层监控Kubernetes、Docker等平台的运行状态。应用层监控应用程序的运行状态包括请求数、响应时间、错误率等。业务层监控业务指标如订单量、用户活跃度、转化率等。监控工具生态云原生监控工具生态包括指标监控Prometheus、InfluxDB、Graphite日志管理Elastic StackElasticsearch、Logstash、Kibana、Loki、Fluentd分布式追踪Jaeger、Zipkin、OpenTelemetry告警管理Alertmanager、PagerDuty、OpsGenie可视化Grafana、Kibana、Datadog指标监控指标类型常见的指标类型有基础设施指标CPU、内存、磁盘、网络应用指标请求数、响应时间、错误率业务指标订单量、用户活跃度指标采集使用Prometheus采集指标# prometheus.yml global: scrape_interval: 15s scrape_configs: - job_name: kubernetes-pods kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] action: replace target_label: __metrics_path__ regex: (.) - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] action: replace regex: ([^:])(?::\d)?;(\d) replacement: $1:$2 target_label: __address__指标展示使用Grafana展示指标{ panels: [ { title: CPU Usage, type: graph, targets: [ { expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode\idle\}[5m])) * 100), legendFormat: {{instance}} } ] } ] }日志管理日志采集使用Filebeat采集日志filebeat.inputs: - type: log paths: - /var/log/myapp/*.log json.keys_under_root: true json.add_error_key: true fields: service: myapp output.logstash: hosts: [logstash:5044]日志处理使用Logstash处理日志input { beats { port 5044 } } filter { if [service] myapp { grok { match { message %{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:message} } } date { match [timestamp, ISO8601] target timestamp } } } output { elasticsearch { hosts [elasticsearch:9200] index myapp-logs-%{YYYY.MM.dd} } }日志查询使用Kibana查询日志{ query: { bool: { must: [ { term: { level: ERROR } }, { range: { timestamp: { gte: now-1h } } } ] } } }分布式追踪追踪采集使用Jaeger采集追踪数据apiVersion: jaegertracing.io/v1 kind: Jaeger metadata: name: jaeger spec: strategy: allInOne ingress: enabled: true追踪实现在应用中集成OpenTelemetryfrom opentelemetry import trace from opentelemetry.sdk.trace import TracerProvider from opentelemetry.sdk.trace.export import BatchSpanProcessor from opentelemetry.exporter.jaeger.thrift import JaegerExporter trace.set_tracer_provider(TracerProvider()) tracer trace.get_tracer(__name__) jaeger_exporter JaegerExporter( agent_host_namejaeger-agent, agent_port6831, ) trace.get_tracer_provider().add_span_processor( BatchSpanProcessor(jaeger_exporter) ) with tracer.start_as_current_span(my-operation): # 业务逻辑 pass告警管理告警规则配置Prometheus告警规则groups: - name: node-alerts rules: - alert: HighCPUUsage expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{modeidle}[5m])) * 100) 80 for: 2m labels: severity: warning annotations: summary: High CPU usage detected description: CPU usage is {{ $value }}% on instance {{ $labels.instance }}告警通知使用Alertmanager发送告警route: group_by: [alertname] receiver: web.hook receivers: - name: web.hook webhook_configs: - url: https://api.example.com/webhook slack_configs: - channel: #ops-alerts send_resolved: true监控最佳实践监控覆盖确保监控覆盖所有关键组件基础设施层平台层应用层业务层告警策略设置合理的告警策略避免告警风暴设置不同级别的告警定期回顾和优化告警规则数据存储合理管理监控数据设置数据保留策略使用合适的存储方案定期清理过期数据结语监控体系是云原生架构中不可或缺的一部分。通过建立完善的监控体系可以提高系统的可靠性和可维护性。希望这篇文章能帮助你更好地建设监控体系。如果你有任何问题欢迎在评论区交流。本文作者侯万里万里侯致力于打造可观测性平台的工程师
云原生监控体系建设：打造全方位的可观测性平台
云原生监控体系建设打造全方位的可观测性平台引言在云原生时代监控是保障系统稳定运行的关键。一个完善的监控体系可以帮助我们及时发现问题、定位问题、解决问题。今天就来分享一下云原生监控体系的建设经验。监控体系概述可观测性三支柱监控体系通常包括三个方面指标量化的度量如CPU使用率、响应时间、内存使用量等。指标是监控的基础可以帮助我们了解系统的运行状态。日志事件的记录如应用日志、系统日志、访问日志等。日志可以帮助我们了解系统发生了什么是问题排查的重要依据。追踪请求的完整路径记录请求从入口到出口的整个过程。追踪可以帮助我们了解请求在各个服务之间的流转情况定位性能瓶颈。监控目标监控体系的目标是发现问题及时发现系统中的异常如服务宕机、性能下降、错误率升高等。定位问题快速定位问题的根源通过指标、日志和追踪的结合找到问题发生的位置和原因。解决问题帮助解决问题提供足够的信息让工程师能够快速修复问题。预防问题通过数据分析预测潜在问题提前采取措施避免问题发生。优化性能通过监控数据发现性能瓶颈进行系统优化。监控层次监控体系可以分为几个层次基础设施层监控服务器、网络、存储等基础设施的状态。平台层监控Kubernetes、Docker等平台的运行状态。应用层监控应用程序的运行状态包括请求数、响应时间、错误率等。业务层监控业务指标如订单量、用户活跃度、转化率等。监控工具生态云原生监控工具生态包括指标监控Prometheus、InfluxDB、Graphite日志管理Elastic StackElasticsearch、Logstash、Kibana、Loki、Fluentd分布式追踪Jaeger、Zipkin、OpenTelemetry告警管理Alertmanager、PagerDuty、OpsGenie可视化Grafana、Kibana、Datadog指标监控指标类型常见的指标类型有基础设施指标CPU、内存、磁盘、网络应用指标请求数、响应时间、错误率业务指标订单量、用户活跃度指标采集使用Prometheus采集指标# prometheus.yml global: scrape_interval: 15s scrape_configs: - job_name: kubernetes-pods kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] action: replace target_label: __metrics_path__ regex: (.) - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] action: replace regex: ([^:])(?::\d)?;(\d) replacement: $1:$2 target_label: __address__指标展示使用Grafana展示指标{ panels: [ { title: CPU Usage, type: graph, targets: [ { expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode\idle\}[5m])) * 100), legendFormat: {{instance}} } ] } ] }日志管理日志采集使用Filebeat采集日志filebeat.inputs: - type: log paths: - /var/log/myapp/*.log json.keys_under_root: true json.add_error_key: true fields: service: myapp output.logstash: hosts: [logstash:5044]日志处理使用Logstash处理日志input { beats { port 5044 } } filter { if [service] myapp { grok { match { message %{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:message} } } date { match [timestamp, ISO8601] target timestamp } } } output { elasticsearch { hosts [elasticsearch:9200] index myapp-logs-%{YYYY.MM.dd} } }日志查询使用Kibana查询日志{ query: { bool: { must: [ { term: { level: ERROR } }, { range: { timestamp: { gte: now-1h } } } ] } } }分布式追踪追踪采集使用Jaeger采集追踪数据apiVersion: jaegertracing.io/v1 kind: Jaeger metadata: name: jaeger spec: strategy: allInOne ingress: enabled: true追踪实现在应用中集成OpenTelemetryfrom opentelemetry import trace from opentelemetry.sdk.trace import TracerProvider from opentelemetry.sdk.trace.export import BatchSpanProcessor from opentelemetry.exporter.jaeger.thrift import JaegerExporter trace.set_tracer_provider(TracerProvider()) tracer trace.get_tracer(__name__) jaeger_exporter JaegerExporter( agent_host_namejaeger-agent, agent_port6831, ) trace.get_tracer_provider().add_span_processor( BatchSpanProcessor(jaeger_exporter) ) with tracer.start_as_current_span(my-operation): # 业务逻辑 pass告警管理告警规则配置Prometheus告警规则groups: - name: node-alerts rules: - alert: HighCPUUsage expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{modeidle}[5m])) * 100) 80 for: 2m labels: severity: warning annotations: summary: High CPU usage detected description: CPU usage is {{ $value }}% on instance {{ $labels.instance }}告警通知使用Alertmanager发送告警route: group_by: [alertname] receiver: web.hook receivers: - name: web.hook webhook_configs: - url: https://api.example.com/webhook slack_configs: - channel: #ops-alerts send_resolved: true监控最佳实践监控覆盖确保监控覆盖所有关键组件基础设施层平台层应用层业务层告警策略设置合理的告警策略避免告警风暴设置不同级别的告警定期回顾和优化告警规则数据存储合理管理监控数据设置数据保留策略使用合适的存储方案定期清理过期数据结语监控体系是云原生架构中不可或缺的一部分。通过建立完善的监控体系可以提高系统的可靠性和可维护性。希望这篇文章能帮助你更好地建设监控体系。如果你有任何问题欢迎在评论区交流。本文作者侯万里万里侯致力于打造可观测性平台的工程师
