1. 为什么你需要掌握sar工具在Linux系统运维和性能调优的日常工作中我们经常会遇到各种玄学问题服务器突然变慢、应用响应延迟、数据库查询卡顿...这时候新手往往会陷入两个极端——要么对着top命令的输出发呆要么直接重启服务器了事。而真正的Linux老手第一反应都是打开sar这个性能分析神器。我见过太多工程师在性能问题面前抓瞎根本原因就是没有系统性地掌握性能分析工具。sarSystem Activity Reporter作为Sysstat工具包的核心组件能够提供从CPU、内存、IO到网络的全面系统活动报告。与top、vmstat等实时监控工具不同sar的强大之处在于历史数据分析能力默认配置下会自动记录系统性能数据让你可以回溯分析问题发生时的系统状态全维度监控覆盖单个工具就能监控CPU、内存、磁盘、网络等所有关键指标低开销数据收集进程sysstat的资源占用几乎可以忽略不计灵活的时间粒度支持从秒级到天级的各种采样间隔提示很多生产环境的事故复盘都依赖sar的历史数据。如果没有提前安装配置好sysstat等到出问题时才想起来要监控那就真的只能靠猜了。2. sar的安装与基础配置2.1 安装sysstat工具包在大多数Linux发行版中sar都包含在sysstat包中。安装方法如下# Ubuntu/Debian sudo apt update sudo apt install sysstat -y # CentOS/RHEL sudo yum install sysstat -y # 验证安装 sar -V安装完成后需要确认数据收集服务是否已启用# 检查服务状态systemd系统 sudo systemctl status sysstat # 如果未运行启用并启动服务 sudo systemctl enable --now sysstat2.2 关键配置项解析sysstat的主要配置文件位于/etc/sysconfig/sysstat或/etc/default/sysstat几个重要参数需要特别关注# 历史数据保存天数默认7天 HISTORY28 # 数据收集频率默认10分钟 SADC_OPTIONS-S DISK 10 3 # 是否压缩历史数据建议开启 COMPRESSAFTER15建议将HISTORY调整为至少14天这样能够覆盖两个周末的业务周期。对于关键业务服务器可以设置为30天甚至更长。2.3 数据文件存储结构sysstat收集的数据默认存储在/var/log/sa/目录下文件命名规则为saDD二进制格式的每日数据文件DD表示日期sarDD文本格式的每日报告例如sa10对应当月10号的数据可以通过sar -f /var/log/sa/sa10命令读取。3. sar核心功能实战解析3.1 CPU性能分析3.1.1 整体CPU使用率# 查看当天CPU使用情况10分钟间隔 sar -u # 查看指定日期的CPU数据 sar -u -f /var/log/sa/sa10 # 实时监控每2秒采样共5次 sar -u 2 5输出字段解析%user用户态CPU时间%system内核态CPU时间%iowait等待I/O的CPU时间%steal虚拟化环境中的CPU抢占时间%idle空闲CPU时间经验法则如果%iowait持续高于5%说明磁盘可能成为瓶颈%idle持续低于20%则CPU资源紧张。3.1.2 多核CPU分析# 查看所有CPU核心的统计 sar -P ALL # 只看第一个CPU核心CPU0 sar -P 0 # 按核心显示用户态使用率 sar -u -P ALL | grep -v Average在多核服务器上需要特别关注CPU使用是否均衡。我曾经遇到过一个案例某个应用线程绑定到了特定核心导致8核CPU中有一个核心100%满载而其他核心却很空闲整体%idle看起来很正常但实际性能已经受到影响。3.2 内存使用分析3.2.1 物理内存与交换空间# 查看内存使用情况 sar -r # 只显示内存相关指标 sar -r 1 3关键指标kbmemfree空闲物理内存KBkbmemused已用物理内存%memused内存使用率kbswpfree空闲交换空间kbswpused已用交换空间3.2.2 内存分页统计# 内存分页活动监控 sar -B # 每秒采集一次共5次 sar -B 1 5重要字段pgpgin/s每秒从磁盘换入的页数pgpgout/s每秒换出到磁盘的页数fault/s每秒缺页异常数major minor避坑提示如果pgpgin/s和pgpgout/s持续高于几百说明系统在进行大量内存交换性能会显著下降。这时候应该考虑增加物理内存或优化应用内存使用。3.3 磁盘I/O分析3.3.1 整体磁盘负载# 查看磁盘I/O统计 sar -b # 每2秒采样共3次 sar -b 2 3输出解读tps每秒传输次数IOPSrtps每秒读请求数wtps每秒写请求数bread/s每秒读取的块数512Bbwrtn/s每秒写入的块数3.3.2 单个磁盘设备分析# 显示每个块设备的详细统计 sar -d -p # 指定设备名查看如sda sar -d -p | grep sda关键性能指标await平均I/O等待时间mssvctm平均服务时间ms%util设备利用率性能诊断await远大于svctm表示I/O队列过长%util接近100%表示设备饱和。我曾经通过这个指标发现一个SSD磁盘因为寿命将至导致svctm从正常的0.5ms飙升到15ms。3.4 网络流量监控3.4.1 网络接口统计# 查看网络设备统计 sar -n DEV # 监控特定网卡如eth0 sar -n DEV | grep eth0核心指标rxpck/s每秒接收包数txpck/s每秒发送包数rxkB/s每秒接收数据量KBtxkB/s每秒发送数据量KB3.4.2 TCP连接统计# TCP连接监控 sar -n TCP # 查看TCP错误统计 sar -n ETCP重点关注active/s每秒本地发起的TCP连接passive/s每秒远程发起的TCP连接retrans/s每秒TCP重传数4. 高级技巧与实战案例4.1 历史数据分析方法4.1.1 查看特定时间段数据# 查看昨天10:00到12:00的CPU数据 sar -u -f /var/log/sa/sa$(date -d yesterday %d) -s 10:00:00 -e 12:00:00 # 查看本月5号9点到10点的内存使用 sar -r -f /var/log/sa/sa05 -s 09:00:00 -e 10:00:004.1.2 生成可视化报告虽然sar本身是命令行工具但我们可以结合其他工具生成可视化图表# 将CPU数据导出为CSV sar -u -f /var/log/sa/sa10 | grep -v ^$ | grep -v Linux | tr -s , cpu.csv # 用gnuplot绘图需要提前安装 echo set terminal png; set output cpu.png; plot cpu.csv using 1:3 title User% with lines, using 1:5 title System% with lines | gnuplot4.2 性能问题诊断流程根据多年经验我总结了一个sar性能分析四步法定方向通过sar -q查看系统负载sar -u确认CPU瓶颈查细节如果CPU高用sar -P ALL看是否某个核心异常如果负载高但CPU不高查内存sar -r和IOsar -b找关联对比问题时间点的各项指标变化找出最先出现异常的指标验假设通过历史数据验证是否是周期性现象或偶发问题4.3 生产环境案例分析案例1数据库查询突然变慢现象每天下午3点MySQL查询响应变慢分析过程用sar -r -f /var/log/sa/sa10发现内存在3点时%memused达到95%sar -B显示此时pgscank/s很高说明kswapd在频繁工作结合sar -d发现磁盘%util达到100%结论内存不足导致频繁交换磁盘成为瓶颈解决方案增加数据库缓冲池配置添加服务器内存案例2API接口间歇性超时现象随机出现API响应超时持续时间1-2分钟分析过程通过sar -n DEV发现网络rxpck/s在超时时段异常高sar -n TCP显示retrans/s同时飙升进一步用sar -A全面检查发现是某个后台任务在大量传输数据解决方案对后台任务实施限流优化数据传输方式5. 常见问题与解决方案5.1 数据收集相关问题Qsar命令显示No data availableA可能原因和解决方法sysstat服务未运行 → 启动服务systemctl start sysstat数据收集间隔太长 → 修改SADC_OPTIONS为更短间隔如1分钟磁盘空间不足 → 清理旧的日志文件Q如何调整数据收集的时间间隔编辑/etc/sysconfig/sysstat修改# 每1分钟收集一次保存3个样本 SADC_OPTIONS-S DISK 1 3然后重启sysstat服务。5.2 性能分析常见误区只看平均值sar默认显示平均值可能掩盖瞬时峰值。建议用-i参数指定更短间隔或查看原始数据文件。孤立看待指标CPU高不一定是CPU问题可能是内存不足导致频繁交换。要综合多个指标分析。忽略历史基线没有建立系统正常时的性能基线导致无法判断当前是否真的异常。建议定期保存典型工作日的sar报告作为参考。过度依赖%util对于SSD等现代存储设备%util达到100%不一定是问题需要结合await等指标综合判断。5.3 性能优化建议CPU密集型应用关注%user和%system比例考虑使用taskset或cgroups进行CPU绑定内存敏感型应用监控kbmemfree和kbswpused调整vm.swappiness参数减少交换IO密集型负载关注await和svctm的差值考虑使用IO调度器调优如deadline改为noop网络服务监控retrans/s等TCP错误指标调整TCP缓冲区大小等内核参数6. 扩展工具与生态系统6.1 与sar配合使用的工具iostat更详细的磁盘I/O统计mpstat更细致的CPU统计pidstat进程级别的资源监控nmon交互式系统监控工具6.2 图形化前端工具ksarJava编写的sar数据可视化工具java -jar ksar.jar -input /var/log/sa/sa10sadfsysstat自带的报表生成工具sadf -d /var/log/sa/sa10 -- -u | gnuplot6.3 企业级监控集成Prometheus node_exporter通过textfile收集器导入sar数据ELK Stack使用Filebeat收集sar日志进行分析Grafana可视化sar历史数据在实际工作中我通常会将sar与这些工具结合使用。比如先用sar快速定位问题方向再用更专业的工具深入分析具体问题。对于长期监控则建议将关键sar指标集成到企业监控系统中。
Linux性能分析神器sar工具详解与实战
1. 为什么你需要掌握sar工具在Linux系统运维和性能调优的日常工作中我们经常会遇到各种玄学问题服务器突然变慢、应用响应延迟、数据库查询卡顿...这时候新手往往会陷入两个极端——要么对着top命令的输出发呆要么直接重启服务器了事。而真正的Linux老手第一反应都是打开sar这个性能分析神器。我见过太多工程师在性能问题面前抓瞎根本原因就是没有系统性地掌握性能分析工具。sarSystem Activity Reporter作为Sysstat工具包的核心组件能够提供从CPU、内存、IO到网络的全面系统活动报告。与top、vmstat等实时监控工具不同sar的强大之处在于历史数据分析能力默认配置下会自动记录系统性能数据让你可以回溯分析问题发生时的系统状态全维度监控覆盖单个工具就能监控CPU、内存、磁盘、网络等所有关键指标低开销数据收集进程sysstat的资源占用几乎可以忽略不计灵活的时间粒度支持从秒级到天级的各种采样间隔提示很多生产环境的事故复盘都依赖sar的历史数据。如果没有提前安装配置好sysstat等到出问题时才想起来要监控那就真的只能靠猜了。2. sar的安装与基础配置2.1 安装sysstat工具包在大多数Linux发行版中sar都包含在sysstat包中。安装方法如下# Ubuntu/Debian sudo apt update sudo apt install sysstat -y # CentOS/RHEL sudo yum install sysstat -y # 验证安装 sar -V安装完成后需要确认数据收集服务是否已启用# 检查服务状态systemd系统 sudo systemctl status sysstat # 如果未运行启用并启动服务 sudo systemctl enable --now sysstat2.2 关键配置项解析sysstat的主要配置文件位于/etc/sysconfig/sysstat或/etc/default/sysstat几个重要参数需要特别关注# 历史数据保存天数默认7天 HISTORY28 # 数据收集频率默认10分钟 SADC_OPTIONS-S DISK 10 3 # 是否压缩历史数据建议开启 COMPRESSAFTER15建议将HISTORY调整为至少14天这样能够覆盖两个周末的业务周期。对于关键业务服务器可以设置为30天甚至更长。2.3 数据文件存储结构sysstat收集的数据默认存储在/var/log/sa/目录下文件命名规则为saDD二进制格式的每日数据文件DD表示日期sarDD文本格式的每日报告例如sa10对应当月10号的数据可以通过sar -f /var/log/sa/sa10命令读取。3. sar核心功能实战解析3.1 CPU性能分析3.1.1 整体CPU使用率# 查看当天CPU使用情况10分钟间隔 sar -u # 查看指定日期的CPU数据 sar -u -f /var/log/sa/sa10 # 实时监控每2秒采样共5次 sar -u 2 5输出字段解析%user用户态CPU时间%system内核态CPU时间%iowait等待I/O的CPU时间%steal虚拟化环境中的CPU抢占时间%idle空闲CPU时间经验法则如果%iowait持续高于5%说明磁盘可能成为瓶颈%idle持续低于20%则CPU资源紧张。3.1.2 多核CPU分析# 查看所有CPU核心的统计 sar -P ALL # 只看第一个CPU核心CPU0 sar -P 0 # 按核心显示用户态使用率 sar -u -P ALL | grep -v Average在多核服务器上需要特别关注CPU使用是否均衡。我曾经遇到过一个案例某个应用线程绑定到了特定核心导致8核CPU中有一个核心100%满载而其他核心却很空闲整体%idle看起来很正常但实际性能已经受到影响。3.2 内存使用分析3.2.1 物理内存与交换空间# 查看内存使用情况 sar -r # 只显示内存相关指标 sar -r 1 3关键指标kbmemfree空闲物理内存KBkbmemused已用物理内存%memused内存使用率kbswpfree空闲交换空间kbswpused已用交换空间3.2.2 内存分页统计# 内存分页活动监控 sar -B # 每秒采集一次共5次 sar -B 1 5重要字段pgpgin/s每秒从磁盘换入的页数pgpgout/s每秒换出到磁盘的页数fault/s每秒缺页异常数major minor避坑提示如果pgpgin/s和pgpgout/s持续高于几百说明系统在进行大量内存交换性能会显著下降。这时候应该考虑增加物理内存或优化应用内存使用。3.3 磁盘I/O分析3.3.1 整体磁盘负载# 查看磁盘I/O统计 sar -b # 每2秒采样共3次 sar -b 2 3输出解读tps每秒传输次数IOPSrtps每秒读请求数wtps每秒写请求数bread/s每秒读取的块数512Bbwrtn/s每秒写入的块数3.3.2 单个磁盘设备分析# 显示每个块设备的详细统计 sar -d -p # 指定设备名查看如sda sar -d -p | grep sda关键性能指标await平均I/O等待时间mssvctm平均服务时间ms%util设备利用率性能诊断await远大于svctm表示I/O队列过长%util接近100%表示设备饱和。我曾经通过这个指标发现一个SSD磁盘因为寿命将至导致svctm从正常的0.5ms飙升到15ms。3.4 网络流量监控3.4.1 网络接口统计# 查看网络设备统计 sar -n DEV # 监控特定网卡如eth0 sar -n DEV | grep eth0核心指标rxpck/s每秒接收包数txpck/s每秒发送包数rxkB/s每秒接收数据量KBtxkB/s每秒发送数据量KB3.4.2 TCP连接统计# TCP连接监控 sar -n TCP # 查看TCP错误统计 sar -n ETCP重点关注active/s每秒本地发起的TCP连接passive/s每秒远程发起的TCP连接retrans/s每秒TCP重传数4. 高级技巧与实战案例4.1 历史数据分析方法4.1.1 查看特定时间段数据# 查看昨天10:00到12:00的CPU数据 sar -u -f /var/log/sa/sa$(date -d yesterday %d) -s 10:00:00 -e 12:00:00 # 查看本月5号9点到10点的内存使用 sar -r -f /var/log/sa/sa05 -s 09:00:00 -e 10:00:004.1.2 生成可视化报告虽然sar本身是命令行工具但我们可以结合其他工具生成可视化图表# 将CPU数据导出为CSV sar -u -f /var/log/sa/sa10 | grep -v ^$ | grep -v Linux | tr -s , cpu.csv # 用gnuplot绘图需要提前安装 echo set terminal png; set output cpu.png; plot cpu.csv using 1:3 title User% with lines, using 1:5 title System% with lines | gnuplot4.2 性能问题诊断流程根据多年经验我总结了一个sar性能分析四步法定方向通过sar -q查看系统负载sar -u确认CPU瓶颈查细节如果CPU高用sar -P ALL看是否某个核心异常如果负载高但CPU不高查内存sar -r和IOsar -b找关联对比问题时间点的各项指标变化找出最先出现异常的指标验假设通过历史数据验证是否是周期性现象或偶发问题4.3 生产环境案例分析案例1数据库查询突然变慢现象每天下午3点MySQL查询响应变慢分析过程用sar -r -f /var/log/sa/sa10发现内存在3点时%memused达到95%sar -B显示此时pgscank/s很高说明kswapd在频繁工作结合sar -d发现磁盘%util达到100%结论内存不足导致频繁交换磁盘成为瓶颈解决方案增加数据库缓冲池配置添加服务器内存案例2API接口间歇性超时现象随机出现API响应超时持续时间1-2分钟分析过程通过sar -n DEV发现网络rxpck/s在超时时段异常高sar -n TCP显示retrans/s同时飙升进一步用sar -A全面检查发现是某个后台任务在大量传输数据解决方案对后台任务实施限流优化数据传输方式5. 常见问题与解决方案5.1 数据收集相关问题Qsar命令显示No data availableA可能原因和解决方法sysstat服务未运行 → 启动服务systemctl start sysstat数据收集间隔太长 → 修改SADC_OPTIONS为更短间隔如1分钟磁盘空间不足 → 清理旧的日志文件Q如何调整数据收集的时间间隔编辑/etc/sysconfig/sysstat修改# 每1分钟收集一次保存3个样本 SADC_OPTIONS-S DISK 1 3然后重启sysstat服务。5.2 性能分析常见误区只看平均值sar默认显示平均值可能掩盖瞬时峰值。建议用-i参数指定更短间隔或查看原始数据文件。孤立看待指标CPU高不一定是CPU问题可能是内存不足导致频繁交换。要综合多个指标分析。忽略历史基线没有建立系统正常时的性能基线导致无法判断当前是否真的异常。建议定期保存典型工作日的sar报告作为参考。过度依赖%util对于SSD等现代存储设备%util达到100%不一定是问题需要结合await等指标综合判断。5.3 性能优化建议CPU密集型应用关注%user和%system比例考虑使用taskset或cgroups进行CPU绑定内存敏感型应用监控kbmemfree和kbswpused调整vm.swappiness参数减少交换IO密集型负载关注await和svctm的差值考虑使用IO调度器调优如deadline改为noop网络服务监控retrans/s等TCP错误指标调整TCP缓冲区大小等内核参数6. 扩展工具与生态系统6.1 与sar配合使用的工具iostat更详细的磁盘I/O统计mpstat更细致的CPU统计pidstat进程级别的资源监控nmon交互式系统监控工具6.2 图形化前端工具ksarJava编写的sar数据可视化工具java -jar ksar.jar -input /var/log/sa/sa10sadfsysstat自带的报表生成工具sadf -d /var/log/sa/sa10 -- -u | gnuplot6.3 企业级监控集成Prometheus node_exporter通过textfile收集器导入sar数据ELK Stack使用Filebeat收集sar日志进行分析Grafana可视化sar历史数据在实际工作中我通常会将sar与这些工具结合使用。比如先用sar快速定位问题方向再用更专业的工具深入分析具体问题。对于长期监控则建议将关键sar指标集成到企业监控系统中。
