用Matplotlib绘制PyTorch学习率变化曲线的10种实战方法第一次调整神经网络学习率时我盯着那些抽象的参数名发愣——StepLR的gamma到底该设多少CosineAnnealingLR的T_max是什么意思直到我把这些调度器的变化曲线画出来一切突然变得清晰可见。本文将带你用Matplotlib可视化PyTorch全部10种学习率调度策略从基础的LambdaLR到复杂的OneCycleLR每个调度器都会用可运行的代码示例展示其独特的变化规律。1. 环境准备与通用绘图函数在开始之前我们需要建立一个可复用的实验环境。这个环境要满足两个核心需求能够快速切换不同的学习率调度器以及自动记录和可视化学习率变化。以下是基础配置import torch import torch.nn as nn import matplotlib.pyplot as plt from torch.optim import SGD from torch.optim.lr_scheduler import * # 通用模型和优化器设置 model nn.Linear(10, 2) optimizer SGD(model.parameters(), lr0.1) def plot_lr_scheduler(scheduler_class, **kwargs): 通用学习率曲线绘制函数 optimizer SGD(model.parameters(), lr0.1) # 每次使用初始学习率0.1 scheduler scheduler_class(optimizer, **kwargs) lr_history [] for epoch in range(100): lr_history.append(optimizer.param_groups[0][lr]) scheduler.step() plt.figure(figsize(10, 5)) plt.plot(lr_history) plt.title(scheduler_class.__name__) plt.xlabel(Epoch) plt.ylabel(Learning Rate) plt.grid(True) plt.show()这个plot_lr_scheduler函数将成为我们的瑞士军刀只需传入不同的scheduler类和对应参数就能立即生成学习率变化曲线。注意我们固定了初始学习率为0.1这是为了在不同调度器之间保持一致的比较基准。2. 基础学习率调度器可视化2.1 LambdaLR自定义函数控制LambdaLR允许我们通过lambda函数完全自定义学习率变化规则。比如实现一个指数衰减plot_lr_scheduler(LambdaLR, lr_lambdalambda epoch: 0.95 ** epoch)这条曲线会呈现平滑的指数下降趋势。LambdaLR的灵活性极高你可以尝试不同的函数形式线性衰减lambda epoch: 1 - 0.01 * epoch余弦式衰减lambda epoch: 0.5 * (1 math.cos(epoch / 100 * math.pi))2.2 MultiplicativeLR连乘式衰减与LambdaLR类似但每次基于当前学习率而非初始学习率plot_lr_scheduler(MultiplicativeLR, lr_lambdalambda epoch: 0.95)你会注意到曲线初期下降较快后期逐渐平缓。这种特性使得它在训练初期能快速降低学习率后期则保持相对稳定。2.3 StepLR阶梯式下降最直观的调度策略之一每隔固定epoch将学习率乘以gammaplot_lr_scheduler(StepLR, step_size30, gamma0.1)典型参数组合效果对比step_sizegamma曲线特点200.5中等频率平缓下降100.1高频陡降500.8低频缓慢下降3. 中级调度策略分析3.1 MultiStepLR多阶段阶梯下降StepLR的升级版可以在不同时间点调整学习率plot_lr_scheduler(MultiStepLR, milestones[30, 70], gamma0.1)这种调度器特别适合那些我们知道模型应该在何时改变学习节奏的任务。例如在目标检测中backbone和head可能需要不同的学习率调整时机。3.2 ExponentialLR指数衰减数学上最简洁的衰减方式plot_lr_scheduler(ExponentialLR, gamma0.95)与LambdaLR实现的指数衰减不同ExponentialLR是官方优化过的实现通常计算效率更高。当gamma接近1时(如0.99)适合需要长时间稳定训练的场景较小的gamma(如0.9)则适合快速收敛。3.3 CosineAnnealingLR余弦退火产生平滑的周期性变化曲线plot_lr_scheduler(CosineAnnealingLR, T_max20, eta_min0.001)关键参数解释T_max半个周期的epoch数eta_min学习率下限这种调度器在图像分类任务中表现出色特别是当配合学习率重启策略时即接下来介绍的CosineAnnealingWarmRestarts。4. 高级动态调度策略4.1 ReduceLROnPlateau基于指标动态调整唯一需要手动传入指标的调度器optimizer SGD(model.parameters(), lr0.1) scheduler ReduceLROnPlateau(optimizer, modemin, factor0.1, patience5) val_loss [2-i*0.02 random.random()*0.1 for i in range(100)] lr_history [] for epoch in range(100): lr_history.append(optimizer.param_groups[0][lr]) scheduler.step(val_loss[epoch]) plt.plot(lr_history)这个调度器会监控验证损失当损失停止下降时自动降低学习率。参数patience决定了等待多少个epoch没有改善后再调整。4.2 CyclicLR三角形循环策略实现学习率的周期性变化optimizer SGD(model.parameters(), lr0.001) # 注意这里使用base_lr scheduler CyclicLR(optimizer, base_lr0.001, max_lr0.1, step_size_up20, step_size_down20, modetriangular) lr_history [] for epoch in range(100): for batch in range(20): # 模拟每个epoch有20个batch lr_history.append(optimizer.param_groups[0][lr]) optimizer.step() scheduler.step() plt.plot(lr_history)CyclicLR有三种模式可选triangular基本三角形循环triangular2每个周期振幅减半exp_range指数缩放振幅4.3 CosineAnnealingWarmRestarts带重启的余弦退火plot_lr_scheduler(CosineAnnealingWarmRestarts, T_020, T_mult1, eta_min0.001)参数T_mult控制每次重启后周期的增长倍数。设为1表示周期长度不变大于1则每次周期变长。这种策略在Transformer模型的训练中尤其有效。4.4 OneCycleLR单周期策略optimizer SGD(model.parameters(), lr0.1) scheduler OneCycleLR(optimizer, max_lr0.3, steps_per_epoch20, epochs5, pct_start0.3) lr_history [] for epoch in range(5): for batch in range(20): lr_history.append(optimizer.param_groups[0][lr]) optimizer.step() scheduler.step() plt.plot(lr_history)OneCycleLR的三个阶段学习率从初始值上升到max_lr前30%步骤从max_lr下降到远低于初始学习率可选最终衰减阶段5. 综合对比与应用建议将多种调度器的曲线放在同一坐标系中对比schedulers { StepLR: StepLR(optimizer, step_size30, gamma0.1), CosineAnnealingLR: CosineAnnealingLR(optimizer, T_max25), CyclicLR: CyclicLR(optimizer, base_lr0.01, max_lr0.1, step_size_up15, step_size_down15), OneCycleLR: OneCycleLR(optimizer, max_lr0.3, steps_per_epoch100, epochs1) } plt.figure(figsize(12, 6)) for name, scheduler in schedulers.items(): optimizer SGD(model.parameters(), lr0.1) scheduler.optimizer optimizer lr_history [] for epoch in range(100): lr_history.append(optimizer.param_groups[0][lr]) if name OneCycleLR: for _ in range(100): scheduler.step() else: scheduler.step() plt.plot(lr_history, labelname) plt.legend() plt.grid(True) plt.xlabel(Epoch/Iteration) plt.ylabel(Learning Rate)不同任务场景下的选择建议计算机视觉图像分类CosineAnnealingWarmRestarts目标检测MultiStepLR自然语言处理TransformerOneCycleLRRNNReduceLROnPlateau强化学习连续控制CyclicLR离散动作ExponentialLR调试技巧先用小规模数据快速测试调度器效果注意batch size与学习率的关系配合权重衰减等正则化方法使用
手把手教你用Matplotlib可视化PyTorch的10种学习率变化曲线（从LambdaLR到OneCycleLR）
用Matplotlib绘制PyTorch学习率变化曲线的10种实战方法第一次调整神经网络学习率时我盯着那些抽象的参数名发愣——StepLR的gamma到底该设多少CosineAnnealingLR的T_max是什么意思直到我把这些调度器的变化曲线画出来一切突然变得清晰可见。本文将带你用Matplotlib可视化PyTorch全部10种学习率调度策略从基础的LambdaLR到复杂的OneCycleLR每个调度器都会用可运行的代码示例展示其独特的变化规律。1. 环境准备与通用绘图函数在开始之前我们需要建立一个可复用的实验环境。这个环境要满足两个核心需求能够快速切换不同的学习率调度器以及自动记录和可视化学习率变化。以下是基础配置import torch import torch.nn as nn import matplotlib.pyplot as plt from torch.optim import SGD from torch.optim.lr_scheduler import * # 通用模型和优化器设置 model nn.Linear(10, 2) optimizer SGD(model.parameters(), lr0.1) def plot_lr_scheduler(scheduler_class, **kwargs): 通用学习率曲线绘制函数 optimizer SGD(model.parameters(), lr0.1) # 每次使用初始学习率0.1 scheduler scheduler_class(optimizer, **kwargs) lr_history [] for epoch in range(100): lr_history.append(optimizer.param_groups[0][lr]) scheduler.step() plt.figure(figsize(10, 5)) plt.plot(lr_history) plt.title(scheduler_class.__name__) plt.xlabel(Epoch) plt.ylabel(Learning Rate) plt.grid(True) plt.show()这个plot_lr_scheduler函数将成为我们的瑞士军刀只需传入不同的scheduler类和对应参数就能立即生成学习率变化曲线。注意我们固定了初始学习率为0.1这是为了在不同调度器之间保持一致的比较基准。2. 基础学习率调度器可视化2.1 LambdaLR自定义函数控制LambdaLR允许我们通过lambda函数完全自定义学习率变化规则。比如实现一个指数衰减plot_lr_scheduler(LambdaLR, lr_lambdalambda epoch: 0.95 ** epoch)这条曲线会呈现平滑的指数下降趋势。LambdaLR的灵活性极高你可以尝试不同的函数形式线性衰减lambda epoch: 1 - 0.01 * epoch余弦式衰减lambda epoch: 0.5 * (1 math.cos(epoch / 100 * math.pi))2.2 MultiplicativeLR连乘式衰减与LambdaLR类似但每次基于当前学习率而非初始学习率plot_lr_scheduler(MultiplicativeLR, lr_lambdalambda epoch: 0.95)你会注意到曲线初期下降较快后期逐渐平缓。这种特性使得它在训练初期能快速降低学习率后期则保持相对稳定。2.3 StepLR阶梯式下降最直观的调度策略之一每隔固定epoch将学习率乘以gammaplot_lr_scheduler(StepLR, step_size30, gamma0.1)典型参数组合效果对比step_sizegamma曲线特点200.5中等频率平缓下降100.1高频陡降500.8低频缓慢下降3. 中级调度策略分析3.1 MultiStepLR多阶段阶梯下降StepLR的升级版可以在不同时间点调整学习率plot_lr_scheduler(MultiStepLR, milestones[30, 70], gamma0.1)这种调度器特别适合那些我们知道模型应该在何时改变学习节奏的任务。例如在目标检测中backbone和head可能需要不同的学习率调整时机。3.2 ExponentialLR指数衰减数学上最简洁的衰减方式plot_lr_scheduler(ExponentialLR, gamma0.95)与LambdaLR实现的指数衰减不同ExponentialLR是官方优化过的实现通常计算效率更高。当gamma接近1时(如0.99)适合需要长时间稳定训练的场景较小的gamma(如0.9)则适合快速收敛。3.3 CosineAnnealingLR余弦退火产生平滑的周期性变化曲线plot_lr_scheduler(CosineAnnealingLR, T_max20, eta_min0.001)关键参数解释T_max半个周期的epoch数eta_min学习率下限这种调度器在图像分类任务中表现出色特别是当配合学习率重启策略时即接下来介绍的CosineAnnealingWarmRestarts。4. 高级动态调度策略4.1 ReduceLROnPlateau基于指标动态调整唯一需要手动传入指标的调度器optimizer SGD(model.parameters(), lr0.1) scheduler ReduceLROnPlateau(optimizer, modemin, factor0.1, patience5) val_loss [2-i*0.02 random.random()*0.1 for i in range(100)] lr_history [] for epoch in range(100): lr_history.append(optimizer.param_groups[0][lr]) scheduler.step(val_loss[epoch]) plt.plot(lr_history)这个调度器会监控验证损失当损失停止下降时自动降低学习率。参数patience决定了等待多少个epoch没有改善后再调整。4.2 CyclicLR三角形循环策略实现学习率的周期性变化optimizer SGD(model.parameters(), lr0.001) # 注意这里使用base_lr scheduler CyclicLR(optimizer, base_lr0.001, max_lr0.1, step_size_up20, step_size_down20, modetriangular) lr_history [] for epoch in range(100): for batch in range(20): # 模拟每个epoch有20个batch lr_history.append(optimizer.param_groups[0][lr]) optimizer.step() scheduler.step() plt.plot(lr_history)CyclicLR有三种模式可选triangular基本三角形循环triangular2每个周期振幅减半exp_range指数缩放振幅4.3 CosineAnnealingWarmRestarts带重启的余弦退火plot_lr_scheduler(CosineAnnealingWarmRestarts, T_020, T_mult1, eta_min0.001)参数T_mult控制每次重启后周期的增长倍数。设为1表示周期长度不变大于1则每次周期变长。这种策略在Transformer模型的训练中尤其有效。4.4 OneCycleLR单周期策略optimizer SGD(model.parameters(), lr0.1) scheduler OneCycleLR(optimizer, max_lr0.3, steps_per_epoch20, epochs5, pct_start0.3) lr_history [] for epoch in range(5): for batch in range(20): lr_history.append(optimizer.param_groups[0][lr]) optimizer.step() scheduler.step() plt.plot(lr_history)OneCycleLR的三个阶段学习率从初始值上升到max_lr前30%步骤从max_lr下降到远低于初始学习率可选最终衰减阶段5. 综合对比与应用建议将多种调度器的曲线放在同一坐标系中对比schedulers { StepLR: StepLR(optimizer, step_size30, gamma0.1), CosineAnnealingLR: CosineAnnealingLR(optimizer, T_max25), CyclicLR: CyclicLR(optimizer, base_lr0.01, max_lr0.1, step_size_up15, step_size_down15), OneCycleLR: OneCycleLR(optimizer, max_lr0.3, steps_per_epoch100, epochs1) } plt.figure(figsize(12, 6)) for name, scheduler in schedulers.items(): optimizer SGD(model.parameters(), lr0.1) scheduler.optimizer optimizer lr_history [] for epoch in range(100): lr_history.append(optimizer.param_groups[0][lr]) if name OneCycleLR: for _ in range(100): scheduler.step() else: scheduler.step() plt.plot(lr_history, labelname) plt.legend() plt.grid(True) plt.xlabel(Epoch/Iteration) plt.ylabel(Learning Rate)不同任务场景下的选择建议计算机视觉图像分类CosineAnnealingWarmRestarts目标检测MultiStepLR自然语言处理TransformerOneCycleLRRNNReduceLROnPlateau强化学习连续控制CyclicLR离散动作ExponentialLR调试技巧先用小规模数据快速测试调度器效果注意batch size与学习率的关系配合权重衰减等正则化方法使用
