跳到主要内容

PyTorch 学习率调度器

在深度学习模型的训练过程中，学习率（Learning Rate）是一个至关重要的超参数。它决定了模型参数在每次更新时的步长大小。如果学习率设置得过高，模型可能会在最优解附近震荡，甚至无法收敛；如果学习率设置得过低，模型的训练速度会变得非常缓慢。因此，如何动态调整学习率成为了一个关键问题。

PyTorch提供了多种学习率调度器（Learning Rate Scheduler），帮助我们在训练过程中自动调整学习率。本文将详细介绍这些调度器的使用方法，并通过实际案例展示它们的应用场景。

什么是学习率调度器？​

学习率调度器是一种在训练过程中动态调整学习率的工具。它可以根据训练的进度、损失函数的变化或其他指标，自动调整学习率的大小。通过使用学习率调度器，我们可以避免手动调整学习率的繁琐过程，同时提高模型的训练效果。

常见的学习率调度器​

PyTorch提供了多种学习率调度器，以下是一些常见的调度器：

  1. StepLR: 每隔固定的训练步数（epoch）将学习率乘以一个给定的因子。
  2. MultiStepLR: 在指定的训练步数时将学习率乘以一个给定的因子。
  3. ExponentialLR: 每个训练步数时将学习率按指数衰减。
  4. ReduceLROnPlateau: 当某个指标（如验证损失）停止改善时，降低学习率。
  5. CosineAnnealingLR: 按照余弦函数周期性地调整学习率。

接下来，我们将通过代码示例逐步讲解这些调度器的使用方法。

StepLR​

StepLR 是最简单的学习率调度器之一。它每隔固定的训练步数（epoch）将学习率乘以一个给定的因子。

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的模型
model = nn.Linear(10, 1)

# 定义优化器
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 定义StepLR调度器，每隔30个epoch将学习率乘以0.1
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

for epoch in range(100):
    # 训练代码...
    optimizer.step()
    scheduler.step()
    print(f'Epoch {epoch+1}, Learning Rate: {scheduler.get_last_lr()[0]}')

在上述代码中，学习率每隔30个epoch会乘以0.1。例如，初始学习率为0.1，经过30个epoch后，学习率变为0.01，再经过30个epoch后，学习率变为0.001，以此类推。

MultiStepLR​

MultiStepLR 与 StepLR 类似，但它允许在指定的训练步数时调整学习率。

# 定义MultiStepLR调度器，在第30和80个epoch时将学习率乘以0.1
scheduler = optim.lr_scheduler.MultiStepLR(optimizer, milestones=[30, 80], gamma=0.1)

for epoch in range(100):
    # 训练代码...
    optimizer.step()
    scheduler.step()
    print(f'Epoch {epoch+1}, Learning Rate: {scheduler.get_last_lr()[0]}')

在这个例子中，学习率在第30和第80个epoch时会分别乘以0.1。

ExponentialLR​

ExponentialLR 在每个训练步数时将学习率按指数衰减。

# 定义ExponentialLR调度器，每个epoch将学习率乘以0.95
scheduler = optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.95)

for epoch in range(100):
    # 训练代码...
    optimizer.step()
    scheduler.step()
    print(f'Epoch {epoch+1}, Learning Rate: {scheduler.get_last_lr()[0]}')

在这个例子中，学习率会按照指数函数逐渐衰减，每个epoch乘以0.95。

ReduceLROnPlateau​

ReduceLROnPlateau 是一种基于指标的学习率调度器。当某个指标（如验证损失）停止改善时，它会降低学习率。

# 定义ReduceLROnPlateau调度器，当验证损失在10个epoch内没有改善时，将学习率乘以0.1
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10)

for epoch in range(100):
    # 训练代码...
    val_loss = ...  # 计算验证损失
    optimizer.step()
    scheduler.step(val_loss)
    print(f'Epoch {epoch+1}, Learning Rate: {scheduler.get_last_lr()[0]}')

在这个例子中，如果验证损失在10个epoch内没有改善，学习率会乘以0.1。

CosineAnnealingLR​

CosineAnnealingLR 按照余弦函数周期性地调整学习率。

# 定义CosineAnnealingLR调度器，周期为50个epoch
scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50)

for epoch in range(100):
    # 训练代码...
    optimizer.step()
    scheduler.step()
    print(f'Epoch {epoch+1}, Learning Rate: {scheduler.get_last_lr()[0]}')

在这个例子中，学习率会按照余弦函数在50个epoch内周期性地变化。

实际案例​

假设我们正在训练一个图像分类模型，并且在训练过程中发现模型在某个阶段开始过拟合。我们可以使用 ReduceLROnPlateau 调度器来动态调整学习率，以防止过拟合。

# 定义模型、损失函数和优化器
model = ...  # 定义模型
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 定义ReduceLROnPlateau调度器
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=5)

for epoch in range(100):
    # 训练代码...
    train_loss = ...  # 计算训练损失
    val_loss = ...  # 计算验证损失
    optimizer.step()
    scheduler.step(val_loss)
    print(f'Epoch {epoch+1}, Learning Rate: {scheduler.get_last_lr()[0]}')

在这个案例中，如果验证损失在5个epoch内没有改善，学习率会乘以0.1，从而减缓模型的训练速度，防止过拟合。

总结​

学习率调度器是优化深度学习模型训练过程的重要工具。通过动态调整学习率，我们可以提高模型的收敛速度，避免过拟合，并最终获得更好的模型性能。本文介绍了几种常见的PyTorch学习率调度器，并通过代码示例展示了它们的使用方法。

附加资源与练习​

  • 练习: 尝试在不同的模型和数据集上使用不同的学习率调度器，观察它们对模型性能的影响。
  • 资源: 参考PyTorch官方文档，了解更多关于学习率调度器的详细信息：PyTorch Learning Rate Schedulers
提示

在实际应用中，选择合适的学习率调度器需要根据具体的任务和数据集进行调整。建议通过实验来找到最适合的调度器。