PyTorch 中如何使用学习率调度器 (Scheduler)？

推荐答案

在 PyTorch 中，学习率调度器（Scheduler）用于在训练过程中动态调整学习率。以下是一个典型的使用示例：

// www.javascriptcn.com code example
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

# 定义一个简单的模型
model = nn.Linear(10, 1)

# 定义优化器
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 定义学习率调度器，每隔 30 个 epoch 将学习率乘以 0.1
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

# 训练循环
for epoch in range(100):
    # 训练代码...
    
    # 更新学习率
    scheduler.step()

本题详细解读

1. 学习率调度器的作用

学习率调度器用于在训练过程中根据预定义的策略调整学习率。通过动态调整学习率，可以加速模型收敛，避免陷入局部最优，或者在训练后期微调模型。

2. PyTorch 中的学习率调度器

PyTorch 提供了多种学习率调度器，常见的包括：

• StepLR: 每隔固定的 epoch 数将学习率乘以一个因子。
• MultiStepLR: 在指定的 epoch 数将学习率乘以一个因子。
• ExponentialLR: 每个 epoch 将学习率乘以一个指数因子。
• ReduceLROnPlateau: 当某个指标（如验证损失）停止改善时，降低学习率。

3. 使用步骤

1. 定义优化器：首先需要定义一个优化器，如 SGD 或 Adam。
2. 定义调度器：选择一个合适的学习率调度器，并将其与优化器绑定。
3. 在训练循环中更新学习率：在每个 epoch 结束时调用 scheduler.step() 来更新学习率。

4. 示例代码解析

• StepLR(optimizer, step_size=30, gamma=0.1)：每隔 30 个 epoch，学习率乘以 0.1。
• scheduler.step()：在每个 epoch 结束时调用，更新学习率。

5. 注意事项

• 学习率调度器的调用时机通常在每个 epoch 结束时。
• 不同的调度器有不同的参数和适用场景，选择合适的调度器可以显著提升模型性能。