PyTorch 中如何使用 LambdaLR？

推荐答案

在 PyTorch 中，LambdaLR 是一种学习率调度器，它允许用户通过一个自定义的 lambda 函数来动态调整学习率。使用 LambdaLR 的基本步骤如下：

// www.javascriptcn.com code example
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim.lr_scheduler import LambdaLR

# 定义一个简单的模型
model = nn.Linear(10, 1)

# 定义优化器
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 定义 lambda 函数，用于调整学习率
lambda_func = lambda epoch: 0.95 ** epoch

# 创建 LambdaLR 调度器
scheduler = LambdaLR(optimizer, lr_lambda=lambda_func)

# 训练循环
for epoch in range(10):
    # 前向传播、反向传播、优化步骤
    # ...

    # 更新学习率
    scheduler.step()

    # 打印当前学习率
    print(f'Epoch {epoch+1}, Learning Rate: {optimizer.param_groups[0]["lr"]}')

本题详细解读

1. LambdaLR 的作用

LambdaLR 是 PyTorch 提供的一种学习率调度器，它允许用户通过一个自定义的 lambda 函数来动态调整学习率。这个 lambda 函数接收当前的 epoch 数作为输入，并返回一个缩放因子，该因子将应用于初始学习率。

2. LambdaLR 的参数

• optimizer: 需要调整学习率的优化器。
• lr_lambda: 一个 lambda 函数或函数列表，用于计算每个 epoch 的学习率缩放因子。如果是列表，则每个元素对应优化器的一个参数组。

3. 使用步骤

1. 定义模型和优化器: 首先需要定义一个模型和一个优化器。
2. 定义 lambda 函数: 定义一个 lambda 函数，该函数接收当前的 epoch 数并返回一个缩放因子。
3. 创建 LambdaLR 调度器: 使用 LambdaLR 类创建调度器，并将优化器和 lambda 函数传递给它。
4. 在训练循环中更新学习率: 在每个 epoch 结束时调用 scheduler.step() 来更新学习率。

4. 示例解释

在示例中，我们定义了一个简单的线性模型和一个 SGD 优化器。然后，我们定义了一个 lambda 函数 lambda_func，它将学习率按指数衰减（每次乘以 0.95）。最后，在训练循环中，我们调用 scheduler.step() 来更新学习率，并打印出当前的学习率。

通过这种方式，LambdaLR 可以灵活地根据训练进度动态调整学习率，从而提高模型的训练效果。