PyTorch 中如何使用 torch.optim.AdamW？-JavaScript中文网-JavaScript教程资源分享门户

推荐答案

在 PyTorch 中，torch.optim.AdamW 是 Adam 优化器的一个变种，它通过引入权重衰减（weight decay）的正则化方式来避免过拟合。以下是使用 torch.optim.AdamW 的基本步骤：

// www.javascriptcn.com code example
import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的模型
model = nn.Sequential(
    nn.Linear(10, 50),
    nn.ReLU(),
    nn.Linear(50, 1)
)

# 定义损失函数
criterion = nn.MSELoss()

# 定义优化器，使用 AdamW
optimizer = optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01)

# 假设有一些输入数据和目标数据
inputs = torch.randn(32, 10)
targets = torch.randn(32, 1)

# 前向传播
outputs = model(inputs)
loss = criterion(outputs, targets)

# 反向传播和优化
optimizer.zero_grad()
loss.backward()
optimizer.step()

本题详细解读

1. `torch.optim.AdamW` 的基本用法

torch.optim.AdamW 是 PyTorch 中提供的一个优化器，它是 Adam 优化器的改进版本。AdamW 的主要改进在于它正确处理了权重衰减（weight decay）的问题。在标准的 Adam 优化器中，权重衰减通常是通过 L2 正则化来实现的，但这种方式会导致权重衰减与梯度更新耦合在一起，从而影响优化效果。AdamW 通过将权重衰减与梯度更新解耦，使得权重衰减更加有效。

2. 参数说明

model.parameters(): 这是模型的参数，优化器会根据这些参数进行优化。
lr: 学习率（learning rate），控制每次参数更新的步长。
weight_decay: 权重衰减系数，用于控制正则化的强度。

3. 优化步骤

定义模型和损失函数: 首先需要定义一个模型和一个损失函数。模型可以是任何 PyTorch 的 nn.Module 子类，损失函数可以是任何 PyTorch 提供的损失函数，如 MSELoss、CrossEntropyLoss 等。
定义优化器: 使用 torch.optim.AdamW 创建一个优化器对象，传入模型的参数、学习率和权重衰减系数。
前向传播: 将输入数据传入模型，得到输出结果，并计算损失。
反向传播: 调用 loss.backward() 计算梯度。
优化步骤: 调用 optimizer.step() 更新模型参数。

4. 注意事项

权重衰减: weight_decay 参数是 AdamW 的一个重要特性，它控制着正则化的强度。较大的 weight_decay 值会导致更强的正则化效果，有助于防止过拟合。
学习率: 学习率的选择对模型的训练效果有很大影响。通常需要通过实验来确定一个合适的学习率。
梯度清零: 在每次优化步骤之前，需要调用 optimizer.zero_grad() 来清除之前的梯度，否则梯度会累积，导致错误的参数更新。

PyTorch 中如何使用 torch.optim.AdamW？