PyTorch 中如何使用 torch.nn.Sigmoid 激活函数？

推荐答案

在 PyTorch 中，torch.nn.Sigmoid 是一个常用的激活函数，它将输入值映射到 (0, 1) 的范围内。以下是如何在 PyTorch 中使用 torch.nn.Sigmoid 的示例代码：

// www.javascriptcn.com code example
import torch
import torch.nn as nn

# 创建一个 Sigmoid 激活函数实例
sigmoid = nn.Sigmoid()

# 创建一个输入张量
input_tensor = torch.tensor([-1.0, 0.0, 1.0])

# 应用 Sigmoid 激活函数
output_tensor = sigmoid(input_tensor)

print(output_tensor)

输出结果将是：

tensor([0.2689, 0.5000, 0.7311])

本题详细解读

1. torch.nn.Sigmoid 的作用

torch.nn.Sigmoid 是 PyTorch 中的一个激活函数，它将输入值映射到 (0, 1) 的范围内。Sigmoid 函数的数学表达式为：

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

其中，( x ) 是输入值，( \sigma(x) ) 是输出值。

2. 使用 torch.nn.Sigmoid 的步骤

1. 导入必要的库：首先需要导入 torch 和 torch.nn 模块。

   import torch
   import torch.nn as nn

2. 创建 Sigmoid 实例：通过 nn.Sigmoid() 创建一个 Sigmoid 激活函数的实例。

   sigmoid = nn.Sigmoid()

3. 创建输入张量：定义一个输入张量，可以是任意形状的张量。

   input_tensor = torch.tensor([-1.0, 0.0, 1.0])

4. 应用 Sigmoid 激活函数：将输入张量传递给 Sigmoid 实例，得到输出张量。

   output_tensor = sigmoid(input_tensor)

5. 查看输出结果：打印输出张量，查看 Sigmoid 激活函数的效果。

   print(output_tensor)

3. 注意事项

• 输入类型：torch.nn.Sigmoid 可以处理任意形状的张量，输入张量的数据类型应为浮点型（如 torch.float32）。
• 输出范围：Sigmoid 函数的输出值始终在 (0, 1) 之间，适合用于二分类问题的输出层。
• 梯度消失问题：Sigmoid 函数在输入值较大或较小时，梯度接近于 0，可能导致梯度消失问题，因此在深层神经网络中不常用。

通过以上步骤，你可以在 PyTorch 中轻松使用 torch.nn.Sigmoid 激活函数。