这一节我们来动手实现softmax回归。首先导入本节实现所需的包或模块。
%matplotlib inline
import d2ltorch as d2lt
import torch
from torch import nn, autograd
我们将使用Fashion-MNIST数据集,并设置批量大小为256。
root = '~/dataset/'
batch_size = 256
train_iter, test_iter = d2lt.load_data_fashion_mnist(root, batch_size=batch_size)
跟线性回归中的例子一样,我们将使用向量表示每个样本。已知每个样本输入是高和宽均为28像素的图像。模型的输入向量的长度是$28 \times 28 = 784$:该向量的每个元素对应图像中每个像素。由于图像有10个类别,单层神经网络输出层的输出个数为10,因此softmax回归的权重和偏差参数分别为$784 \times 10$和$1 \times 10$的矩阵。
num_inputs = 784
num_outputs = 10
W = torch.normal(mean=torch.zeros(num_inputs, num_outputs), std=0.01)
b = torch.zeros(num_outputs)
同之前一样,我们要为模型参数附上梯度。
W.requires_grad_()
b.requires_grad_()
tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], requires_grad=True)
在介绍如何定义softmax回归之前,我们先描述一下对如何对多维tensor
按维度操作。在下面的例子中,给定一个tensor
矩阵X
。我们可以只对其中同一列(dim=0
)或同一行(dim=1
)的元素求和,并在结果中保留行和列这两个维度(keepdim=True
)。
X = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(X.sum(dim=0, keepdim=True))
print(X.sum(dim=1, keepdim=True))
tensor([[5, 7, 9]]) tensor([[ 6], [15]])
下面我们就可以定义前面小节里介绍的softmax运算了。在下面的函数中,矩阵X
的行数是样本数,列数是输出个数。为了表达样本预测各个输出的概率,softmax运算会先通过exp
函数对每个元素做指数运算,再对exp
矩阵同行元素求和,最后令矩阵每行各元素与该行元素之和相除。这样一来,最终得到的矩阵每行元素和为1且非负。因此,该矩阵每行都是合法的概率分布。softmax运算的输出矩阵中的任意一行元素代表了一个样本在各个输出类别上的预测概率。
def softmax(X):
X_exp = X.exp()
partition = X_exp.sum(dim=1, keepdim=True)
return X_exp / partition # 这里应用了广播机制
可以看到,对于随机输入,我们将每个元素变成了非负数,且每一行和为1。
X = torch.randn(2, 5)
X_prob = softmax(X)
X_prob, X_prob.sum(dim=1)
(tensor([[0.3157, 0.1364, 0.1423, 0.2557, 0.1499], [0.1805, 0.2866, 0.1204, 0.2351, 0.1774]]), tensor([1.0000, 1.0000]))
有了softmax运算,我们可以定义上节描述的softmax回归模型了。这里通过reshape
函数将每张原始图像改成长度为num_inputs
的向量。
def net(X):
return softmax(torch.mm(X.reshape(-1, num_inputs), W) + b)
上一节中,我们介绍了softmax回归使用的交叉熵损失函数。为了得到标签的预测概率,我们可以使用gather
函数。在下面的例子中,变量y_hat
是2个样本在3个类别的预测概率,变量y
是这2个样本的标签类别。通过使用gather
函数,我们得到了2个样本的标签的预测概率。与“softmax回归”一节数学表述中标签类别离散值从1开始逐一递增不同,在代码中,标签类别的离散值是从0开始逐一递增的。
y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])
y = torch.tensor([0, 2], dtype=torch.long)
torch.gather(y_hat, dim=1, index=y.reshape(2, -1))
tensor([[0.1000], [0.5000]])
下面实现了“softmax回归”一节中介绍的交叉熵损失函数。
def cross_entropy(y_hat, y):
return -torch.gather(y_hat, dim=1, index=y.reshape(y_hat.shape[0], -1)).log()
def accuracy(y_hat, y):
return (y_hat.data.argmax(dim=1) == y).float().mean().item()
让我们继续使用在演示gather
函数时定义的变量y_hat
和y
,并将它们分别作为预测概率分布和标签。可以看到,第一个样本预测类别为2(该行最大元素0.6在本行的索引为2),与真实标签0不一致;第二个样本预测类别为2(该行最大元素0.5在本行的索引为2),与真实标签2一致。因此,这两个样本上的分类准确率为0.5。
accuracy(y_hat, y)
0.5
类似地,我们可以评价模型net
在数据集data_iter
上的准确率。
# 本函数已保存在d2lzh包中方便以后使用。该函数将被逐步改进:它的完整实现将在“图像增广”一节中
# 描述
def evaluate_accuracy(data_iter, net):
acc_sum, n = 0.0, 0
with torch.no_grad():
for X, y in data_iter:
acc_sum += (net(X).argmax(dim=1) == y).sum().item()
n += y.size(0)
return acc_sum / n
因为我们随机初始化了模型net
,所以这个随机模型的准确率应该接近于类别个数10的倒数0.1。
evaluate_accuracy(test_iter, net)
0.0772
训练softmax回归的实现跟“线性回归的从零开始实现”一节介绍的线性回归中的实现非常相似。我们同样使用小批量随机梯度下降来优化模型的损失函数。在训练模型时,迭代周期数num_epochs
和学习率lr
都是可以调的超参数。改变它们的值可能会得到分类更准确的模型。
num_epochs, lr = 5, 0.1
# 本函数已保存在d2ltorch包中方便以后使用
def train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size,
params=None, lr=None, optimizer=None):
for epoch in range(num_epochs):
train_l_sum, train_acc_sum, n = 0.0, 0.0, 0
for X, y in train_iter:
y_hat = net(X)
l = loss(y_hat, y).sum()
l.backward()
if optimizer is None:
if isinstance(loss, nn.Module):
d2lt.sgd(params, lr, 1) # 当使用nn中的损失函数时,不需要设置batch_size
else:
d2lt.sgd(params, lr, batch_size)
else:
optimizer.step()
optimizer.zero_grad()
train_l_sum += l.data.item()
train_acc_sum += (y_hat.data.argmax(dim=1) == y).sum().item()
n += y.size(0)
test_acc = evaluate_accuracy(test_iter, net)
print('epoch %d, loss %.4f, train acc %.3f, test acc %.3f'
% (epoch + 1, train_l_sum / n, train_acc_sum / n, test_acc))
train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, batch_size,
[W, b], lr)
epoch 1, loss 0.7869, train acc 0.748, test acc 0.791 epoch 2, loss 0.5693, train acc 0.814, test acc 0.812 epoch 3, loss 0.5256, train acc 0.825, test acc 0.817 epoch 4, loss 0.5019, train acc 0.832, test acc 0.816 epoch 5, loss 0.4855, train acc 0.837, test acc 0.830
训练完成后,现在就可以演示如何对图像进行分类了。给定一系列图像(第三行图像输出),我们比较一下它们的真实标签(第一行文本输出)和模型预测结果(第二行文本输出)。
for X, y in test_iter:
break
with torch.no_grad():
true_labels = d2lt.get_fashion_mnist_labels(y.numpy())
pred_labels = d2lt.get_fashion_mnist_labels(net(X).argmax(dim=1).numpy())
titles = [true + '\n' + pred for true, pred in zip(true_labels, pred_labels)]
d2lt.show_fashion_mnist(X[0: 9], titles[0: 9])
cross_entropy
函数是按照“softmax回归”一节中的交叉熵损失函数的数学定义实现的。这样的实现方式可能有什么问题?(提示:思考一下对数函数的定义域。)