#!/usr/bin/env python
# coding: utf-8

# # 模型选择、欠拟合和过拟合
# 
# 在前几节基于Fashion-MNIST数据集的实验中，我们评价了机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不一定更准确。这是为什么呢？
# 
# 
# ## 训练误差和泛化误差
# 
# 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。
# 
# 让我们以高考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年高考试题（训练题）时的错误率，泛化误差则可以通过真正参加高考（测试题）时的答题错误率来近似。假设训练题和测试题都随机采样于一个未知的依照相同考纲的巨大试题库。如果让一名未学习中学知识的小学生去答题，那么测试题和训练题的答题错误率可能很相近。但如果换成一名反复练习训练题的高三备考生答题，即使在训练题上做到了错误率为0，也不代表真实的高考成绩会如此。
# 
# 在机器学习里，我们通常假设训练数据集（训练题）和测试数据集（测试题）里的每一个样本都是从同一个概率分布中相互独立地生成的。基于该独立同分布假设，给定任意一个机器学习模型（含参数），它的训练误差的期望和泛化误差都是一样的。例如，如果我们将模型参数设成随机值（小学生），那么训练误差和泛化误差会非常相近。但我们从前面几节中已经了解到，模型的参数是通过在训练数据集上训练模型而学习出的，参数的选择依据了最小化训练误差（高三备考生）。所以，训练误差的期望小于或等于泛化误差。也就是说，一般情况下，由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低。
# 
# 机器学习模型应关注降低泛化误差。
# 
# 
# ## 模型选择
# 
# 在机器学习中，通常需要评估若干候选模型的表现并从中选择模型。这一过程称为模型选择（model selection）。可供选择的候选模型可以是有着不同超参数的同类模型。以多层感知机为例，我们可以选择隐藏层的个数，以及每个隐藏层中隐藏单元个数和激活函数。为了得到有效的模型，我们通常要在模型选择上下一番功夫。下面，我们来描述模型选择中经常使用的验证数据集（validation data set）。
# 
# 
# ### 验证数据集
# 
# 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。
# 
# 然而在实际应用中，由于数据不容易获取，测试数据极少只使用一次就丢弃。因此，实践中验证数据集和测试数据集的界限可能比较模糊。从严格意义上讲，除非明确说明，否则本书中实验所使用的测试集应为验证集，实验报告的测试结果（如测试准确率）应为验证结果（如验证准确率）。
# 
# 
# ### $K$ 折交叉验证
# 
# 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是$K$折交叉验证（$K$-fold cross-validation）。在$K$折交叉验证中，我们把原始训练数据集分割成$K$个不重合的子数据集，然后我们做$K$次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他$K-1$个子数据集来训练模型。在这$K$次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这$K$次训练误差和验证误差分别求平均。
# 
# 
# 
# ## 欠拟合和过拟合
# 
# 接下来，我们将探究模型训练中经常出现的两类典型问题：一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
# 
# 
# ### 模型复杂度
# 
# 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征$x$和对应的标量标签$y$组成的训练数据集，多项式函数拟合的目标是找一个$K$阶多项式函数
# 
# $$\hat{y} = b + \sum_{k=1}^K x^k w_k$$
# 
# 来近似$y$。在上式中，$w_k$是模型的权重参数，$b$是偏差参数。与线性回归相同，多项式函数拟合也使用平方损失函数。特别地，一阶多项式函数拟合又叫线性函数拟合。
# 
# 因为高阶多项式函数模型参数更多，模型函数的选择空间更大，所以高阶多项式函数比低阶多项式函数的复杂度更高。因此，高阶多项式函数比低阶多项式函数更容易在相同的训练数据集上得到更低的训练误差。给定训练数据集，模型复杂度和误差之间的关系通常如图3.4所示。给定训练数据集，如果模型的复杂度过低，很容易出现欠拟合；如果模型复杂度过高，很容易出现过拟合。应对欠拟合和过拟合的一个办法是针对数据集选择合适复杂度的模型。
# 
# 
# ![模型复杂度对欠拟合和过拟合的影响](../img/capacity_vs_error.svg)
# 
# 
# ### 训练数据集大小
# 
# 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。
# 
# 
# ## 多项式函数拟合实验
# 
# 为了理解模型复杂度和训练数据集大小对欠拟合和过拟合的影响，下面我们以多项式函数拟合为例来实验。首先导入实验需要的包或模块。

# In[1]:


get_ipython().run_line_magic('matplotlib', 'inline')
import d2ltorch as d2lt
import torch
from torch import autograd, nn, optim
from torch.utils import data as tdada


# ### 生成数据集
# 
# 我们将生成一个人工数据集。在训练数据集和测试数据集中，给定样本特征$x$，我们使用如下的三阶多项式函数来生成该样本的标签：
# 
# $$y = 1.2x - 3.4x^2 + 5.6x^3 + 5 + \epsilon,$$
# 
# 其中噪声项$\epsilon$服从均值为0、标准差为0.1的正态分布。训练数据集和测试数据集的样本数都设为100。

# In[2]:


n_train, n_test, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = torch.randn(n_train + n_test, 1)
poly_features = torch.cat([features, torch.pow(features, 2), 
                           torch.pow(features, 3)], dim=1)
labels = (true_w[0] * poly_features[:, 0] + true_w[1] * poly_features[:, 1]
         + true_w[2] * poly_features[:, 2] + true_b)
labels += torch.normal(mean=torch.zeros(labels.shape), std=0.1)


# 看一看生成的数据集的前两个样本。

# In[3]:


print(features[:2])
print(poly_features[:2])
print(labels[:2])


# ### 定义、训练和测试模型
# 
# 我们先定义作图函数`semilogy`，其中$y$轴使用了对数尺度。

# In[4]:


# 本函数已保存在d2ltorch包中方便以后使用
def semilogy(x_vals, y_vals, x_label, y_label, x2_vals=None, y2_vals=None,
             legend=None, figsize=(3.5, 2.5)):
    d2lt.set_figsize(figsize)
    d2lt.plt.xlabel(x_label)
    d2lt.plt.ylabel(y_label)
    d2lt.plt.semilogy(x_vals, y_vals)
    if x2_vals and y2_vals:
        d2lt.plt.semilogy(x2_vals, y2_vals, linestyle=':')
        d2lt.plt.legend(legend)


# 和线性回归一样，多项式函数拟合也使用平方损失函数。因为我们将尝试使用不同复杂度的模型来拟合生成的数据集，所以我们把模型定义部分放在`fit_and_plot`函数中。多项式函数拟合的训练和测试步骤与[“softmax回归的从零开始实现”](softmax-regression-scratch.ipynb)一节介绍的softmax回归中的相关步骤类似。

# In[5]:


num_epochs, loss = 100, nn.MSELoss()

def fit_and_plot(train_features, test_features, train_labels, test_labels):
    net = nn.Sequential(
        nn.Linear(train_features.shape[1], 1)
    )
    batch_size = min(10, train_labels.shape[0])
    train_iter = tdada.DataLoader(tdada.TensorDataset(
        train_features, train_labels), batch_size, shuffle=True)
    optimizer = optim.SGD(net.parameters(), lr=0.01)
    train_ls, test_ls = [], []
    for _ in range(num_epochs):
        for X, y in train_iter:
            net.zero_grad()
            l = loss(net(X), y)
            l.backward()
            optimizer.step()
        with torch.no_grad():
            train_ls.append(loss(net(train_features), 
                                 train_labels).mean().item())
            test_ls.append(loss(net(test_features),
                                test_labels).mean().item())
    print('final epoch: train loss', train_ls[-1], 'test loss', test_ls[-1])
    semilogy(range(1, num_epochs + 1), train_ls, 'epochs', 'loss',
             range(1, num_epochs + 1), test_ls, ['train', 'test'])
    print('weight:', net[0].weight.data.numpy(),
          '\nbias:', net[0].bias.data.numpy())


# ### 三阶多项式函数拟合（正常）
# 
# 我们先使用与数据生成函数同阶的三阶多项式函数拟合。实验表明，这个模型的训练误差和在测试数据集的误差都较低。训练出的模型参数也接近真实值：$w_1 = 1.2, w_2=-3.4, w_3=5.6, b = 5$。

# In[6]:


train_labels = labels[:n_train].reshape(n_train, -1)
test_labels = labels[n_train:].reshape(n_test, -1)
fit_and_plot(poly_features[:n_train, :], poly_features[n_train:, :],
            train_labels, test_labels)


# ### 线性函数拟合（欠拟合）
# 
# 我们再试试线性函数拟合。很明显，该模型的训练误差在迭代早期下降后便很难继续降低。在完成最后一次迭代周期后，训练误差依旧很高。线性模型在非线性模型（如三阶多项式函数）生成的数据集上容易欠拟合。

# In[7]:


fit_and_plot(features[:n_train, :], features[n_train:, :], train_labels,
            test_labels)


# ### 训练样本不足（过拟合）
# 
# 事实上，即便使用与数据生成模型同阶的三阶多项式函数模型，如果训练样本不足，该模型依然容易过拟合。让我们只使用两个样本来训练模型。显然，训练样本过少了，甚至少于模型参数的数量。这使模型显得过于复杂，以至于容易被训练数据中的噪声影响。在迭代过程中，尽管训练误差较低，但是测试数据集上的误差却很高。这是典型的过拟合现象。

# In[8]:


fit_and_plot(poly_features[0:2, :], poly_features[n_train:, :], train_labels[0:2, :],
             test_labels)


# 我们将在接下来的两个小节继续讨论过拟合问题以及应对过拟合的方法。
# 
# 
# ## 小结
# 
# * 由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低。机器学习模型应关注降低泛化误差。
# * 可以使用验证数据集来进行模型选择。
# * 欠拟合指模型无法得到较低的训练误差，过拟合指模型的训练误差远小于它在测试数据集上的误差。
# * 应选择复杂度合适的模型并避免使用过少的训练样本。
# 
# 
# ## 练习
# 
# * 如果用一个三阶多项式模型来拟合一个线性模型生成的数据，可能会有什么问题？为什么？
# * 在本节提到的三阶多项式拟合问题里，有没有可能把100个样本的训练误差的期望降到0，为什么？（提示：考虑噪声项的存在。）
# 
# 
# 
# 
# ## 扫码直达[讨论区](https://discuss.gluon.ai/t/topic/983)
# 
# ![](../img/qr_underfit-overfit.svg)

# ## 参考
# 1. 可能会发生过拟合。但是要看线性模型生成多少个点，如果点非常少，例如小于等于4，那么3次模型会有可能严重过拟合，在训练集上loss可以降为0，但是在测试集上表现很差。但是如果数据点非常多的话，例如1000个点，3次模型来拟合还是不错的，因为高阶项的系数基本都是趋近于0的。因此在测试集上表现也不会很差的
# 
# 2. 可能。