Python 机器学习 - 训练/测试

评估模型

在机器学习中，我们创建模型来预测某些事件的结果，就像在上一章中当我们了解重量和发动机排量时，预测了汽车的二氧化碳排放量一样。

要衡量模型是否足够好，我们可以使用一种称为训练/测试的方法。

什么是训练/测试

训练/测试是一种测量模型准确性的方法。

之所以称为训练/测试，是因为我们将数据集分为两组：训练集和测试集。

80％ 用于训练，20％ 用于测试。

您可以使用训练集来训练模型。

您可以使用测试集来测试模型。

训练模型意味着创建模型。

测试模型意味着测试模型的准确性。

从数据集开始

从要测试的数据集开始。

我们的数据集展示了商店中的 100 位顾客及其购物习惯。

import sys
import matplotlib
matplotlib.use('Agg')
import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
plt.scatter(x, y)
plt.show()
plt.savefig(sys.stdout.buffer)
sys.stdout.flush()

结果：

x 轴表示购买前的分钟数。

y 轴表示在购买上花费的金额。

拆分训练/测试

训练集应该是原始数据的 80％ 的随机选择。

测试集应该是剩余的 20％。

train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]

显示训练集

显示与训练集相同的散点图：

plt.scatter(train_x, train_y)
plt.show()

结果：

它看起来像原始数据集，因此似乎是一个合理的选择：

显示测试集

为了确保测试集不是完全不同，我们还要看一下测试集。

plt.scatter(test_x, test_y)
plt.show()

结果：

测试集也看起来像原始数据集：

拟合数据集

数据集是什么样的？我认为最合适拟合的是多项式回归，因此让我们画一条多项式回归线。

要通过数据点画一条线，我们使用 matplotlib 模块的 plott() 方法：

绘制穿过数据点的多项式回归线：

import sys
import matplotlib
matplotlib.use('Agg')
import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
myline = numpy.linspace(0, 6, 100)
plt.scatter(train_x, train_y)
plt.plot(myline, mymodel(myline))
plt.show()
plt.savefig(sys.stdout.buffer)
sys.stdout.flush()

结果：

此结果可以支持我们对数据集拟合多项式回归的建议，即使如果我们尝试预测数据集之外的值会给我们带来一些奇怪的结果。例如：该行表明某位顾客在商店购物 6 分钟，会完成一笔价值 200 的购物。这可能是过拟合的迹象。

但是 R-squared 分数呢？ R-squared score很好地指示了我的数据集对模型的拟合程度。

R2

还记得 R2，也称为 R平方（R-squared）吗？

它测量 x 轴和 y 轴之间的关系，取值范围从 0 到 1，其中 0 表示没有关系，而 1 表示完全相关。

sklearn 模块有一个名为 rs_score() 的方法，该方法将帮助我们找到这种关系。

在这里，我们要衡量顾客在商店停留的时间与他们花费多少钱之间的关系。

我们的训练数据在多项式回归中的拟合度如何？

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
r2 = r2_score(train_y, mymodel(train_x))
print(r2)

注释：结果 0.799 显示关系不错。

引入测试集

现在，至少在训练数据方面，我们已经建立了一个不错的模型。

然后，我们要使用测试数据来测试模型，以检验是否给出相同的结果。

让我们在使用测试数据时确定 R2 分数：

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
r2 = r2_score(test_y, mymodel(test_x))
print(r2)

注释：结果 0.809 表明该模型也适合测试集，我们确信可以使用该模型预测未来值。

预测值

现在我们已经确定我们的模型是不错的，可以开始预测新值了。

如果购买客户在商店中停留 5 分钟，他/她将花费多少钱？

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
print(mymodel(5))

该例预测客户花费了 22.88 美元，似乎与图表相对应：