1.1.1. 普通最小二乘法

LinearRegression 适合一个带有系数  的线性模型,使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为:

LinearRegression 会调用 fit 方法来拟合数组 X, y，并且将线性模型的系数  存储在其成员变量 ``coef_``中:

>>> from sklearn import linear_model
>>> reg = linear_model.LinearRegression()
>>> reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
>>> reg.coef_
array([ 0.5,  0.5])

然而，对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。当各项是相关的，且设计矩阵  的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。例如，在没有实验设计的情况下收集到的数据，这种多重共线性(multicollinearity) 的情况可能真的会出现。

1.1.2. 岭回归

Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 (普通最小二乘)的一些问题。 岭系数最小化一个带罚项的残差平方和，

其中，  是控制收缩量复杂性的参数： , 的值越大，收缩量越大，因此系数对共线性变得更加鲁棒。

与其他线性模型一样， Ridge 采用 fit 将采用其  存储在其 coef_ 成员中:

>>> from sklearn import linear_model
>>> reg = linear_model.Ridge (alpha = .5)
>>> reg.fit ([[0, 0], [0, 0], [1, 1]], [0, .1, 1]) 
Ridge(alpha=0.5, copy_X=True, fit_intercept=True, max_iter=None,
      normalize=False, random_state=None, solver='auto', tol=0.001)
>>> reg.coef_
array([ 0.34545455,  0.34545455])
>>> reg.intercept_ 
0.13636...

>>> from sklearn import linear_model
>>> reg = linear_model.RidgeCV(alphas=[0.1, 1.0, 10.0])
>>> reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])       
RidgeCV(alphas=[0.1, 1.0, 10.0], cv=None, fit_intercept=True, scoring=None,
    normalize=False)
>>> reg.alpha_                                      
0.1

1.1.3. Lasso

The Lasso 是估计稀疏系数的线性模型。 它在一些情况下是有用的，因为它倾向于使用具有较少参数值的情况，有效地减少给定解决方案所依赖变量的数量。 因此，Lasso及其变体是压缩感知领域的基础。 在一定条件下，它可以恢复一组非零权重的精确集 (见 Compressive sensing: tomography reconstruction with L1 prior (Lasso)).

在数学上，它由一个线性模型组成，以  为准。 其目标函数的最小化是:

lasso estimate 解决了加上罚项  的最小二乘法的最小化，其中，  是一个常数，  是参数向量的 -norm 范数。

Lasso 类的实现使用了 coordinate descent （坐标下降算法）来拟合系数。 查看 最小角回归 用于另一个实现:

>>> from sklearn import linear_model
>>> reg = linear_model.Lasso(alpha = 0.1)
>>> reg.fit([[0, 0], [1, 1]], [0, 1])
Lasso(alpha=0.1, copy_X=True, fit_intercept=True, max_iter=1000,
   normalize=False, positive=False, precompute=False, random_state=None,
   selection='cyclic', tol=0.0001, warm_start=False)
>>> reg.predict([[1, 1]])
array([ 0.8])

对于较低级别的任务，同样有用的是:func:lasso_path。它能够通过搜索所有可能的路径上的值来计算系数。

1.1.3.1. 设置正则化参数

alpha 参数控制估计系数的稀疏度。

1.1.3.1.1. 使用交叉验证

scikit-learn 通过交叉验证来公开设置 Lasso alpha 参数的对象: LassoCV and LassoLarsCV。 LassoLarsCV 是基于下面解释的 :ref:`least_angle_regression`(最小角度回归)算法。

对于具有许多线性回归的高维数据集， LassoCV 最常见。 然而，LassoLarsCV 在寻找 alpha parameter 参数值上更具有优势，而且如果样本数量与特征数量相比非常小时，通常 LassoLarsCV 比 LassoCV 要快。

 

1.1.3.1.2. 基于信息标准的模型选择

有多种选择时，估计器 LassoLarsIC 建议使用 Akaike information criterion （Akaike 信息准则）（AIC）和 Bayes Information criterion （贝叶斯信息准则）（BIC）。 当使用 k-fold 交叉验证时，正则化路径只计算一次而不是k + 1次，所以找到α的最优值是一种计算上更便宜的替代方法。 然而，这样的标准需要对解决方案的自由度进行适当的估计，对于大样本（渐近结果）导出，并假设模型是正确的，即数据实际上是由该模型生成的。 当问题严重受限（比样本更多的特征）时，他们也倾向于打破。

举例:

• :ref:`sphx_glr_auto_examples_linear_model_plot_lasso_model_selection.py`(Lasso 型号选择：交叉验证/AIC/BIC)

1.1.3.1.3. 与 SVM 的正则化参数的比较

根据估计器和模型优化的精确目标函数，在 alpha 和 SVM 的正则化参数之间是等值的,其中 C 是通过 alpha = 1 / C 或者 alpha = 1 / (n_samples * C) 得到的。

1.1.4. 多任务 Lasso

MultiTaskLasso 是一个估计多元回归稀疏系数的线性模型：  y 是一个  (n_samples, n_tasks) 的二维数组，其约束条件和其他回归问题（也称为任务）是一样的，都是所选的特征值。

下图比较了通过使用简单的 Lasso 或 MultiTaskLasso 得到的 W 中非零的位置。 Lasso 估计分散的产生着非零值，而 MultiTaskLasso 的所有列都是非零的。

拟合 time-series model ( 时间序列模型 )，强制任何活动的功能始终处于活动状态。

在数学上，它由一个线性模型组成，以混合的   作为正则化器进行训练。目标函数最小化是：

其中  表示 Frobenius 标准：

并且   读取为:

MultiTaskLasso 类中的实现使用了坐标下降作为拟合系数的算法。

1.1.5. 弹性网络

弹性网络 是一种使用L1,L2范数作为先验正则项训练的线性回归模型。 这种组合允许学习到一个只有少量参数是非零稀疏的模型，就像 Lasso 一样, 但是它仍然保持 一些像 Ridge 的正则性质。我们可利用 l1_ratio 参数控制L1和L2的凸组合。

弹性网络在很多特征互相联系的情况下是非常有用的。Lasso很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选择两个。

在实践中，Lasso 和 Ridge 之间权衡的一个优势是它允许在循环过程（Under rotate）中继承 Ridge 的稳定性。

在这里，最小化的目标函数是

alpha () 和 l1_ratio () 。

1.1.6. 多任务弹性网络

MultiTaskElasticNet 是一个对多回归问题估算稀疏参数的弹性网络:  Y 是一个二维数组，形状是  (n_samples,n_tasks)。 其限制条件是和其他回归问题一样，是选择的特征，也称为 tasks.。

从数学上来说， 它包含一个用   先验 and  先验为正则项训练的线性模型 目标函数就是最小化:

在 MultiTaskElasticNet 类中的实现采用了坐标下降法求解参数。

在 MultiTaskElasticNetCV 中可以通过交叉验证来设置参数 alpha () 和 l1_ratio () 。

1.1.7. 最小角回归

最小角回归 (LARS) 是对高维数据的回归算法， 由Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshirani开发完成。 LARS和逐步回归很像。 在每一步，它寻找与响应最有关联的 预测。当有很多预测由相同的关联时，它没有继续利用相同的预测，而是在这些预测中找出应该等角的方向。

LARS的优点:

• 当p >> n，该算法数值运算上非常有效。(例如当维度的数目远超点的个数)
• 它在计算上和前向选择一样快，和普通最小二乘法有相同的运算复杂度。
• 它产生了一个完整的分段线性的解决路径，在交叉验证或者其他相似的微调模型的方法上非常有用。
• 如果两个变量对响应几乎有相等的联系，则它们的系数应该有相似的增长率。因此这个算法和我们直觉 上的判断一样，而且还更加稳定。
• 它也很容易改变，为其他估算器提供解，比如Lasso。

LARS的缺点:

• 因为LARS是建立在循环拟合剩余变量上的，所以它对噪声非常敏感。这个问题，在2004年统计年鉴的文章由Weisberg详细讨论。

LARS模型可以在 Lars ，或者它的底层实现 lars_path 中被使用。

1.1.8. LARS Lasso

LassoLars 是一个使用LARS算法的lasso模型， 不同于基于坐标下降法的实现，它可以得到一个精确解，也就是一个 关于自身参数标准化后的一个分段线性解。

>>> from sklearn import linear_model
>>> reg = linear_model.LassoLars(alpha=.1)
>>> reg.fit([[0, 0], [1, 1]], [0, 1])  
LassoLars(alpha=0.1, copy_X=True, eps=..., fit_intercept=True,
     fit_path=True, max_iter=500, normalize=True, positive=False,
     precompute='auto', verbose=False)
>>> reg.coef_    
array([ 0.717157...,  0.        ])

Lars算法提供了一个可以几乎无代价的给出正则化系数的完整路径，因此常利用函数 lars_path 来取回路径。

1.1.9. 正交匹配追踪法（OMP）

OrthogonalMatchingPursuit(正交匹配追踪法) 和 orthogonal_mp(正交匹配追踪) 使用了OMP算法近似拟合了一个带限制的线性模型，该限制限制了模型的非0系数(例：L0范数)。

就像最小角回归一样，作为一个前向特征选择方法，正交匹配追踪法可以近似一个固定非0元素的最优 向量解:

正交匹配追踪法也可以不用特定的非0参数元素个数做限制，而是利用别的特定函数定义其损失函数。 这个可以表示为:

OMP是基于每一步的贪心算法，其每一步元素都是与当前残差高度相关的。它跟较为简单的匹配追踪 （MP）很相似，但是相比MP更好，在每一次迭代中，可以利用正交投影到之前选择的字典元素重新计算残差。

1.1.10. 贝叶斯回归

贝叶斯回归可以用于在预估阶段的参数正则化: 正则化参数的选择不是通过人为的选择，而是通过手动调节数据值来实现。

上述过程可以通过引入 无信息先验 于模型中的超参数来完成。 在 岭回归 中使用的  正则项相当于在  为高斯先验条件下，且此先验的精确度为  求最大后验估计。在这里，我们没有手工调参数lambda，而是让他作为一个变量，通过数据中估计得到。

为了得到一个全概率模型，输出  也被认为是关于 :的高斯分布。

Alpha 在这里也是作为一个变量，通过数据中估计得到.

贝叶斯回归有如下几个优点:

• 它能根据已有的数据进行改变。
• 它能在估计过程中引入正则项。

贝叶斯回归有如下缺点:

• 它的推断过程是非常耗时的。

1.1.10.1. 贝叶斯岭回归

贝叶斯岭回归 利用概率模型估算了上述的回归问题，其先验参数   是由以下球面高斯公式得出的：

先验参数  和  一般是服从 gamma 分布 <https://en.wikipedia.org/wiki/Gamma_distribution> , 这个分布与高斯成共轭先验关系。

得到的模型一般称为 贝叶斯岭回归, 并且这个与传统的 Ridge 非常相似。参数 ,  和  是在模型拟合的时候一起被估算出来的。 剩下的超参数就是 gamma 分布的先验了。  和  。 它们通常被选择为 没有信息量 。模型参数的估计一般利用 最大似然对数估计法 。

默认 .

贝叶斯岭回归用来解决回归问题:

>>>

>>> from sklearn import linear_model
>>> X = [[0., 0.], [1., 1.], [2., 2.], [3., 3.]]
>>> Y = [0., 1., 2., 3.]
>>> reg = linear_model.BayesianRidge()
>>> reg.fit(X, Y)
BayesianRidge(alpha_1=1e-06, alpha_2=1e-06, compute_score=False, copy_X=True,
       fit_intercept=True, lambda_1=1e-06, lambda_2=1e-06, n_iter=300,
       normalize=False, tol=0.001, verbose=False)

在模型训练完成后，可以用来预测新值:

>>>

>>> reg.predict ([[1, 0.]])
array([ 0.50000013])

权值  可以被这样访问:

>>>

>>> reg.coef_
array([ 0.49999993,  0.49999993])

由于贝叶斯框架的缘故，权值与 普通最小二乘法 产生的不太一样。 但是，贝叶斯岭回归对病态问题（ill-posed）的鲁棒性要更好。

例子s:

• Bayesian Ridge Regression

参考文献

• 更多细节可以参考 Bayesian Interpolation by MacKay, David J. C.

1.1.10.2. 主动相关决策理论 - ARD

主动相关决策理论 和  贝叶斯岭回归 非常相似，

但是会导致一个更加稀疏的权重  [1] [2]。 主动相关决策理论 提出了一个不同于  的先验假设。具体来说，就是弱化了高斯分布为球形的假设。 它采用的是关于  轴平行的椭圆高斯分布。

也就是说，每个权值  精确度来自于一个中心在0点，精度为  的分布中采样得到的。

并且 .

与 贝叶斯岭回归 不同， 每个  都有一个标准差  。所有的关于方差的系数  和由给定的超参数  、  由相同的gamma分布。

ARD 也被称为 稀疏贝叶斯学习 或 相关向量机 [3] [4].

示例:

• Automatic Relevance Determination Regression (ARD)

参考文献:

[1]	Christopher M. Bishop: Pattern Recognition and Machine Learning, Chapter 7.2.1

[2]	David Wipf and Srikantan Nagarajan: A new view of automatic relevance determination

[3]	Michael E. Tipping: Sparse Bayesian Learning and the Relevance Vector Machine

[4]	Tristan Fletcher: Relevance Vector Machines explained

1.1.11. logistic 回归

logistic 回归，虽然名字里有 “回归” 二字，但实际上是解决分类问题的一类线性模型。在某些文献中，logistic 回归又被称作 logit regression（logit 回归），maximum-entropy classification(MaxEnt，最大熵分类)，或 log-linear classifier（线性对数分类器）。该模型利用函数 logistic function 将单次试验（single trial）的输出转化并描述为概率。

scikit-learn 中 logistic 回归在 LogisticRegression 类中实现了二元（binary）、一对余（one-vs-rest）及多元 logistic 回归，并带有可选的 L1 和 L2 正则化。

若视为一优化问题，带 L2 罚项的二分类 logistic 回归要最小化以下代价函数（cost function）：

类似地，带 L1 正则的 logistic 回归需要求解下式：

在 LogisticRegression 类中实现了这些求解器: “liblinear”, “newton-cg”, “lbfgs”, “sag” 和 “saga”。

“liblinear” 应用了坐标下降算法（Coordinate Descent, CD），并基于 scikit-learn 内附的高性能C++库 LIBLINEAR library 实现。不过CD算法训练的模型不是真正意义上的多分类模型，而是基于 “one-vs-rest” 思想分解了这个优化问题，为每个类别都训练了一个二元分类器。因为实现在底层使用该求解器的 LogisticRegression 实例对象表面上看是一个多元分类器。 sklearn.svm.l1_min_c 可以计算使用 L1 罚项时 C 的下界，以避免模型为空（即全部特征分量的权重为零）。

“lbfgs”, “sag” 和 “newton-cg” solvers （求解器）只支持 L2 罚项，对某些高维数据收敛更快。这些求解器的参数 `multi_class`设为 “multinomial” 即可训练一个真正的多元 logistic 回归 [5]，其预测的概率比默认的 “one-vs-rest” 设定更为准确。

“sag” 求解器基于平均随机梯度下降算法（Stochastic Average Gradient descent） [6]。在大数据集上的表现更快，大数据集指样本量大且特征数多。

“saga” solver [7] 是 “sag” 的一类变体，它支持非平滑（non-smooth）的 L1 正则选项 penalty="l1" 。因此对于稀疏多元 logistic 回归 ，往往选用该求解器。

一言以蔽之，选用求解器可遵循如下规则:

“saga” 一般都是最佳的选择，但出于一些历史遗留原因默认的是 “liblinear”。

对于大数据集，还可以用 SGDClassifier ，并使用对数损失（’log’ loss）

1.1.12. 随机梯度下降, SGD

随机梯度下降是拟合线性模型的一个简单而高效的方法。在样本量（和特征数）很大时尤为有用。 方法 partial_fit 可用于 online learning （在线学习）或基于 out-of-core learning （外存的学习）

SGDClassifier 和 SGDRegressor 分别用于拟合分类问题和回归问题的线性模型，可使用不同的（凸）损失函数，支持不同的罚项。 例如，设定 loss="log" ，则 SGDClassifier 拟合一个逻辑斯蒂回归模型，而 loss="hinge" 拟合线性支持向量机(SVM).

1.1.13. Perceptron（感知器）

Perceptron 是适用于 large scale learning（大规模学习）的一种简单算法。默认地，

• 不需要设置学习率（learning rate）。
• 不需要正则化处理。
• 仅使用错误样本更新模型。

最后一点表明使用合页损失（hinge loss）的感知机比SGD略快，所得模型更稀疏。

1.1.14. Passive Aggressive Algorithms（被动攻击算法）

被动攻击算法是大规模学习的一类算法。和感知机类似，它也不需要设置学习率，不过比感知机多出一个正则化参数 C 。

对于分类问题， PassiveAggressiveClassifier 可设定 loss='hinge' (PA-I)或 loss='squared_hinge' (PA-II)。对于回归问题， PassiveAggressiveRegressor 可设置 loss='epsilon_insensitive' (PA-I)或loss='squared_epsilon_insensitive' (PA-II).

1.1.15. 稳健回归（Robustness regression）: 处理离群点（outliers）和模型错误

稳健回归（robust regression）特别适用于回归模型包含损坏数据（corrupt data）的情况，如离群点或模型中的错误。

1.1.15.2. RANSAC： 随机抽样一致性算法（RANdom SAmple Consensus）

随机抽样一致性算法（RANdom SAmple Consensus, RANSAC）利用全体数据中局内点（inliers）的一个随机子集拟合模型。

RANSAC是一种非确定性算法，以一定概率输出一个可能的合理结果，依赖于迭代次数（参数 max_trials ）。这种算法主要解决线性或非线性回归问题，在计算机视觉摄影测量领域尤为流行。

算法从全体样本输入中分出一个局内点集合，全体样本可能由于测量错误或对数据的假设错误而含有噪点、离群点。最终的模型仅从这个局内点集合中得出。

1.1.15.2.1. 算法细节

每轮迭代执行以下步骤:

1. 从原始数据中抽样 min_samples 数量的随机样本，检查数据是否合法（见 is_data_valid ）.
2. 用一个随机子集拟合模型（ base_estimator.fit ）。检查模型是否合法（见 is_model_valid ）。
3. 计算预测模型的残差（residual），将全体数据分成局内点和离群点（ base_estimator.predict(X) - y ）

• 绝对残差小于 residual_threshold 的全体数据认为是局内点。

4. 若局内点样本数最大，保存当前模型为最佳模型。以免当前模型离群点数量恰好相等（而出现未定义情况），规定仅当数值大于当前最值时认为是最佳模型。

上述步骤或者迭代到最大次数（ max_trials ），或者某些终止条件满足时停下（见 stop_n_inliers 和 stop_score )。最终模型由之前确定的最佳模型的局内点样本（一致性集合，consensus set）预测。

函数 is_data_valid 和 is_model_valid 可以识别出随机样本子集中的退化组合（degenerate combinations）并予以丢弃（reject）。即便不需要考虑退化情况，也会使用 is_data_valid ，因为在拟合模型之前调用它能得到更高的计算性能。

示例：

• Robust linear model estimation using RANSAC
• Robust linear estimator fitting

参考文献：

• https://en.wikipedia.org/wiki/RANSAC
• “Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography” Martin A. Fischler and Robert C. Bolles - SRI International (1981)
• “Performance Evaluation of RANSAC Family” Sunglok Choi, Taemin Kim and Wonpil Yu - BMVC (2009)

1.1.15.3. Theil-Sen 预估器: 广义中值估计

TheilSenRegressor 估计器：使用中位数在多个维度推广，因此对多维离散值是有帮助，但问题是，随着维数的增加，估计器的准确性在迅速下降。准确性的丢失，导致在高维上的估计值比不上普通的最小二乘法。

示例:

• Theil-Sen Regression
• Robust linear estimator fitting

参考文献:

• https://en.wikipedia.org/wiki/Theil%E2%80%93Sen_estimator

1.1.15.3.1. 算法理论细节

TheilSenRegressor 媲美 Ordinary Least Squares (OLS) （普通最小二乘法（OLS））渐近效率和无偏估计。在对比 OLS, Theil-Sen 是一种非参数方法，这意味着它没有对底层数据的分布假设。由于 Theil-Sen 是基于中位数的估计，它是更适合的对损坏的数据。在单变量的设置，Theil-Sen 在一个简单的线性回归，这意味着它可以容忍任意损坏的数据高达 29.3% 的情况下，约 29.3% 的一个崩溃点。

在 scikit-learn 中 TheilSenRegressor 实施如下的学习推广到多元线性回归模型 [8] 利用空间中这是一个概括的中位数多维度 [9] 。

在时间复杂度和空间复杂度，根据 Theil-Sen 量表

这使得它不适用于大量样本和特征的问题。因此，可以选择一个亚群的大小来限制时间和空间复杂度，只考虑所有可能组合的随机子集。

示例:

• Theil-Sen Regression

参考文献:

[8]	Xin Dang, Hanxiang Peng, Xueqin Wang and Heping Zhang: Theil-Sen Estimators in a Multiple Linear Regression Model.

[9]	Kärkkäinen and S. Äyrämö: On Computation of Spatial Median for Robust Data Mining.

1.1.15.4. Huber 回归

HuberRegressor 不同，因为它适用于 Ridge 损耗的样品被分类为离群值。如果这个样品的绝对误差小于某一阈值，样品就分为一层。 它不同于 TheilSenRegressor 和 RANSACRegressor 因为它无法忽略对离群值的影响，但对它们的权重较小。

这个 HuberRegressor 最小化损失函数是由

其中

建议设置参数 epsilon 为 1.35 以实现 95% 统计效率。

1.1.16. 多项式回归：用基函数展开线性模型

机器学习中一种常见的模式，是使用线性模型训练数据的非线性函数。这种方法保持了一般快速的线性方法的性能，同时允许它们适应更广泛的数据范围。

例如，可以通过构造系数的 polynomial features 来扩展一个简单的线性回归。在标准线性回归的情况下，你可能有一个类似于二维数据的模型:

如果我们想把抛物面拟合成数据而不是平面，我们可以结合二阶多项式的特征，使模型看起来像这样:

（这有时候是令人惊讶的）观察，这还是 still a linear model : 看到这个，想象创造一个新的变量

有了这些数据的重新标记的数据，我们的问题就可以写了。

我们看到，导致 polynomial regression 是线性模型中的同一类，我们认为以上（即模型是线性 ），可以用同样的方法解决。通过考虑在用这些基函数建立的高维空间中的线性拟合，该模型具有灵活性，可以适应更广泛的数据范围。

这里是一个例子，应用这个想法，一维数据，使用不同程度的多项式特征:

这个图是使用 PolynomialFeatures 预创建。该预处理器将输入数据矩阵转换为给定度的新数据矩阵。它可以使用如下:

>>> from sklearn.preprocessing import PolynomialFeatures
>>> import numpy as np
>>> X = np.arange(6).reshape(3, 2)
>>> X
array([[0, 1],
       [2, 3],
       [4, 5]])
>>> poly = PolynomialFeatures(degree=2)
>>> poly.fit_transform(X)
array([[  1.,   0.,   1.,   0.,   0.,   1.],
       [  1.,   2.,   3.,   4.,   6.,   9.],
       [  1.,   4.,   5.,  16.,  20.,  25.]])

X 的特征已经从  转换到 , 并且现在可以用在任何线性模型。

这种预处理可以通过 Pipeline 工具进行简化。可以创建一个表示简单多项式回归的单个对象，并使用如下所示:

>>> from sklearn.preprocessing import PolynomialFeatures
>>> from sklearn.linear_model import LinearRegression
>>> from sklearn.pipeline import Pipeline
>>> import numpy as np
>>> model = Pipeline([('poly', PolynomialFeatures(degree=3)),
...                   ('linear', LinearRegression(fit_intercept=False))])
>>> # fit to an order-3 polynomial data
>>> x = np.arange(5)
>>> y = 3 - 2 * x + x ** 2 - x ** 3
>>> model = model.fit(x[:, np.newaxis], y)
>>> model.named_steps['linear'].coef_
array([ 3., -2.,  1., -1.])

利用多项式特征训练的线性模型能够准确地恢复输入多项式系数。

在某些情况下，没有必要包含任何单个特征的更高的幂，但只需要在大多数  不同的特征上相乘的所谓 interaction features（交互特征） 。这些可以与设定的 interaction_only=True 的 PolynomialFeatures 得到。

例如，当处理布尔属性，  所有  ，因此是无用的；但  代表两布尔合取。这样我们就可以用线性分类器解决异或问题:

>>> from sklearn.linear_model import Perceptron
>>> from sklearn.preprocessing import PolynomialFeatures
>>> import numpy as np
>>> X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
>>> y = X[:, 0] ^ X[:, 1]
>>> y
array([0, 1, 1, 0])
>>> X = PolynomialFeatures(interaction_only=True).fit_transform(X).astype(int)
>>> X
array([[1, 0, 0, 0],
       [1, 0, 1, 0],
       [1, 1, 0, 0],
       [1, 1, 1, 1]])
>>> clf = Perceptron(fit_intercept=False, max_iter=10, tol=None,
...                  shuffle=False).fit(X, y)

分类器的 “predictions” 是完美的:

>>> clf.predict(X)
array([0, 1, 1, 0])
>>> clf.score(X, y)
1.0