多项式回归

文档定位：面向数学建模竞赛（国赛 / 美赛）备赛学习者的算法笔记。本文先讲清原理与指标，再给出完整可独立运行的 Python 代码（第六节），用合成数据演示「手写实现 vs sklearn 对照」「阶数选择」与「4 张诊断图」。运行代码后建议通读第七节，对照打印输出理解过拟合的典型表现。

一、算法含义

1.1 一句话理解

散点图上，如果数据点整体不是直线关系（例如倒 U 型、S 型、振荡型），硬用一条直线拟合会系统性错过重要结构。多项式回归的思路非常简单：把直线"掰弯"——用 $x$ 的幂次构造出新的特征，把一元非线性问题转化为我们已经熟练掌握的多元线性回归问题。

1.2 数学模型

$y = \beta_0 + \beta_1 x + \beta_2 x^2 + \cdots + \beta_d x^d + \varepsilon, \qquad \varepsilon \sim N(0, \sigma^2)$

其中：

$x$ ：自变量（本文只讨论单特征情形）；
$y$ ：因变量（观测值）；
$d$ ：多项式阶数（degree），是唯一需要"调"的超参数；
$\beta_0$ ：截距项； $\beta_1, \dots, \beta_d$ ：各幂次项的系数；
$\varepsilon$ ：随机误差（噪声），通常假设服从均值为 0、方差为 $\sigma^2$ 的正态分布。

当 $d = 1$ 时，上式退化为简单线性回归 $y = \beta_0 + \beta_1 x$ ，所以线性回归是多项式回归的特例。

1.3 核心思想：对参数仍是线性模型

虽然 $x$ 出现在平方、立方项里，但模型真正的未知数是 $\beta$ ，且每个 $\beta$ 都只出现一次方。定义新特征：

$z_1 = x,\quad z_2 = x^2,\quad \dots,\quad z_d = x^d$

则模型改写为：

$y = \beta_0 + \beta_1 z_1 + \beta_2 z_2 + \cdots + \beta_d z_d + \varepsilon$

这正是我们熟悉的多元线性回归形式。由此得到三个重要结论：

求解方法不变：最小二乘、正规方程、梯度下降等线性回归的全部工具可以原封不动地使用；
一句话总结（可以直接写进竞赛论文）：多项式回归对自变量 $x$ 是非线性的，但对参数 $\boldsymbol{\beta}$ 仍是线性模型；
本质是特征工程：把一维 $x$ 通过映射 $\phi(x) = [1, x, x^2, \dots, x^d]$ 扩成 $(d+1)$ 维特征向量，再用线性模型拟合。理解这一点后，sklearn 中 PolynomialFeatures + LinearRegression 的实现就一目了然了。

1.4 范德蒙矩阵表示

把 $n$ 个样本展开成矩阵形式，得到范德蒙矩阵（Vandermonde matrix） $V \in \mathbb{R}^{n \times (d+1)}$ ：

一、算法含义​

1.1 一句话理解​

1.2 数学模型​

1.3 核心思想：对参数仍是线性模型​

1.4 范德蒙矩阵表示​

一、算法含义

1.1 一句话理解

1.2 数学模型

1.3 核心思想：对参数仍是线性模型

1.4 范德蒙矩阵表示