User:Ycc69/普通最小二乘法

普通最小二乘法（英语：Ordinary least squares，简称：OLS）是回归分析中最常用的回归方法之一，属于线性最小二乘法。其基本思想是令解释变量（因变量）的估计值尽可能接近实际值，即残差平方和（residual sum of squares；RSS）最小。

根据高斯-马尔科夫定理，在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。

线性模型

代数形式

假设有一组样本$\{{\mathbf {x}}_{i},y_{i}\}_{i=1}^{n}$，由$n$个观测值组成，其中$y_{i}$为被解释变量，${\mathbf {x}}_{i}=[x_{i1},x_{i2},\cdots ,x_{ip}]^{T}$为$p$个解释变量（自变量）向量。其线性回归模型可表示为：

$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\epsilon _{i}$

其中$\epsilon _{i}$为残差项，假设被解释变量的估计值${\hat {y}}_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}$。则应有：

$\epsilon _{i}={\hat {y}}_{i}-y_{i}$

矩阵形式

记：

${\begin{matrix}{\mathbf {Y}}={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}&{\mathbf {X}}={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\vdots &\vdots \\1&x_{n1}&\cdots &x_{np}\\\end{pmatrix}}\\{\mathbf {\beta }}={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\\\end{pmatrix}}&{\mathbf {\epsilon }}={\begin{pmatrix}\epsilon _{0}\\\epsilon _{1}\\\vdots \\\epsilon _{n}\\\end{pmatrix}}\end{matrix}}$

得到线性回归模型的矩阵形式：

${\mathbf {Y}}={\mathbf {X}}{\mathbf {\beta }}+{\mathbf {\epsilon }}$