回归模型

设总体由一对联合随机变量 (X, Y) 描述，(X_i, Y_i) 是从 (X, Y) 抽样得到的简单随机样本。若 Y 关于 X 的条件期望是 X 的线性函数，即：

则这一模型称为一元线性回归模型。

参数与统计量

一元线性回归同样有参数与统计量之分。

平方和

总平方和（SST）=回归平方和（SSR）+残差平方和（SSE）。

统计推断

模型假定

通常处理一元线性回归模型，会作以下 5 个假设（称为 Gauss 假设）

• 零均值假定：E(\mu_i \mid X_i) = 0；
• 同方差假定：\operatorname{Var}(\mu_i \mid X_i) \equiv \sigma^2；
• 无自相关假定：\operatorname{Cov}(\mu_i, \mu_j) = 0, \forall i \ne j；
• 随机扰动与解释变量不相关：\operatorname{Cov}(\mu_i, X_i) \equiv 0；
• 随机扰动正态性假定：\mu_i \sim N(0, \sigma^2)。

点估计

最小二乘估计

又称最小平方估计（least square estimator），基本思想是使被解释变量的估计值与实际观察值的偏差尽可能的小。

设从总体抽得的一组样本为 (X_1, Y_1), \dots, (X_n, Y_n)，则最小二乘估计的目标就是寻找合理的统计量 \hat\beta_0, \hat\beta_1，使得

取得最小值。

极大似然估计

区间估计

由数理统计知识，可以使用枢轴量法（（链接未公开））得到参数的区间估计。