第5章　多元回归分析：OLS的渐近性

5.1　复习笔记

一、一致性

1．定理5.1：OLS的一致性

在假定MLR.1～MLR.4下，对所有的j＝0，1，2，…，k，OLS估计量都是的一致估计。

（1）证明过程

写下的公式，然后将代入其中便得到：

在分子和分母中应用大数定律，则分别依概率收敛于总体值Cov（x1，u）和Var（x1）。给定，因为Cov（x1，u）＝0，可以使用概率极限的性质得到：

（2）假定MLR.4＇（零均值和零相关）

对所有的j＝1，2，…，k，都有E（u）＝0和Cov（x1，u）＝0。

假定MLR.4＇与假定MLR.4的比较：

①MLR.4要求解释变量的任何函数都与u无关，而MLR.4＇只要求每个xj都与u无关（且在总体中的均值为0）。

②零条件均值假定意味着已经正确地设定了总体回归函数（PRF），在MLR.4假定下，有

则可以得到解释变量对y的平均值或期望值的偏效应；而在假定MLR.4＇下，就不一定代表了总体回归函数，也就面临着xj的某些非线性函数与误差项相关的可能性。

2．推导OLS的不一致性

误差项和x1，x2，…，xk中的任何一个相关，通常会导致所有的OLS估计量都失去其一致性。即如果误差与任何一个自变量相关，那么OLS就是有偏而又不一致的估计，随着样本容量的增加，偏误将继续存在。

的不一致性为：

因为Var（x1）＞0，所以，若x1和u正相关，则的不一致性就为正，而若x1和u负相关，则的不一致性就为负。如果x1和u之间的协方差相对于x1的方差很小，那么这种不一致性就可以被忽略，但由于u是观测不到的，所以不能估计出这个协方差有多大。

二、渐近正态和大样本推断

1．定理5.2：OLS的渐近正态性

在高斯—马尔可夫假定MLR.1～MLR.5下：

（1）

是的渐近方差；斜率系数

其中是Xj对其余自变量进行回归所得到的残差。为渐近正态分布的。

（2）是的一个一致估计量。

（3）对每个j，都有：

其中，就是通常的OLS标准误。

定理5.2的重要之处在于，它去掉了正态性假定MLR.6。对误差分布唯一的限制是，它具有有限方差。还对u假定了零条件均值（MLR.4）和同方差性（MLR.5）。

注意在式中出现的是标准正态分布方式而不是tn－k－1分布。这是因为这个分布只是一个近似。实际上，由于随着自由度的变大，tn－k－1趋近于标准正态分布，所以如下写法也是合理的：

2．其他大样本检验：拉格朗日乘数统计量

（1）包含k个自变量的多元回归模型

检验这些变量中最后q个变量是否都具有零总体参数。

虚拟假设：，它对模型施加了q个排除性约束。

对立假设：这些参数中至少有一个异于零。

LM统计量仅要求估计约束模型。于是，假定进行了如下回归

式中“～”表示估计值都来自约束模型。表示约束模型的残差。如果被排除变量xk－q＋1到xk在总体中的系数都为零，那么应该与样本中这些变量中的每一个都不相关，至少近似无关。于是，可以将受约束模型的残差对在H0条件下被排除的变量进行一个回归。但是为了能得到一个能使用的检验统计量，必须在回归中包含所有自变量，这就是构造的辅助回归。

用对x1，x2，…，xk的进行回归，但回归系数没有直接意义。利用辅助回归的目的是为了得到判别系数R2，再用样本容量乘以辅助回归式的R2得到LM统计量，LM统计量渐近服从一个自由度为q的分布。LM统计量有时也被称为n—R2统计量。

（2）拉格朗日乘数检验步骤

①将y对施加限制后的自变量集进行回归，并保留残差；

②将上一步中所得到的残差对所有自变量进行回归，并得到R2，记为；

③计算；

④将LM与分布中适当的临界值c相比较，如果LM＞c，就拒绝虚拟假设。

（3）与F统计量比较

与F统计量不同，无约束模型中的自由度在进行LM检验时没有什么作用。所有起作用的因素只是被检验约束的个数（q）、辅助回归R2的大小（）和样本容量（n）。无约束模型中的df不起什么作用，这是因为LM统计量的渐近性质。但必须确定将乘以样本容量以得到LM，如果n很大，看上去较低的值仍可能导致联合显著性。

三、OLS的渐近有效性

1．简单回归模型

令g（x）为x的任意一个函数,那么u就与g（x）无关。对所有的观测，令zi＝g（xi）。假定g（x）和x相关，那么估计量

就是对的一致估计。

证明：将代入，并把写成

在分子和分母中应用大数定律，分子和分母分别收敛于Cov（z，u）和Cov（z，x），由于在假定MLR.4下Cov（z，u）＝0，所以有：

2．含有k个回归元的情形

将OLS的一阶条件推广，可以得到一类一致估计量：

其中，gj（xi）表示第i次观测的所有自变量的任意函数。当g0（xi）＝1且对j＝1，2，…，k，时，得到OLS估计量。由于可以使用xij的任意函数，所以估计量具有无限多的种类。

3．定理5.3：OLS的渐近有效性

在高斯—马尔可夫假定下，令表示从求解形如上式的方程所得到的估计量，而表示OLS估计量。那么，对j＝0，1，2，…，k，OLS估计量具有最小的渐近方差：

上一章目录下一章