打开主菜单

估计量的偏差

(重定向自无偏估计

统计学中,估计量偏差(或偏差函数)是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。在统计中,“偏差”是一个函数的客观陈述。

偏差也可以相对于中位數来衡量,而非相对于均值(期望值),在这种情况下为了与通常的“均值”无偏性区别,称作“中值”无偏。偏差与一致性英语Consistent estimator相关联,一致估计量都是收敛并且渐进无偏的(因此会收敛到正确的值),虽然一致序列中的个别估计量可能是有偏的(只要偏差收敛于零);参见偏差与一致性

当其他量相等时,无偏估计量比有偏估计量更好一些,但在实践中,并不是所有其他统计量的都相等,于是也经常使用有偏估计量,一般偏差较小。当使用一个有偏估计量时,也会估计它的偏差。有偏估计量可能用于以下原因:由于如果不对总体进一步假设,无偏估计量不存在或很难计算(如标准差的无偏估计英语unbiased estimation of standard deviation);由于估计量是中值无偏的,却不是均值无偏的(或反之);由于一个有偏估计量较之无偏估计量(特别是收缩估计量英语shrinkage estimator)可以减小一些损失函数(尤其是均方差);或者由于在某些情况下,无偏的条件太强,而这些无偏估计量没有太大用处。此外,在非线性变换下均值无偏性不会保留,不过中值无偏性会保留(参见变换的效应);例如样本方差是总体方差的无偏估计量,但它的平方根標準差则是总体标准差的有偏估计量。下面会进行说明。

定义编辑

设我们有一个参数为实数 θ概率模型,产生观测数据的概率分布  ,而统计量   是基于任何观测数据  θ估计量。也就是说,我们假定我们的数据符合某种未知分布  (其中 θ 是一个固定常数,而且是该分布的一部分,但具体值未知),于是我们构造估计量  ,该估计量将观测数据与我们希望的接近 θ 的值对应起来。因此这个估量的(相对于参数 θ的)偏差定义为

 

其中   表示分布  期望值,即对所有可能的观测值   取平均。由于 θ 对于条件分布   是可测的,就有了第二个等号。

对于参数 θ 的所有值的偏差都等于零的估计量称为无偏估计量。

在一次关于估计量性质的模拟实验中,估计量的偏差可以用平均有符号离差英语mean signed difference来评估。

例子编辑

样本方差编辑

随机变量的样本方差从两方面说明了估计量偏差:首先,自然估计量(naive estimator)是有偏的,可以通过比例因子校正;其次,无偏估计量的均方差(MSE)不是最优的,可以用一个不同的比例因子来最小化,得到一个比无偏估计量的MSE更小的有偏估计量。

具体地说,自然估计量就是将离差平方和加起来然后除以 n,是有偏的。不过除以 n − 1 会得到一个无偏估计量。相反,MSE可以通过除以另一个数来最小化(取决于分布),但这会得到一个有偏估计量。这个数总会比 n − 1 大,所以这就叫做收缩估计量英语shrinkage estimator,因为它把无偏估计量向零“收缩”;对于正态分布,最佳值为 n + 1。

X1, ..., Xn期望μ方差σ2独立同分布(i.i.d.)随机变量。如果样本均值与未修正样本方差定义为

 

S2σ2 的一个有偏估计量,因为

 

换句话说,未修正的样本方差的期望值不等于总体方差 σ2,除非乘以归一化因子。而样本均值是总体均值 μ 的无偏[1]估计量。

S2 是有偏的原因源于样本均值是 μ普通最小二乘英语ordinary least squares(OLS)估计量这个事实:  是令   尽可能小的数。也就是说,当任何其他数代入这个求和中时,这个和只会增加。尤其是,在选取   就会得出,

 

于是

 

注意到,通常的样本方差定义为

 

而这时总体方差的无偏估计量。可以由下式看出:

 

方差的有偏(未修正)与无偏估计之比称为贝塞尔修正英语Bessel's correction

参见编辑

参考文献编辑

  • Brown, George W. "On Small-Sample Estimation." The Annals of Mathematical Statistics, vol. 18, no. 4 (Dec., 1947), pp. 582–585. JSTOR 2236236.
  • Lehmann, E. L.英语Erich Leo Lehmann "A General Concept of Unbiasedness" The Annals of Mathematical Statistics, vol. 22, no. 4 (Dec., 1951), pp. 587–592. JSTOR 2236928.
  • Allan Birnbaum英语Allan Birnbaum, 1961. "A Unified Theory of Estimation, I", The Annals of Mathematical Statistics, vol. 32, no. 1 (Mar., 1961), pp. 112–135.
  • Van der Vaart, H. R., 1961. "Some Extensions of the Idea of Bias" The Annals of Mathematical Statistics, vol. 32, no. 2 (June 1961), pp. 436–447.
  • Pfanzagl, Johann. 1994. Parametric Statistical Theory. Walter de Gruyter.
  • Stuart, Alan; Ord, Keith; Arnold, Steven [F.]. Classical Inference and the Linear Model. Kendall's Advanced Theory of Statistics 2A. Wiley. 2010. ISBN 0-4706-8924-2. .
  • Voinov, Vassily [G.]; Nikulin, Mikhail [S.]. Unbiased estimators and their applications. 1: Univariate case. Dordrect: Kluwer Academic Publishers. 1993. ISBN 0-7923-2382-3. 
  • Voinov, Vassily [G.]; Nikulin, Mikhail [S.]. Unbiased estimators and their applications. 2: Multivariate case. Dordrect: Kluwer Academic Publishers. 1996. ISBN 0-7923-3939-8. 
  • Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.]. Robust and Non-Robust Models in Statistics. New York: Nova Scientific Publishers. 2009. ISBN 978-1-60741-768-2. 

外部链接编辑

  1. ^ Richard Arnold Johnson; Dean W. Wichern. Applied Multivariate Statistical Analysis. Pearson Prentice Hall. 2007 [10 August 2012]. ISBN 978-0-13-187715-3.