偏差信息量准则

偏差信息量准则（英語：deviance information criterion，DIC）是等级模型化的赤池信息量准则（AIC），被广泛应用于由马尔可夫链蒙特卡洛（MCMC）模拟出的后验分布的贝叶斯模型选择问题。和赤池信息量准则一样，偏差信息量准则是随样本容量增加的渐近近似，只应用于后验分布呈多元正态分布的情况。

定义

定义偏差（deviance）为 $D(\theta )=-2\log(p(y|\theta ))+C$，其中 $y$ 为数据，$\theta$ 是模型中的未知参量，$p(y|\theta )$ 是似然函数，$C$ 是常量。

有两种计算模型参数的有效数量 $p_{D}$的方法。一种是 $p_{D}={\bar {D}}-D({\bar {\theta }})$，其中 ${\bar {\theta }}$ 是 $\theta$ 的期望（Spiegelhalter 等人 2002，p.587）。 第二种是 $p_{D}=p_{V}={\frac {1}{2}}{\widehat {\operatorname {var} }}\left(D(\theta )\right)$ （Gelman 等人 2004，p.182）。 有效数量 $p_{D}$越大，模型的参数就越多，模型就越容易拟合数据，但也需要更小的偏差。

偏差信息量准则 ${\mathit {DIC}}$ 被定义为

${\mathit {DIC}}=p_{D}+{\bar {D}}$，

或等效于

${\mathit {DIC}}=D({\bar {\theta }})+2p_{D}$。

从第二种定义更能看出它和赤池信息量准则的联系。

应用

一般而言，偏差信息量准则 ${\mathit {DIC}}$ 的值越小，模型越好。这一准则的优点是它很容易从马尔可夫链蒙特卡洛（MCMC）模拟产生的样本中计算出来。

参见

• 赤池信息量准则
• 相对熵

参考文献

• Ando, Tomohiro. Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models. Biometrika. 2007, 94 (2): 443–458. doi:10.1093/biomet/asm017. 

• Ando, T. (2010). Bayesian Model Selection and Statistical Modeling, CRC Press. Chapter 7.

• Ando, Tomohiro. Predictive Bayesian Model Selection. American Journal of Mathematical and Management Sciences. 2011, 31 (1-2): 13–38. doi:10.1080/01966324.2011.10737798. 

• Claeskens, G, and Hjort, N.L. (2008). Model Selection and Model Averaging, Cambridge. Section 3.5.

• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayesian Data Analysis: Second Edition. Texts in Statistical Science. CRC Press. 2004. ISBN 1-58488-388-X. LCCN 2003051474. MR 2027492. 

• van der Linde, A. (2005). "DIC in variable selection", Statistica Neerlandica, 59: 45-56. doi:10.1111/j.1467-9574.2005.00278.x

• Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. Bayesian measures of model complexity and fit (with discussion). Journal of the Royal Statistical Society, Series B. 2002, 64 (4): 583–639. JSTOR 3088806. MR 1979380. doi:10.1111/1467-9868.00353. 

• Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. The deviance information criterion: 12 years on (with discussion). Journal of the Royal Statistical Society, Series B. 2014, 76 (3): 485–493. 

外部链接

• McElreath, Richard. Statistical Rethinking Lecture 8 (on DIC and other information criteria). 2015-01-29 [2018-10-04]. （原始内容存档于2019-03-13） –通过YouTube.