贝叶斯推断

贝叶斯推断（英语：Bayesian inference）是推断统计的一种方法。这种方法使用贝叶斯定理，在有更多证据及信息时，更新特定假设的概率。贝叶斯推断是统计学（特别是数理统计学）中很重要的技巧之一。贝叶斯更新（Bayesian updating）在序列分析中格外的重要。贝叶斯推断应用在许多的领域中，包括科学、工程学、哲学、医学、体育运动、法律等。在决策论的哲学中，贝叶斯推断和主观概率有密切关系，常常称为贝叶斯概率。

贝叶斯定理是由统计学家托马斯·贝叶斯（Thomas Bayes）根据许多特例推导而成，后来被许多研究者推广为一普遍的定理^[1]。

贝叶斯定理的简介

正式的介绍贝叶斯推断

贝叶斯推断将后验概率（考虑相关证据或数据后，某一事件的条件概率）作为先验概率（考虑相关证据或数据前，某一事件不确定性的概率）和似然函数（由观测数据的统计模型（概率模型）推导而得）这两个前因导出的结果。贝叶斯推断根据贝叶斯定理计算后验概率：

P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}

其中

$\textstyle \mid$ 表示将某事件成立作为条件（因此 $\textstyle (A\mid B)$ 表示“假定 B 事件成立下，A 事件发生”）
$\textstyle H$ 表示假说，其概率可能会受实验数据（以下会称为证据）影响。一般来说会有许多互相矛盾的假说，任务是要确认哪一个假说可能性最高。
$\textstyle E$ 表示证据。证据对应新的数据，也就是还没用来计算先验概率的数据。
$\textstyle P(H)$ ，先验概率，是观察到数据 $\textstyle E$ （目前证据）之前，假说 $\textstyle H$ 的概率。
$\textstyle P(H\mid E)$ ，后验概率，是在给定证据 $\textstyle E$ 之后，假说 $\textstyle H$ 的概率，是希望求得的信息，也就是在有目前证据时，假说 $\textstyle H$ 的概率。
$\textstyle P(E\mid H)$ 是假定 $\textstyle H$ 成立时，观察到 $\textstyle E$ 的概率。在 $\textstyle H$ 不变时，这是 $\textstyle E$ 的函数，也是似然函数，指出在给定假设下假说和证据的相容程度。似然函数是证据 $\textstyle E$ 的函数，而后验概率是假说 $\textstyle H$ 的函数。
$\textstyle P(E)$ 有时会称为边缘似然率（英语：marginal likelihood）。此系数对所有可能的假说都是定值，因此在判断不同假说的相对概率时，不会用到这个系数中。

针对不同的 $\textstyle H$ 数值，只有 $\textstyle P(H)$ 和 $\textstyle P(E\mid H)$ （都在分子）会影响 $\textstyle P(H\mid E)$ 的数值。假说的后验概率和其先验概率（固有似然率）和新产生的似然率（假说和新得到证据的相容性）乘积成正比。

贝叶斯定理也可以写成下式：

P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)

其中系数 $\textstyle {\frac {P(E\mid H)}{P(E)}}$ 可以解释成 $E$ 对 $H$ 概率的影响。

非正式的介绍贝叶斯推断

贝叶斯推断最关键的点是可以利用贝叶斯定理结合新的证据及以前的先验概率，来得到新的概率（这和频率学派推断相反，频率论推断只考虑证据，不考虑先验概率）。

而且贝叶斯推断可以迭代使用：在观察一些证据后得到的后设概率可以当作新的先验概率，再根据新的证据得到新的后设概率。因此贝叶斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个程序称为贝叶斯更新（Bayesian updating）。