全變差距離

在概率論中，全變差距離（英語：total variation distance）是概率測度的一種距離。它也是一種統計距離度量，有時也稱為統計距離（英語：statistical distance）或變差距離（英語：variational distance）。

定義

設 ${\mathcal {F}}$ 是樣本空間 $\Omega$ 的一個子集上的σ代數，兩個概率測度 $P$ 與 $Q$ 在 ${\mathcal {F}}$ 上的全變差距離定義為^[1]

\delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.

粗略地說，這是兩個概率分布在同一事件上取值的最大差值。

全變差距離通過Pinsker不等式與Kullback-Leibler散度相聯繫：

\delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.

當樣本空間 $\Omega$ 是可數集的時候，全變差距離與 $L^{1}$ 範數有等式關係^[2]：

\delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.

^ Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.
^ David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.

這是一篇關於數學的小作品。您可以透過編輯或修訂擴充其內容。