對數求和不等式

對數求和不等式（Log sum inequality）是一個不等式 ，可用於證明信息論中的多個定理。

定理陳述

對任何非負實數 $a_{1},\ldots ,a_{n}$ 和正數 $b_{1},\ldots ,b_{n}$ ，並記

$a:=\sum _{i=1}^{n}a_{i}$ 及 $b:=\sum _{i=1}^{n}b_{i}$

則有如下的對數求和不等式：

$\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},$

上式中，等號成立的充分必要條件是所有 $a_{i}/b_{i}$ 都相等。

證明

設輔助函數 $f(x)=x\log x$ ，容易驗證這個函數是一個凸（Convex）函數，我們有

${\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}$

推導中第二行的不等號，是由琴生不等式得到的 （可驗證 ${b_{i}}/{b}\geq 0$ ， $\sum _{i}{b_{i}}/{b}=1$）。

應用

對數求和不等式可用於證明信息論中的幾個不等式，例如吉布斯不等式或KL散度的基本性質 。

例如，證明吉布斯不等式時，將 $p_{i}$看作 $a_{i}$ ，將 $q_{i}$ 看作 $b_{i}$，得到

$\mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.$

一般情形

這個不等式對於收斂的無窮級數亦成立，即當 $n=\infty$ 時，附加假設 $a<\infty$ 和 $b<\infty$ 即可使不等式成立。

另一種推廣則是將對數函數一般化。只要將對數函數換為任何一個$g(x)$，其使得$f(x)=xg(x)$ 是一個凸（Convex）函數即可。2004年，Csiszár證明了將對數函數換成一個單調非減函數，定理亦成立。

參考文獻

• T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. ISBN 0-8218-0534-7.
• Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
• Csiszár, I.; Shields, P. Information Theory and Statistics: A Tutorial (PDF). Foundations and Trends in Communications and Information Theory. 2004, 1 (4): 417–528 [2009-06-14]. doi:10.1561/0100000004. （原始內容存檔 (PDF)於2021-01-25）.