对数求和不等式

对数求和不等式（Log sum inequality）是一个不等式 ，可用于证明信息论中的多个定理。

定理陈述

对任何非负实数 $a_{1},\ldots ,a_{n}$ 和正数 $b_{1},\ldots ,b_{n}$ ，并记

$a:=\sum _{i=1}^{n}a_{i}$ 及 $b:=\sum _{i=1}^{n}b_{i}$

则有如下的对数求和不等式：

$\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},$

上式中，等号成立的充分必要条件是所有 $a_{i}/b_{i}$ 都相等。

证明

设辅助函数 $f(x)=x\log x$ ，容易验证这个函数是一个凸（Convex）函数，我们有

${\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}$

推导中第二行的不等号，是由琴生不等式得到的 （可验证 ${b_{i}}/{b}\geq 0$ ， $\sum _{i}{b_{i}}/{b}=1$）。

应用

对数求和不等式可用于证明信息论中的几个不等式，例如吉布斯不等式或KL散度的基本性质 。

例如，证明吉布斯不等式时，将 $p_{i}$看作 $a_{i}$ ，将 $q_{i}$ 看作 $b_{i}$，得到

$\mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.$

一般情形

这个不等式对于收敛的无穷级数亦成立，即当 $n=\infty$ 时，附加假设 $a<\infty$ 和 $b<\infty$ 即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个$g(x)$，其使得$f(x)=xg(x)$ 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。

参考文献

• T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. ISBN 0-8218-0534-7.
• Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
• Csiszár, I.; Shields, P. Information Theory and Statistics: A Tutorial (PDF). Foundations and Trends in Communications and Information Theory. 2004, 1 (4): 417–528 [2009-06-14]. doi:10.1561/0100000004. （原始内容存档 (PDF)于2021-01-25）.