对数求和不等式

对数求和不等式（Log sum inequality）是一个不等式，可用于证明信息论中的多个定理。

定理陈述

对任何非负实数 $a_{1},\ldots ,a_{n}$ 和正数 $b_{1},\ldots ,b_{n}$ ，并记

a:=\sum _{i=1}^{n}a_{i}

及

b:=\sum _{i=1}^{n}b_{i}

则有如下的对数求和不等式：

\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},

上式中，等号成立的充分必要条件是所有 $a_{i}/b_{i}$ 都相等。

设辅助函数 $f(x)=x\log x$ ，容易验证这个函数是一个凸（Convex）函数，我们有

{\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}

推导中第二行的不等号，是由琴生不等式得到的（可验证 ${b_{i}}/{b}\geq 0$ ， $\sum _{i}{b_{i}}/{b}=1$ ）。

对数求和不等式可用于证明信息论中的几个不等式，例如吉布斯不等式或KL散度的基本性质。

例如，证明吉布斯不等式时，将 $p_{i}$ 看作 $a_{i}$ ，将 $q_{i}$ 看作 $b_{i}$ ，得到

\mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.

这个不等式对于收敛的无穷级数亦成立，即当 $n=\infty$ 时，附加假设 $a<\infty$ 和 $b<\infty$ 即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个 $g(x)$ ，其使得 $f(x)=xg(x)$ 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。

T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. ISBN 0-8218-0534-7.
Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
Csiszár, I.; Shields, P. Information Theory and Statistics: A Tutorial (PDF). Foundations and Trends in Communications and Information Theory. 2004, 1 (4): 417–528 [2009-06-14]. doi:10.1561/0100000004. （原始内容存档 (PDF)于2021-01-25）.