联合是一集变量之间不确定性的衡量手段。

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

定义

编辑

两个变量   的联合信息熵定义为:

 

其中     的特定值, 相应地,   是这些值一起出现的联合概率, 若  为0,则  定义为0。

对于两个以上的变量   ,该式的一般形式为:

 

其中    的特定值,相应地,  是这些变量同时出现的概率,若 为0,则   被定义为0.

性质

编辑

大于每个独立的熵

编辑

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

 
 

少于或等于独立熵的和

编辑

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在  均为统计独立的时候相等。

 
 

与其他熵测量手段的关系

编辑

条件熵的定义中,使用了联合熵

 

互信息的定义中也出现了联合熵的身影:

 

量子信息理论中, 联合熵被扩展到联合量子熵英语joint quantum entropy