二、离散信源的信息熵 定义:每个符号所含的平均信息量,即自信息

的统计平均值。
定义平均信息量为信源中任意一个事件发生所携带信息量

的统计平均值。
假设一个离散信源是一个由M个符号(事件)组成的符号集,即概率空间分布为

且有

用

表示消息(每个符号)所携带的信息量。
离散信源的熵:

可以证明:式(4)在

,即每个符号等概率独立出现时,会有最大值。

(bit/符号) (4) 例题:某信息源由A、B、C、D四个符号组成,每个符号独立出现,出现的概率分别为1/4、1/4、3/16、5/16,试求该信息源中每个符号的信息量和该信源符号的平均信息量。
解:符号A和符号B的信息量

符号C的信息量

符号D的信息量

平均信息量(熵)

当信源为连续信源时,平均信息量可表示为

(5) 其中

为连续信源的概率密度函数。