你的位置： 首页 > 通信技术 > 现代通信技术

信息及其度量

2016-10-22 10:44:36 | 人围观 | 评论:

　　信息是消息中有意义、有价值的部分。
　　信息量是对信息的定量描述。一个接收者接收到若干个消息，每个消息会具有不同的信息量。
　　一、自信息
　　从感知角度看，信息量的大小和接收者接收到消息后的惊奇程度有关，惊奇程度大的携带的信息量就大；惊奇程度小的，携带信息量也小。从概率论角度看，消息中携带的信息量与事件发生的概率有关，事件发生的概率越小，则消息中携带的信息量就越大。即信息量与消息出现的概率成反比。　　当时，，确定事件的信息量为0.
　　当时，,如果时间是不可能的，则传递的信息量为无穷。
　　综上所述（1）　　信息量的单位与所用对数的底有关。
　　（1）若取，信息量的单位为比特（bit或b）。
　　（2）若取，信息量的单位为奈特（nat）。1奈特=比特=1.443比特。
　　（3）若取则信息量的单位为哈特莱（Hartley）。1哈特莱=比特=3.322比特。
　　通常广泛使用的单位为比特，此时有（2）　　称自信息。
　　二、离散信源的信息熵
　　定义：每个符号所含的平均信息量，即自信息的统计平均值。
　　定义平均信息量为信源中任意一个事件发生所携带信息量的统计平均值。
　　假设一个离散信源是一个由M个符号（事件）组成的符号集，即概率空间分布为且有　　用表示消息（每个符号）所携带的信息量。
　　离散信源的熵：　　可以证明：式（4）在，即每个符号等概率独立出现时，会有最大值。（bit/符号） （4）　　例题：某信息源由A、B、C、D四个符号组成，每个符号独立出现，出现的概率分别为1/4、1/4、3/16、5/16,试求该信息源中每个符号的信息量和该信源符号的平均信息量。
　　解：符号A和符号B的信息量　　符号C的信息量　　符号D的信息量　　平均信息量（熵）　　当信源为连续信源时，平均信息量可表示为（5）　　其中为连续信源的概率密度函数。




标签：

相关内容推荐：