第二章 信息的度量

2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？

答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？

答：

若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？

11答：H(X)???q(xi)logq(xi)??log?logk

kki

2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：I(X;YZ)?I(X;Y)?I(X;Z|Y)

2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？

答：互信息量I(x;y)?logQ(xi|yj)，若互信息量取负值，即Q(xi|yj)

q(xi)知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)

2.9（1）对于离散无记忆信源DMS[Xq(X)]?[x1x2p1?p]，试证明：

H(X)?H2(p)??plogp?(1?p)log(1?p)当p=1/2时，H(X)达到最大值。

（2）对（1）中的DMS，考虑它的二次扩展信源

X(2)?{(x1,x1),(x1,x2),(x2,x1),(x2,x2)}，证明：H(X(2))?2H(X)

证明：（1）函数

H(X)??plogp?(1?p)log(1?p)中的变量p在0到1中取值，

从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。 H(X),?(?plogp?(1?p)log(1?p)),11p??logp???log(1?p)?ln2ln2(1?p)ln2(1?p)1?p1?p1?log??pln2(1?p)ln21?p?logp 在区间[0，0.5]上1-p>p,则（1-p）/p>1，所以log1?p?0，在此区间上H(x),>0，pH(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。

所以，H(X)?H2(p)??plogp?(1?p)log(1?p)当p=1/2时，H(X)达到最大值。 (2)二次扩展后的矩阵：

[Xxx]?[121q(X)p(2)x1x2x2x1x2x2] 2p(1?p)p(1?p)(1?p)

H(X)??p2logp2?p(1?p)logp(1?p)?p(1?p)logp(1?p)?(1?p)2log(1?p)2??2plogp?2(1?p)log(1?p)?2[?plogp?(1?p)log(1?p)]?2H(X)

2.10 一副扑克牌（不用大小王），试问 (1) 任意特定排列给出的信息量是多少？

（2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？ （3）从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这

个DMS的熵为多少？

（4）若（3）中不计颜色，熵又为多少？

?1?解：（1）I(xi)= —㏒??=225.6（比特/符号）

?52!?52!413（2）I(xi)= -㏒(qi)= -log(13)=log(i13)

4*13!*39!c52(3)H(X)= N*H(x)=52*(-（4）H(x)= -log(

11*log())=log52=2*log13=7.4(比特/符号) 52521)=3.7(比特/符号) 13

2.13已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量?

解：

病人：y1，健康人:y2

?Y1Y2??Y????W(Y)???149? ???5050??(X1|Y1)?1 ; ?(X1|Y2)??(X2|Y2)?P(X1Y1)?W(Y1)?(X1Y1)?P(X1Y2)?1 501 249 5049P(X2Y2)?

100H(Y|X)????p(XiYj)log?(yjyi)?0.056bit

ij