《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

信息论与编码理论习题解

第二章-信息量与熵

2、1解: 平均每个符号长为:?0.2??0.4?2323134秒 15 每个符号的熵为?log??log3?0.9183比特/符号

312315所以信息速率为0.9183??3.444比特/秒

42、2 解: 同步信号均相同不含信息,其余认为等概,

每个码字的信息量为 3*2=6 比特; 所以信息速率为6?1000?6000比特/秒

2、3 解:(a)一对骰子总点数为7的概率就是

6366 36 所以得到的信息量为 log2()?2.585 比特 (b) 一对骰子总点数为12的概率就是 所以得到的信息量为 log22、4 解: (a)任一特定排列的概率为

?log21 361?5.17 比特 361,所以给出的信息量为 52!1?225.58 比特 52! (b) 从中任取13张牌,所给出的点数都不相同的概率为

13!?413413 ?13 13A52C5213C52所以得到的信息量为 log213?13.21 比特、

42、5 解:易证每次出现i点的概率为

i,所以 21《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

i,i?1,2,3,4,5,621I(x?1)?4.392比特I(x?i)??log2I(x?2)?3.392比特I(x?3)?2.807比特I(x?4)?2.392比特I(x?5)?2.070比特I(x?6)?1.807比特H(X)???i?16

iilog2?2.398比特21212、6 解: 可能有的排列总数为

12!?27720 3!4!5!没有两棵梧桐树相邻的排列数可如下图求得,

Y X Y X Y X Y X Y X Y X Y X Y 图中X表示白杨或白桦,它有????种排法,Y表示梧桐树可以栽种的位置,它有??5??种排法,所以共有??5??*??3??=1960种排法保证没有两棵

??????梧桐树相邻,因此若告诉您没有两棵梧桐树相邻时,得到关于树排列的信息为log227720?log21960=3、822 比特 2、7 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地;

Z=0表示学过英语,Z=1表示未学过英语,由此得

?8??8??7??7??3?《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

31p(x?0)?,p(x?1)?,44p(y?0)?p(x?0)p(y?0x?0)?p(x?1)p(y?0x?1)11311????,42410514p(y?1)?1??,55p(z?0)?p(y?0)p(z?0y?0)?p(y?1)p(z?0y?1)?144013???,55100251312p(z?1)?1??,2525?(a)p(x?0y?0)?p(y?0x?0)p(x?0)/p(y?0)?1313?/?104581115p(x?1y?0)?p(y?0x?1)p(x?1)/p(y?0)??/?2458p(x?0y?0)p(x?1y?0)I(X;y?0)?p(x?0y?0)log2?p(x?1y?0)log2p(x?0)p(x?1)3535?log28?log28381844?0.4512比特(b)p(x?0z?0)?(p(z?0y?0,x?0)p(y?0x?0)?p(z?0y?1,x?0)p(y?1x?0))p(x?0)/p(z?0)19431369?(??)?/?101010425104p(x?1z?0)?(p(z?0y?0,x?1)p(y?0x?1)?p(z?0y?1,x?1)p(y?1x?1))p(x?1)/p(z?0)11211335?(??)?/?225425104I(X;z?0)?p(x?0z?0)log2p(x?0z?0)p(x?1z?0)?p(x?1z?0)log2p(x?0)p(x?1)69356935?log2104?log21043110410444?0.02698比特341(c)H(X)?log2?log24?0.8113比特434H(YX)?p(x?0)p(y?0x?0)log2p(y?0x?0)?p(x?0)p(y?1x?0)log2p(y?1x?0)?p(x?1)p(y?0x?1)log2p(y?0x?1)?p(x?1)p(y?1x?1)log2p(y?1x?1)?3139101111?log210??log2??log22??log2241041094242《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

2、8 解:令X??A,B?,Y??T,F,R?,则

P(T)?P(TA)P(A)?P(TB)P(B)?0.5p?0.3?(1?p)?0.3?0.2p同理P(F)?0.5?0.2p,P(R)?0.2I(p)?I(X;Y)?H(Y)?H(YX)??(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)?0.2log20.2?(0.5plog22?0.3plog210?0.2plog25?0.3(1?p)log210?0.5(1?p)log22?330.2(1?p)log25)?0.3log20.3?0.5log20.5?(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)令I'(p)?0.2log2(0.5?0.2p)?0,得p?0.50.3?0.2p?I(p)max?I(p)p?0.5?0.03645比特

2、9 & 2、12

解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= log26 比特 H(X)= H(X1) = log26 =2、585比特 H(Y)= H(X2+X3)

=

2(12363364365361log236?log2?log2?log2?log2)?log26 363623633643656= 3、2744比特 H(Z)= H(X1+X2+X3)

=