《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

1321662161021615216log2216?log2?log2?log2?log2216216321662161021615

212162521627216log2?log2?log2)2162121625216272(= 3、5993比特 所以

H(Z/Y)= H(X3)= 2、585 比特 H(Z/X) = H(X2+X3)= 3、2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2、585-3、2744+2、585 =1、8955比特

H(Z/XY)=H(Z/Y)= 2、585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1、8955+2、585 =4、4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)

= 3、5993-2、585 =1、0143比特 I(X;Z)=H(Z)-H(Z/X)

=3、5993- 3、2744 =0、3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)

《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

=1、0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3、2744-2、585 =0、6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0

2、10 解:设系统输出10个数字X等概,接收数字为Y,

191显然w(j)??Q(i)p(ji)??p(ji)?

10i?110i?09H(Y)=log10

H(YX)????p(x,y)log2p(yx)???p(x,y)log2p(yx)yx?偶yx?奇?0??p(x)p(xx)log2p(xx)?i?奇y?x,奇x?奇??p(x)p(yx)log2p(yx)

1111??log22?5?4???log28102108?1比特?5?所以

I(X;Y)= log210?1?2.3219比特

2、11 解:(a)接收前一个数字为0的概率 w(0)??q(ui)p(0ui)?12

i?08I(u1;0)?log2p(0u1)1?p?log21?1?log2(1?p)bits w(0)2《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

(b)同理 w(00)??q(u)p(00u)?iii?0814

p(00u1)(1?p)2I(u1;00)?log2?log2?2?2log2(1?p)bits 1w(00)4(c)同理 w(000)??q(u)p(000u)?iii?0818

p(000u1)(1?p)3I(u1;000)?log2?log2?3?3log2(1?p)bits 1w(000)8(d)同理 w(0000)??q(u)p(0000u)?iii?0818((1?p)6?6p2(1?p)2?p4)

p(0000u1)(1?p)4I(u1;0000)?log2?log21w(0000)((1?p)6?6p2(1?p)2?p4)8?log28(1?p)(1?p)6?6p2(1?p)2?p44

bits2、12 解:见2、9 2、13 解: (b)

H(YZ/X)????p(xyz)logxyz1p(yz/x)1p(y/x)p(z/xy)11????p(xyz)logp(y/x)xyzp(z/xy)????p(xyz)logxyz

????p(xyz)logxyz?H(Y/X)?H(Z/XY)(c)

H(Z/XY)???p(xy)?p(z/xy)logxyz1p(z/xy)1(由第二基本不等式)

p(z/x)???p(xy)?p(z/xy)logxyz?H(Z/X)或

《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社

H(Z/XY)?H(Z/X)???p(xy)?p(z/xy)logxyz1p(z/xy)???p(xy)?p(z/xy)logxyz1p(z/x)???p(xy)?p(z/xy)logxyzp(z/x)p(z/xy)p(z/x)?1)p(z/xy)(由第一基本

???p(xy)?p(z/xy)loge?(xyz?0不等式)

所以

H(Z/XY)?H(Z/X)

(a)

H(Y/X)?H(Z/X)?H(Y/X)?H(Z/XY)?H(YZ/X)

等号成立的条件为p(z/xy)?p(z/x),对所有x?X,y?Y,z?Z,即在给定X条件下Y与Z相互独立。 2、14 解:

(a) H(X/Y)?H(Y/Z)?H(X/YZ)?H(Y/Z)?H(XY/Z)?H(X/Z) (b)