《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社
H(X/Y)H(Y/Z)H(X/Y)H(Y/Z)???H(XY)H(YZ)H(Y)?H(X/Y)H(Y)?H(Z/Y)H(X/Y)H(Y/Z)??H(Y)?H(X/Y)?H(Z/Y)H(Y)?H(Z/Y)?H(X/Y)H(X/Y)?H(Y/Z)?H(Y)?H(X/Y)?H(Z/Y)H(X/Y)?H(Y/Z)?H(YZ)?H(X/Y)H(X/Y)?H(Y/Z)?H(X/Y)?H(Y/Z)?H(Z)?H(X/Y)?H(Y/Z)?H(X/Z)?0,H(Z)?0H(X/Y)H(Y/Z)??H(XY)H(YZ)H(X/Y)?H(Y/Z)H(X/Y)?H(Y/Z)?H(Z)H(X/Z)?H(X/Z)?H(Z)
H(X/Z)?H(XZ)?
注:
?a1?a2?0,b?0?a1b?a2b?a1b?a1a2?a2b?a1a2?a1a2? a1?ba2?b2、15 解: (a)
d(X,X)?H(X/X)?H(X/X)?0
d(X,Y)?H(X/Y)?H(Y/X)?0(b)
d(X,Y)?H(X/Y)?H(Y/X)?H(Y/X)?H(X/Y)?d(Y,X)
(c)
《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社
d(X,Y)?d(Y,Z)?H(X/Y)?H(Y/X)?H(Y/Z)?H(Z/Y)H(X/Y)?H(Y/Z)?H(X/YZ)?H(Y/Z)?H(XY/Z)?H(X/Z)同理H(Z/Y)?H(Y/X)?H(Z/X)?d(X,Y)?d(Y,Z)?H(X/Z)?H(Z/X)?d(X,Z)
2、16 解: (a)
I(X,Y)?H(X)?H(Y)?H(XY)?H(X)?H(Y)?H(XY)?H(X/Y)?H(Y/X)?H(XY)?S(X,Y)?I(X,Y)?1H(XY)
又由互信息的非负性,即I(X;Y)?0 有S(X;Y)?0,所以
0?S(X;Y)?1
(b) S(X,X)?I(X,X)H(X)?H(X/X)H(X)???1 H(XX)H(XX)H(X)(c) 当且仅当X与Y独立时,I(X;Y)=0,所以 当且仅当X与Y独立时,S(X,Y)?2、23 解: (a)
?pX(x)???112I(X,Y)?0。 H(XY),?1?x?10,其它
HC(X)???1log1dx?1比特 22?1(b) 令y?x2,dx1? dy2y?1,y?1? pY(y)??2y??0,其它《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社
HC(X2)???pY(y)logpY(y)dy??1?????012ylog12ydy
?1?log2e??0.443比特(c) 令z?x3,dx1?2?z3 dz3pZ(z)?pX(x)dxdz ?1?23?z,z?1??6??0,其它HC(X)???pZ(z)logpZ(z)dz??221?21?2333??zlog(6z)dz??zlog(6z3)dz 66?103??01?log26?2log2e??0.3比特2、28 解: (a) 由已知,
,?3?y?1?1p(yx??1)??4
其它?0,,?1?y?3?14p(yx?1)??
0,其它?w(y)??pxy(xy)??px(x)pyx(yx)xx?px(x??1)pyx(yx??1)?px(x?1)pyx(yx?1) ,?3?y??1?18?1?,?1?y?1??14?8,1?y?3?其它?0,(b)
《信息论与编码理论》王育民 李晖 梁传甲课后习题答案 高等教育出版社
?1118143H(Y)??3?log28dy??log24dy??1log28dy8?11
?2.5bits13141log24dy?12?4log24dy?1H(YX)??2bits12?3?
?I(X;Y)?H(Y)?H(Y/X)?0.5bit
(c)由
?1,y?1?v??0,?1?y?1 ??1,y??1?可求得V的分布为
??101?V???111?? ?424??1,y?1?再由p(y/x)及v??0,?1?y?1可求得V的条件分布为
??1,y??1?(?1,?1),(0,?1),(0,?1),(?1,?1)??12,(v,x)?? p(v/x)????0,(v,x)?(?1,?1),(1,?1)??H(V)?2?1log24?1log22?1.5bit42H(V/X)???p(x??1)p(v/x??1)log2p(v/x??1)??p(x?1)p(v/x?1)log2p(v/x?1)vv?1bitI(V;X)?H(V)?H(V/X)?0.5bit可见I(X;Y)?I(X;V),Y?V变换没有信息损失.
第三章 离散信源无失真编码
3、1解:长为n码字的数目为Dn ,因此长为N的D元不等长码至多有: