9?N二次扩展信源的熵为 H(X)?H(X)???p(ai)log2p(ai)

i?1?将表中的数据代入可得H(X)?H(XN)?3(比特/符号)

一马尔可夫信源的符号集为X?{0,1,2}，其状态集S?{s1,s2,s3}，各状态之间的状态转移改概率如表，求平稳后信源的概率分布。

状态 发出符号概率 0 1/2→s1 1/3→s1 0→s1 1 1/4→s2 1/3→s2 2/3→s2 2 1/4→s3 1/3→s3 1/3→s3 s1 s2 s3 （1）根据题意有：

?p(s1)?p(s1)p(s1/s1)?p(s2)p(s1/s2)?p(s3)p(s1/s3)??p(s2)?p(s1)p(s2/s1)?p(s2)p(s2/s2)?p(s3)p(s2/s3) ?p(s)?p(s)p(s/s)?p(s)p(s/s)?p(s)p(s/s)131232333?311?p(s)??p(s)??p(s)12?123?112???p(s)3 ??p(s2)??p(s1)??p(s)2433?111?p(s)??p(s)??p(s)??p(s)312?3433??p(s1)?8/29?p(s1)?p(s2)?p(s3)?1??p(s2)?12/29

?p(s)?9/29?3?p(x1)?p(s1)p(x1/s1)?p(s2)p(x1/s2)?p(s3)p(x1/s3)?8/29??p(x2)?p(s1)p(x2/s1)?p(s2)p(x2/s2)?p(s3)p(x2/s3)?12/29 ?p(x)?p(s)p(x/s)?p(s)p(x/s)?p(s)p(x/s)?9/293131232333?12??X??0 ????? ??P(X)??8/2912/299/29?有一个马尔可夫信源，己知转移概率为p(el/el)=2/3，p(e2/e1)=1/3，p(e1/e2)=1，p(e2/e2)=0。试画出状态转移图，并求出信源熵。 (见课本2-8)

设信源符号X∈｛0，1｝,编码器输出符号Y∈｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝0；d(0,1)＝d(1,0)=1；d(0,2)＝d(1,2)＝0.5, 求失真矩阵d。Dmax

?d(x1,y1),d(x1,y2),d(x1,y3)??d(0,0),d(0,1),d(0,2)?[d]??????

d(1,0),d(1,1),d(1,2)d(x,y),d(x,y),d(x,y)??212223??

?0,1,0.5???? 1,0,0.5??Dmax=0.5

?420??[d]??032????201?? 一个信源含有三个消息,概率分布为p1=0.2,p2=0.3,p3=0.5,失真函数矩阵为

求:Dmax,Dmin, R(Dmax),R(Dmin) Dmax

?minj?1,2...s?pdii?1rij?(0.2?4?0.5?2;2?0.2?3?0.3;0.3?2?0.5?1)在给定的失真函数矩阵中,对每一个xi找一个最小的dij 然后求

Dmin??p(xi)mindij?0

iyjR(Dmax)=0,

R(Dmin)=R(0)=Hmax(x)=-[0.2log0.2+0.3log0.3+0.5log0.5]

设输入输出符号X=Y={0，1}，输入概率分布为p(x)={1/3,2/3}，失真矩阵为

?d(x1,y1),d(x1,y2)??0,1?d?????? 求Dmax。Dmin

d(x,y),d(x,y)?1,0??2122?Dmax?minj?1,2...m?pdii?1nij

?min(p1d11?p2d21,p1d12?p2d22)

j?1,2?min(1/3?0?2/3?1;1/3?1?2/3?0)

j?1,2?min(2/3;1/3)?j?1,21 3Dmin=0

画出表格中所对应编码的码树。

信源符号 X1 X2 X3 X4

概率 1/8 1/8 1/4 1/2 码字 01 00 10 11

画出表格中所对应的两种编码方案的码树。 信源符号 概率 X1 X2 X3 X4 1/8 1/8 1/4 1/2 方案1的码字 方案2的码字 00 01 10 11 000 001 01 1

设有离散无记忆信源

?x?X??1?P???1???4x214x318x418x518x6? 1?? 8?（1）编出平均码长最小的哈夫曼码； （2）计算其平均码长；

解：（1）利用霍夫曼编码方法，从而得到x1、x2、x3、x4、x5、x6平均码长最小的霍夫曼码为：10、11、00、01、010、011。 （2） 该霍夫曼码的平均码长为：

111119L??p(si)li??2??2??2??2??3?2?448884 i?15s2s3s4s5s6s7s8??S??s设有离散无记忆信源 ????1 ? ?P??0.40.20.10.10.050.050.050.05?（1）编出平均码长最小的哈夫曼码；

（2）计算其平均码长

解：（1）利用霍夫曼编码方法，从而得到s1s2s3s4s5s6s7s8平均码长最小的霍夫曼码为： 00、

11、100、101、0100、0101、0110、0111

（2） 该霍夫曼码的平均码长为：

L??p(si)li?0.4?2?0.2?2?2?0.1?3?4?0.05?4?2.6

i?1?8设信源共7个符号消息,其数学模型如下

x2x3x4x5x6x7??X??x1? ?P(X)??????0.20.190.180.170.150.10.01?利用哈夫曼编码方法进行信源编码，画出其过程。

?1?信道转移矩阵为P P??31??6?1?3P??11??6131316161?6? 求该信道的信道容量 。 1??3?该信道是准对称信道，可以分解为三个互不相交的子集，分别为

1??1??1?6?,P??3?,P??6? 1?2?1?3?1??????3??3??6?