2002 Copyright EE Lab508
信息论与编码习题参考答案 第一章 单符号离散信源
信息论与编码作业是74页,1.1的(1)(5),1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性
1.1同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;
(5)“两个点数中至少有一个是1”的自信息量。 解:
11样本空间:N?c6c6?6?6?36n12
??I(a)??logP1?log18?4.17bitN36n1(2)P2?2??I(a)??logP2?log36?5.17bitN36(1)P1?(3)信源空间:
X P(X) X P(x) X P(x) X P(x) X P(x) (1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 (1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 (1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36 (1,6) 2/36 2361?log?6??log36?4.32bit 36236(4)信源空间: X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 ?H(x)?15?2436636836?log36+?log??log??log 36362363364 1036636 ??log+?log?3.71bit365366n1136(5) P3?3??I(a)??logP3?log?1.17bit
N3611 ?H(x)??H.F.
2002 Copyright EE Lab508
1.2如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。 (1) 若仅有质点A,求A落入任一方格的平均信息量; (2) 若已知A已落入,求B落入的平均信息量; (3) 若A,B是可辨认的,求A,B落入的平均信息量。 解:
1(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log4848
?H(a)???P(ai)logP(ai)?log48?5.58biti?148(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47?H(b)???P(bi)logP(bi)?log47?5.55biti?148147(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)48?47i?111?4847
H(ABi)???P(ABi)logP(ABi)?log(48?47)?11.14bit1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: 对于男士:回答“是”的信息量:I(my)??logP(my)??log7%?3.84bit回答“不是”的信息量:I(mn)??logP(mn)??log93%?0.105bit平均每个回答信息量:H(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女:回答“是”的信息量:I(wy)??logP(wy)??log0.5%回答“不是”的信息量:I(mn)??logP(mn)??log99.5%平均每个回答信息量:H(m)??P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit
?H.F.
2002 Copyright EE Lab508
1.4某一无记忆信源的符号集为{0,1},已知p0?13,p1?23 。(1) 求符号的平均信息量;
(2) 由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)
的自信量的表达式;
(3) 计算(2)中序列的熵。 解:
1122(1)H(x)??p0logp0?p1logp1???log??log?0.918 bit/symble333312(2)I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)log bit
33(3)H(A)?1000H(X)?1000?0.918?918 bit/sequence H(A)???p0logp0?i?1m1000?m?i?1p1logp1??m12(1000?m)2log?log33331.5设信源X的信源空间为:
a1 a2 a3 a4 a5 a6 ?X: [x?p]:??p(X) 0.17 0.19 0.18 0.16 0.18 0.3 求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。 解:
H(X)???p(ai)logp(ai)i?16 ??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性, 这是因为信源熵的最大值是在?pi?1 的约束条件下求得的,但是本题中i?1r
?pi?16i?1.18不满足信源熵最大值成立的约束条件,所以H(X)?log6。
1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。 解:
由于亮度电平等概出现,由熵的极值性:每个像素的熵是: H(x0)??p(ai)logp(ai)?log10?3.322 bit/pelsi?110每帧图像的熵是: H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame?所需信息速率为:R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s
?H.F.
2002 Copyright EE Lab508
1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证:
增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化?每个像素的熵是: H(x1)??p(bi)logp(bi)?log300bit/pelsi?1300?H(x1)log300??2.477?2.5H(x0)log10
?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字? 解:
每帧图象所含信息量:H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000?0.110000?每个汉字所包含信息量:H(c)??logp每个汉字所出现概率p?描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n???6.322?105/frameH(c)?log0.1?最少需要6.322?105个汉字
1.9给定一个概率分布(p1,p2,...,pn)和一个整数m,0?m?n。定义qm?1??p,证明:
ii?1mH(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立?
证:
先证明f(x)??xlogx(x?0)为凸函数,如下:loge 又x?0x
loge?f??(x)?(?xlogx)?????0 即f(x)??xlogx(x?0)为凸函数。 x?f??(x)?(?xlogx)????又?H(p1,p2,...,pn)???pilogpi?i?1mi?m?1?plogpini?H.F.
2002 Copyright EE Lab508
由凸函数的性质,变量函数的平均值小于变量的算术平均值的函数,可得:?i?m?1?pilogpi??(n?m)i?m?1ni?m?1?f(p)inn?m??(n?m)f(i?m?1?pnin?m)??(n?m)i?m?1?pnin?mlogi?m?1?pnin?m??qmlogqmn?m即??plogpini??qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?m?plogpini???pilogpi?qmlogqm?qmlog(n?m)mi?1i?m?1i?1m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqmi?1?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。
1.10找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解:nmH(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi
i?1i?1
?H.F.
2002 Copyright EE Lab508
1.15两个离散随机变量X和Y,其和为Z=X+Y,若X和Y统计独立,求证: (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明:
设X、Y的信源空间为:?Y b1 b2 ... bs?X a1 a2 ... ar[X?P]:? [Y?P]:??P(X) p1 p2 ... pr ?P(Y) q1 q2 ... qs 又X,Y统计独立?H(Z)???pzklogpzk????p(ai?bj)logp(ai?bj) ????(pi?qj)log(pi?qj)?H(XY)
k?1i?1j?1si?1j?1trsrs又H(Z) =??pzklogpzk??(??piqj)?log(??piqj)? ?k?1i?1j?1ri?1j?1tsss ????(pilog(pi?qj))???qjlog(pi?qj)i?1j?1rsi?1j?1srss ? ???qjlog(pi?qj)?-?qjlog(qj)i?1j?1j?1第二章 单符号离散信道
2.1设信源[X?P]:??X a1 a2 通过一信道,信道的输出随机变量Y的符号集
?P(X) 0.7 0.3 b1 b2Y:{b1,b2},信道的矩阵:
[P]?a1?5/61/6?
?a2??1/43/4?试求:
(1) 信源X中的符号?1和?2分别含有的自信息量;
(2) 收到消息Y=b1,Y=b2后,获得关于?1、?2的互交信息量:I(?1;b1)、I(?1;b2)、I(?2;b1)、
I(?2;b2);
(3) 信源X和信宿Y的信息熵;
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X);
(5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解:
?H.F.
2002 Copyright EE Lab508
(1) I(a1)??logp(a1)??log0.7?0.5415 bit I(a2)??logp(a21)??log0.3?1.737 bit(2) I(a1;b1)?log I(a1;b2)?log I(a2;b1)?log I(a2;b2)?log2p(b1a1)p(b1)p(b2a1)p(b2)?log5/6?0.34 bit0.7?5/6?0.3?1/41/6??1.036 bit0.7?1/6?0.3?3/41/4??0.766 bit0.7?5/6?0.3?1/43/4?1.134 bit0.7?1/6?0.3?3/47912041120?logp(b1a2)p(b1)p(b2a2)p(b2)?log?log(3)由上:p(b1)??p(ai)p(b1ai)?i?12 p(b2)??p(ai)p(b2ai)?i?12?H(X)???p(ai)logp(ai)??(0.7log0.7?0.3log0.3)?0.881 bit/symblei?1 H(Y)???p(bj)logp(bj)??(j?122279794141log?log)?0.926 bit/symble12012012012022(4)H(YX)???p(aibj)logp(bjai)???p(ai)p(bjai)logp(bjai)?0.698 bit/symblej?1i?1j?1i?1 又I(X;Y)?H(Y)?H(YX)?H(X)?H(XY) ?H(XY)?H(X)?H(YX)?H(Y)?0.881?0.698?0.926?0.653 bit/symble(5)?I(X;Y)?H(Y)?H(YX)?0.926?0.698?0.228 bit/symble2.2某二进制对称信道,其信道矩阵是:
0 10?0.980.02? [P]??1?0.020.98??设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进
制符号,并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。 解:
由于二进制对称信道输入等概信源?I(X;Y)?C?1?H(?)?1??log??(1??)log(1??)?1?0.02log0.02?0.98log0.98?0.859 bit/symble?信道在10秒钟内传送14000个二进制符号最大码率为:Ct?C?14000symble/10s?1201.98 bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.?H.F.
2002 Copyright EE Lab508
2.3有两个二元随机变量X和Y,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定义另一随机变量Z=XY,试计算: (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解:
131131(1)由题意: X的分布:p(X?0)???;p(X?1)???.882882131131 Y的分布:p(Y?0)???;p(Y?1)???.88288213371 Z?XY的分布为:X的分布:p(Z?0)????;p(Z?1)?.88888131且p(X?0,Z?0)?p(X?0)?;p(X?0,Z?1)?0;p(X?1,Z?0)?;p(X?1,Z?1)?;288131 p(Y?0,Z?0)?p(Y?0)?;p(Y?0,Z?1)?0;p(Y?1,Z?0)?;p(Y?1,Z?1)?;2881111?H(X)??(log?log)?1 bit/symble; 22221111 H(Y)??(log?log)?1 bit/symble22227711 H(Z)??(log?log)?0.544 bit/symble8888H(XZ)????p(xizk)logp(xizk)i?1k?122 ??(pxz(00)logpxz(00)?pxz(10)logpxz(10)?pxz(01)logpxz(01)?pxz(11)logpxz(11))133311??13 ???(?)log(?)?log?0?log??1.406bit/symble888888??88由上面X、Y、Z的概率分布:H(YZ)?H(XZ)?1.406bit/symble
?H.F.
2002 Copyright EE Lab508
(2)p(X?0Y?0)?pxy(00)?pxy(01)2pxy(00)py(0)?p(10)3/831/81?;pxy(10)?xy??;1/24py(0)1/24pxy(11)1/813/83pxy(01)???;pxy(11)???.py(1)1/24py(1)1/24?H(XY)????p(xiyj)logp(xiyj)??pxy(00)logpxy(00)?pxy(01)logpxy(01)?pxy(10)logpxy(10)?pxy(11)logpxy(11)11333311??(?log??log??log??log)?0.811bit/symble84848484?I(X;Y)?H(X)?H(XY)?H(Y)?H(YX)且H(X)?H(Y)?H(YX)?H(XY)?0.811bit/symble同理:H(XZ)????p(xizk)logp(xizk)????p(xizk)logi?1k?1i?1k?122222i?1j?1?????pxz(00)logpxz(00)?pxz(01)logpxz(01)?pxz(10)logpxz(10)?pxz(11)logpxz(11)?11/233/811/8??(?log?0??log??log)?0.862 bit/symble27/887/881/82222p(zkxi)H(ZX)????p(zkxi)logp(zkxi)????p(zkxi)logp(xi)k?1i?1k?1i?111/233/811/8??(?log?0??log??log)?0.406 bit/symble21/281/281/2由X、Y、Z的概率: H(YZ)?H(XZ)?0.862 bit/symble H(ZY)?H(ZX)?0.406 bit/symble?pxyz(001)?pxyz(101)?pxyz(011)?pxyz(110)?0?H(XYZ)?????p(xiyjzk)logp(xiyjzk)?????p(xiyjzk)logi?1j?1k?1i?1j?1k?1222222p(xizk)p(zk)???pzx(00)logpzx(00)?pzx(01)logpzx(01)?pzx(10)logpzx(10)?pzx(11)logpzx(11)?p(xiyjzk)p(yjzk)?pxyz(111)logpxyz(111)pyz(11))??(pxyz(000)logpxyz(000)pyz(00)?pxyz(010)logpxyz(010)pyz(10)?pxyz(100)logpxyz(100)pyz(00)11/833/833/811/8??(log?log?log?log)?0.406 bit/symble81/283/881/281/8H(YXZ)?H(XYZ)?0.406 bit/symble?H(ZXY)?????p(xiyjzk)logp(zkxiyj)?????p(xiyjzk)logi?1j?1k?1i?1j?1k?1222222p(xiyjzk)p(xiyj)?pxyz(111)logpxyz(111)pxy(11))??(pxyz(000)logpxyz(000)pxy(00)?pxyz(010)logpxyz(010)pxy(01)?pxyz(100)logpxyz(100)pxy(10)11/833/833/811/8??(log?log?log?log)?0 bit/symble81/883/883/881/8?H.F.
2002 Copyright EE Lab508
(3)由上:I(X;Y)?H(X)?H(XY)?1?0.811?0.189 bit/symble I(X;Z)?H(X)?H(XZ)?1?0.862?0.138 bit/symble I(Y;Z)?H(Y)?H(YZ)?1?0.862?0.138 bit/symble I(X;YZ)?H(XZ)?H(XYZ)?0.862?0.406?0.456 bit/symble I(Y;ZX)?H(YX)?H(YXZ)?0.811?0.406?0.405 bit/symble I(X;ZY)?H(XY)?H(XYZ)?0.811?0.406?0.405 bit/symble2.4已知信源X的信源空间为
?X: a1 a2 a3 a4[X?P]:?
P(X): 0.1 0.3 0.2 0.4?某信道的信道矩阵为:
b1 b2 b3 b4
a1?0.2a2?0.6?a3?0.5?a4?0.10.30.10.4?0.20.10.1??
0.20.10.2??0.30.40.2?试求:
(1)“输入?3,输出b2的概率”; (2)“输出b4的概率”;
(3)“收到b3条件下推测输入?2”的概率。 解:
(1)p(a3;b2)?p(a3)p(b2a3)?0.2?0.2?0.04(2)p(b4)??p(aib4)??p(ai)p(b4ai) ?0.1?0.4?0.3?0.1?0.2?0.2?0.4?0.2?0.19i?14i?1444(3)p(b3)??p(aib3)??p(ai)p(b3ai)?0.1?0.1?0.3?0.1?0.2?0.1?0.4?0.4?0.22i?1i?1 p(a2b3)?p(a2)p(b3a2)p(b3)?0.3?0.1?0.1360.22
2.5已知从符号B中获取关于符号A的信息量是1比特,当符号A的先验概率P(A)为下列各值时,分别计算收到B后测A的后验概率应是多少。 (1) P(A)=10-2; (2) P(A)=1/32; (3) P(A)=0.5。
?H.F.
2002 Copyright EE Lab508
解:
由题意?I(A;B)?logp(AB)p(A)?1?p(AB)?2p(A)
?p(A)?10?2时,p(AB)?2?10?2 p(A)?132时,p(AB)?116 p(A)?0.5时,p(AB)?1
2.6某信源发出8种消息,它们的先验概率以及相应的码字如下表所列。以a4为例,试求: 消息 概率 码字 a1 1/4 000 a2 1/4 001 a3 1/8 010 a4 1/8 011 a5 1/16 100 a6 1/16 101 a7 1/16 110 a8 1/16 111
(1) 在W4=011中,接到第一个码字“0”后获得关于a4的信息量I(a4;0);
(2) 在收到“0”的前提下,从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0); (3) 在收到“01”的前提下,从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01); (4) 从码字W4=011中获取关于a4的信息量I(a4;011)。 解:
(1)I(a4;0)?logp(a40)p(a4)?log(1/8)/(1/4?1/4?1/8?1/8)4?log?0.415 bit1/83(1/8)/(1/8?1/8)?log3?1.585 bit(1/8)/(1/4?1/4?1/8?1/8)1?log2?1 bit(1/8)/(1/8?1/8)1?log8?3 bit1/8n
(2)I(a4;10)?logp(a401)p(a40)?log(3)I(a4;101)?log(4)I(a4;011)?logp(a4011)p(a401)p(a4011)p(a4)
?log?log2.13把n个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(0
?H.F.
2002 Copyright EE Lab508
解:
用数学归纳法证明:当n?2时由:p??1?pp??2p?2p21?2p?2p2??1?p[P2]??????p1?p???2p1?p2p?2p2??????1?2p?2p1?p2?2p?2p2?[1?(1?2p)2]2假设n?k时公式成立,则?1k[1?(1?2p)]?2[Pk?1]??1k?[1?(1?2p)]?2?1k?1[1?(1?2p)]?2 ??1k?1?[1?(1?2p)]?21?Pk?1?[1?(1?2p)k?1]21故Pn?[1?(1?2p)n]21?[1?(1?2p)k]??1?pp?2???p1?p?1k?[1?(1?2p)]??2?1?[1?(1?2p)k?1]?2?1k?1[1?(1?2p)]?2?11?1?2p?1?limPn?lim[1?(1?2p)n]?n??n??22设输入信源空间X0:p(X0?0)?a,p(X0?1)?1?a(其中0?a?1)则输出信源X?:p(X??0)?p(X0?0)?p(X??0X0?0)?p(X0?0)?p(X??0X0?1)?12?p(x?x0)?p(x?)(x0、x?取0或1) p(X??1)??limI(X0;Xn)???p(X0iX?j)logn??i?1j?1222212p(X?jX0i)p(X?j)???p(X0iX?j)logi?1j?122p(X?jX0i)p(X?j) ???p(X0iX?j)log1?0i?1j?1
?H.F.
2002 Copyright EE Lab508
2.18试求下列各信道矩阵代表的信道的信道容量: (1)
b1 b2 b3 b4 a1?0010?[P?a2?1000?1]a??
3?0001?a?0100?4??(2)
b1 b2 b3 a1?100?a2?100[Pa???010?? 2]?3a?010?4??a5?001a??001?6??(3)
b1 b2 b3 b4 b5 b6 b7 b8 b9 a1?0.10.20.30.400000[P3]?a2?00000.30.a?70003??0000000.40.20.1解:
(1)信道为一一对应确定关系的无噪信道?C?logr?log4?2 bit/symble(2)信道为归并性无噪信道?C?logs?log3?1.585 bit/symble
(3)信道为扩张性无噪信道:?C?logr?log3?1.585 bit/symble
2.19设二进制对称信道的信道矩阵为:
0 1[P]?0?3/41/4? 1??1/43/4??(1) 若p(0)=2/3,p(1)=1/3,求H(X),H(X/Y),H(Y/X)和I(X;Y);
(2) 求该信道的信道容量及其达到的输入概率分布。
b10 0?0?
0.3????H.F.
2002 Copyright EE Lab508
解:
2211(1)H(X)???p(xi)logp(xi)??(?log??log)?0.9183 bit/symble3333i?1py(0)??p(xi)p(y?0xi)?i?122223117????34341221135????3434127755?log??log)?0.9799 bit/symble1212121222py(1)??p(xi)p(y?1xi)?i?12
H(Y)???p(yj)logp(yj)??(j?122H(YX)????p(xiyj)logp(yjxi)????p(xi)p(yjxi)logp(yjxi)i?1j?1i?1j?1233111211133 ??(?log??log??log??log)?0.8113 bit/symble344344344344?I(X;Y)?H(Y)?H(YX)?0.9799?0.8113?0.1686 bit/symbleH(XY)?H(X)?I(X;Y)?0.9183?0.1686?0.7497 bit/symble(2)本信道为强对称信道?C?logr?H(?)??log(r?1)?log2?H(0.25)?0.25log1?0.1887bit/symble1信源输入为等概分布,即p(X?0)?p(X?1)?时达到信道容量C.2
2.20设某信道的信道矩阵为
b1 b2 b3 b4 b5 a1?0.60.10.10.10.1?a2?0.10.60.10.10.1???
[P]?a3?0.10.10.60.10.1???a4?0.10.10.10.60.1?a5??0.10.10.10.10.2??试求:
(1) 该信道的信道容量C; (2) I(a3;Y); (3) I(a2;Y)。 解:
(1)本信道为强对称离散信道?C?logr?H(?)??log(r?1)?log5?H(0.4)?0.4log4?0.551bit/symble (2)、(3)I(a3;Y)?I(a5;Y)?C?0.551bit/symble
?H.F.
2002 Copyright EE Lab508
2.21设某信道的信道矩阵为
b1 b2 b3 b4 a1?1/31/31/61/6? [P]??a2?1/61/61/31/3??试求:
(1)该信道的信道容量C; (2)I(a1;Y); (3)I(a2;Y)。 解:
(1)本信道为对称离散信道1111?,p2?,p3?,p4?)?log4?H(,,,)?0.0817bit/symble ?C?logs?H(p13366(2)、(3)I(a1;Y)?I(a2;Y)?C?0.0817bit/bymble
2.22设某信道的信道矩阵为
?1/21/41/81/8?[P]??? 1/41/21/81/8??试该信道的信道容量C;
解:
此信道为准对称离散信道,且s1?2,s2?2111133?[?]????p(bl)l?1r24248111111p(b12)?p(b22)??[?]????p(bl)l?2r88248p(b11)?p(b21)?33111111?,p2?,p3?,p4?)??[2?log?2?log]?H(,,,)?C???slp(bl)logp(bl)?H(p188882488l?1 ?0.0612bit/symble
2.23求下列二个信道的信道容量,并加以比较(其中0
p??q???H.F.
2002 Copyright EE Lab508
解:
(1)此信道为准对称离散信道,且s1?2,s2?111p(bl)l?1??(p???q??)??(p?q?2?)r211p(bl)l?2??(2?)??2???r2?,p2?,p3?)?C1???slp(bl)logp(bl)?H(p1l?1211 ??[2??(p?q?2?)log?(p?q?2?)??log?]?H(p??,q??,2?)22p?q?2? ??(p?q?2?)log?(p??)log(p??)?(q??)log(q??)?2???log?2(2)此信道为准对称离散信道,且s1?2,s2?211p(bl)l?1??(2??0)??2???r211p(bl)l?2??(p???q??)??(p?q?2?)r2?,p2?,p3?,p4?)?C2???slp(bl)logp(bl)?H(p1l?1211 ??[2?log??2??(p?q?2?)log?(p?q?2?)]?H(p??,q??,2?,0)22p?q?2? ??(p?q?2?)log?(p??)log(p??)?(q??)log(q??)?2?2由上面C1、C2表达式可知:C1?C2且当??0时等号成立.2.27设某信道的信道矩阵为
?p1[P]??????00p20?0?0???其中P1,P2,?,PN是N个离散信道的信道矩阵。令C1,C2,?,?pN??CN表示N个离散信道的容量。试证明,该信道的容量C?logCi-C
?2i?1Nci比特/符号,且当每个信
道i的利用率pi=2证明:
(i=1,2,?,N)时达其容量C。
设:Pm为lm行?km列(m?1,2,?N)由方程组?p(bj/ai)?j??p(bj/ai)logp(bj/ai)(i?1,2,?r)???(1)j?1j?1ss解出?j可得C?log[?2j](其中s??km,r??lm)j?1m?1m?1s?NN
由[P]特点,方程组(1)可以改写为:?H.F.
2002 Copyright EE Lab508
s?k1p1p1p1p1p(b/a)??p(b/a)logp(bjjjj/ai)?ii??j1?1?j?1s?k2p2p2p2p2??p(bj/ai)?j??p(bj/ai)logp(bj/ai) (i?1,2,?r)??(2)j1?1?j?1???s?kNpnpnpnpn??p(bj/ai)?j??p(bj/ai)logp(bj/ai)j1?1?j?1其中Cm?log[?2j?1skm?pmj](m?1,2,?,N),即?2j?1Nkmkm?pmj?2Cm?C?log[?2]?log[?(?2j?1m?1j?1km?j?pmj)]?log[?2Cm]m?1kmN且在各信道利用率为:pm??2j?1(?pmj?C)?2(?log2j?1?pmj?C)?2(Cm?C)(m?1,2,?,N)时取得信道容量C?log[?2Cm]m?1N
第三章 多符号离散信源与信道
3.1设X=X1X2?XN是平稳离散有记忆信源,试证明:
H(X1X2?XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+?+H(XN / X1 X2?XN-1)。 (证明详见p161-p162)
3.2试证明:logr≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥?≥H(XN / X1 X2?XN-1)。 证明:
?H.F.
2002 Copyright EE Lab508
由离散平稳有记忆信源条件概率的平稳性有:p(aik/ai2ai3?aik?1)?p(aik?1/ai1ai2?aik?2)?r??H(Xk/X1X2?Xk?1)????p(ai1?aik?1)???p(aik/ai1ai2?aik?1)logp(aik/ai2ai3?aik?1)?i1?1ik?1?1?ik?1? ????i1?1rrik?1?1ik?1rrrr??p(a??p(a?p(ari1i2rri1i2a?aik?1aik)logp(aik/ai2ai3?aik?1)a?aik?1aik)logp(aik?1/ai1ai2?aik?2) ????i1?1ri1i2ik?1?1ik?1 ????i1?1a?aik?1)logp(aik?1/ai1ai2?aik?2)ik?1?1 ?H(Xk?1/X1X2?Xk?2)重复应用上面式子可得:H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)又仅当输入均匀分布时,H(X)达到最大logr,即logr?H(X)?logr?H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)
3.3试证明离散平稳信源的极限熵:
H??limH(XN/X1X2XN?1)
n??(证明详见p165-p167)
3.4设随机变量序列(XYZ)是马氏链,且X:{a1, a 2,?, a r},Y:{b1,b2, ?,bs},Z:{c1,c2, ?,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, ?,r;j=1,2, ?,s);Y与Z之间的转移概率为p(ck/bj)(k=1,2,?,L;j=1,2, ?,s)。试证明:X与Z之间的转移概率:
p(ck/ai)??p(bj/ai)p(ck/bj)
j?1s
证明:
?H.F.
2002 Copyright EE Lab508
p(ck/ai)?p(Z?ck/X?ai) ?p(Z?ck,?Y?bj/X?ai)??p(Z?ck,Y?bj/X?ai)j?1j?1ss ??p(Y?bj/X?ai)P(Z?ck/Y?bj,X?ai)j?1s
?XYZ为Markov序列?P(ck/bj,ai)?P(ck/bj)?p(ck/ai)=?p(Y?bj/X?ai)P(Z?ck/Y?bj)j?1s
3.5试证明:对于有限齐次马氏链,如果存在一个正整数n0≥1,对于一切i,j=1,2,?,r,都有pij(n0)>0,则对每个j=1,2,?,r都存在状态极限概率:
limpij(n)?pj(j?1,2,?,r)
n??(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为:
0 1 2 0?qp0?1?q0p? ??2??0qp??试求:
(1) 该马氏链的二步转移概率矩阵; (2) 平稳后状态“0”、“1”、“2”的极限概率。 解:
?q(1)[P(2)]??P??P????q??0(2)由:p0q0??q?qp???p????0p0q0??q2?pq?2p??q??2?p?q??pq2pqpq??p2?pq?p2??
p2??p(0)??qp0?T?p(0)??q(1?p)q2????p(0)??????1?pq1?pq??p(1)?=?q0p???p(1)???(1?q)(1?p)pq????p(2)????0qp????p(2)????p(1)????1?pq1?pqp(0)?p(1)?p(2)?1????p(1?q)p2???p(0)??1?pq1?pq???p(i)?0(i?0,1,2)
3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位
?H.F.
2002 Copyright EE Lab508
时间的条件概率分布分别是:
P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0.
后面发出的Xi概率只与Xi-1有关,有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图,并计算信源的极限熵H∞。 解:
由题意,此信源为一阶有记忆信源: 0 1 2且一步转移概率为:0?1/31/31/3?[P]?1??2?1/31/31/3?1/20??1/2???1/31/31/3??1/31/31/3??1/37/182/9?[P(2)]??P??P????1/31/31/3?????1/31/31/3??7/187/182/9??1/21/20??????????1/21/20????1/31/31/3???n0?2时二步转移概率均大于0,既有pij(n0?2)?0(i,j?1,2,3)?信源具有各态经历性,存在极限概率p(Si)(i?1,2,3)??p(ST?1)??1/31/31/3????p(S1)???p(S)?????p(S)?3由?2?1????p(S?=?1/31/31/33)??????p(S2)?1/21/20?????p(S?83)????p(S?p(S)?p(S)?p(S)??2)?38?1231???p(S13)???p(S?i)?0(i?1,2,3)?43?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j ??3?(38?13log13)?3?(38?13log13)?2?(1114?2log2)?1.439bit/symbl香农线图如下:
1/3 1/3 1/3 0 1/3 1 1/2 1/3 1/2 1/3 2 ?H.F.
2002 Copyright EE Lab508
3.8某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X:{0,1,2},并定义p?1?p
p 0 p/2 p/2 p 1 p/2 p/2 p/2 p/2 2 (1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2); (2) 求信源的极限熵H∞;
(3) p取何值时H∞取得最大值。 解:
p (1)由题意,此信源一步转移概率为: 0 1 20?pp/2p/2???[P]?1?p/2pp/2?2?p??p/2p/2??n0?1时二步转移概率均大于0,既有pij(n0?1)?0(i,j?1,2,3)?信源具有各态经历性,存在极限概率p(Si)(i?1,2,3)T??p(S)??p?p/2p/2?p(S1)?11?????p(S)????1?pp/2???p(S2)???p(S2)?=?p/23????p/2p/2??p?1??p(S3)?????p(S3)???由?p(S)??23?p(S1)?p(S2)?p(S3)?1?1??p(S)?3??3??p(S)?0(i?1,2,3)i?(2)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3
11pp1ppp ??3?(plogp??log??log)??(plogp?plog)bit/symbl33223222ppppp(3)H???(plogp?plog)??(plogp?log?log)22222pppp12?p???1?由熵的极限定理,当p???即p?时H?取得最大,且
222233H?max?log3?1.585bit/symble
?H.F.
2002 Copyright EE Lab508
3.9某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X:{0,1,2}。试求: (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2); (2)求信源的极限熵H∞;
(3)求当p=0,p=1时的信息熵,并作出解释。
p
0 p p
1 p p 2 p 解:
(1)由题意,此信源一步转移概率为: 0 1 20?p0p???[P]?1?pp0??2??0pp??由状态转移图可知,此信源为不可约、非周期性、各态经历性信源?存在极限概率p(Si)(i?1,2,3)??p(S)??p0p?T?p(S)?111?????p(S)????1???p(S2)?=?pp0???p(S2)?3????0pp??p(S3)???p(S3)?????p(S)?1???由??23?p(S1)?p(S2)?p(S3)?1?1??p(S)?3??3??p(S)?0(i?1,2,3)i?(2)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3111111 ??(plogp??plogp?plogp??plogp?plogp??plogp)333333
??(plogp?plogp)?H(p)bit/symbl(3)p?0时,H??H(0)?0bit/symbl p?1时,H??H(1)?0bit/symbl
?H.F.
2002 Copyright EE Lab508
3.10设某马尔柯夫信源的状态集合S:{S1S2S3},符号集X:{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. (1) 求状态极限概率并找出符号的极限概率;
(2) 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); (3) 信源的极限熵H∞.
α2:1/2 α1:1/2 S1 α2:1/4 α3:1/4 α1:1 S3
解:
α3:1/2 S2 (1)由题意,此信源一步转移概率为: S1 S2 S3S1?03/41/4??[P]?S2?01/21/2??S3?0??10??由状态转移图可知,此信源为不可约、非周期性、各态经历性信源?存在极限概率p(Si)(i?1,2,3)??p(S1)??03/41/4?T?p(S1)?2???p(S)??????1???p(S2)?=?01/21/2???p(S2)?7??0???p(S3)????10???p(S3)????p(S)?3由???27p(S)?p(S)?p(S)?1??1232??p(S)?3??7??p(S)?0(i?1,2,3)i?各符号极限概率为:p(a1)??p(Si/a1)p(Si)?i?1332124???1?727721213????74721421213????747214p(a2)??p(Si/a2)p(Si)?i?13p(a3)??p(Si/a3)p(Si)?i?131111(2)H(X/S1)???p(ai/S1)logp(ai/S1)??(log?log)?1bit/symble
2244i?11111 H(X/S2)???p(ai/S2)logp(ai/S2)??(log?log)?1bit/symble2222i?1?H.F.
32002 Copyright EE Lab508
H(X/S3)???p(ai/S3)logp(ai/S3)??log1?0bit/symblei?13(3)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3
23311311112 ??[?(log?log)??(log?log)??log1]74444722227 ?0.660bit/symbl3.12下图所示的二进制对称信道是无记忆信道,其中0?p,p?1,p?p?1,p??p,试写出N=3次扩展无记忆信道的信道矩阵[P].
0 p 0 p X Y p p 1 1
解:
将二进制对称无记忆信道N?3次扩展后,信源输入符号集为:?i?(ai1ai2ai3),其中ai1、ai2、ai3?{0,1},i?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)输出符号集为:?j?{bj1bj2bj3},其中bj1、bj2、bj3?{0,1},j?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)?p(?j/?i)?p(ai1/bj1)?p(ai2/bj2)?p(ai3/bj3)故直接可以写出N?3次扩展信道信道矩阵: ?1 ?2 ?3 ?4 ?5 ?6 ?7 ?8 (000) (001) (010) (011) (100) (101) (110) (111)3222?1?(000)?ppppppp2pppp2pp2p3??2?3222232?2?(001)?pppppppppppppp?2322232??3?(010)?pppp2pppppppppp??22322322??(011)?pppppppppppppp?[P]?423222232??5?(100)?pppppppppppppp??2232?6?(101)?pp2ppp3pp2ppppp2pp????7?(110)?pp2p3p2ppp2p2ppp2p3p2p??8?(111)?p3pp2pp2p2ppp2p2pp2pp3???
?H.F.
2002 Copyright EE Lab508
第五章 多维连续信源与信道
5.8设X(?)是时间函数x(t)的频谱,而函数在T1 X(f)?n?????X(nsin(n???fT)) Tn???fT(频域抽样定理,证明详见p263-p265) 5.9设随机过程x(t)通过传递函数为K(?)的线性网络,如下图所示.若网络的频宽为F,观察时间为T.试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为: x(t) 网络 K(?) y(t) ?n?h(Y)?h(X)??logK?? ?T?n?1(证明详见p283-p287) 5.11证明:加性高斯白噪声信道的信道容量: 2N?XC?log(1?2) 信息单位/N维 2?NFT2其中N=2FT,б2X是信号的方差(均值为零), б2N是噪声的方差(均值为零). 再证:单位时间的最大信息传输速率 Ct?Flog(1?2?XN0F) 信息单位/秒 (证明详见p293-p297) 5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct. 解: S?NS?NS?10??10即?9NNN S?Ct?Flog(1?)?3000?log(1?9)?9965.78 bit/sN由题意有:10log?H.F. 2002 Copyright EE Lab508 5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB). 解: 由题意用16个亮度电平来表示一个像素则需要4位二进制编码;又由Ct?Flog(1?F?CtSlog(1?)N?S)得:NCt1S()dB10N log(1?10)2.25?106?4?60??1.505?104?15.05kHz3log(1?10) 5.14设电话信号的信息率为5.6×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F、限输入功率P的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P是多少W?若 F→∞则P是多少W? 解: (1)F?4kHz时,实现无差错传输则R?Flog(1?取等号,即R?Flog(1?RFP)N0FPmin)得N0F5.6?1044?103Pmin?N0F(2?1)?5?10?6?10?3?4?103?(2?1)?0.32766W所以无差错传输所需要得最小功率Pmin?0.32766W(2)F??时,由实现无差错传输则R?limCt?F??PxN0ln2取等号,则Pmin?RN0ln2?5.6?104?5?10?6?10?3?ln2?1.941?10?4?0.1941mW 5.15已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少?若信噪比提高到15dB,求理论上传送同样的信息率所需的频带. 解: 最大可能传输的速率为:()dBS10N R?Ct?Flog(1?)?Flog(1?10)?3?103?log(1?1010)?4748.05 bit/sNSR4748.05若()dB?15则F???944.36 Hz15SNlog(1?)log(1?1010)N1S3 ?H.F. 2002 Copyright EE Lab508 5.17设某加性高斯白噪声信道的通频带足够宽(F→∞),输入信号的平均功率Ps=1W,噪声功率谱密度N0=10-4W/Hz,,若信源输出信息速率Rt=1.5×104比特/秒.试问单位时间内信源输出的信息量是否全部通过信道?为什么? 解: ?limCt?F??Ps1??4?1.4427?104bit/s?Rt?1.5?104bit/sN0ln210?ln2即信源输出信息速率大于信道所能提供的最大传输速率,所以单位时间内信源输 出的信息量不能全部通过信道,否则会产生失真. 第六章 无失真信源编码 6.3设平稳离散有记忆信源X=X1X2?XN,如果用r进制符号集进行无失真信源编码.试证明当N→∞时,平均码长n(每信源X的符号需要的码符号数)的极限值: N??limn?H?r 其中,H∞r表示r进制极限熵. 证明: 对于平稳离散有记忆信源X?X1X2?XNH(X)?limH(XN/X1X2?XN)N??N??N??N由平均码长界限定理H??limHN(X)?limH(X)H(X)?nX??1logrlogr则H(X)nXH(X)1???N?logrNN?logrN H(X)nXH(X)1?lim?lim(?)N??N?logrN??NN??N?logrNH?H?即?limn?logrN??logrH??limn??H?rN??logr?lim 6.4设某信源S:{s1,s2,s3,s4,s5,s6},其概率分布如下表所示,表中也给出了对应的码1,2,3,4,5,6. (1)试问表中哪些码是单义可译码? (2)试问表中哪些码是非延长码? (3)求出表中单义可译码的平均码长n. si pi W(1) W(2) W(3) W(4) W(5) W(6) ?H.F. 2002 Copyright EE Lab508 s1 s2 s3 s4 s4 s6 1/2 1/4 1/8 1/16 1/32 1/32 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 01 001 0001 00001 000001 0 10 110 1110 1011 1101 0 100 101 110 111 011 解: (1)W(1)是定长非奇异码,单义可译,W(2)是延长码,单义可译, W(3)是即时码,单义可译; (2) W(1)、W(3)是非延长码; (3) W(1):n??pini?i?166111111?3??3??3??3??3??3?324816323211111163?1??2??3??4??5??6? 2481632323211111163?1??2??3??4??5??6?24816323232W(2):n??pini?i?16W(3):n??pini?i?1 6.5某信源S的信源空间为: ?S: s1 s2[S?P]:? P(S): 0.2 0.8 ?(1) 若用U:{0,1}进行无失真信源编码,试计算平均码长n的下限值; (2) 把信源S的N次无记忆扩展信源SN编成有效码,试求N=2,3,4时的平均码长n; (3) 计算上述N=1,2,3,4,这四种码的信息率. 解: (1)H(S)???p(si)logp(si)??(0.2?log0.2?0.8?log0.8)?0.7219bit/symblei?12?由平均码长界限定理:n?(2)N?2时H(S)0.7219??0.7219logrlog2 2??S S11 S12 S21 S22[S?P]??2??P(S) 0.04 0.16 0.16 0.642对其进行Huffman编码: 码长 1 2 3 编码 0 10 110 信符 S22 S21 S12 信符概率 0.64 0.16 0.16 0 0 1 1 0 1 ?H.F. 2002 Copyright EE Lab508 3 4111 S11 0.08 ?n(2)??pini?0.64?1?0.16?2?0.16?3?0.08?3?1.68 码符号/2信源符号i?1n?n(2)1.68??0.84 码符号/信源符号22 N?3时2??S S111 S112 S121 S122 S211 S212 S221 S222 [S?P]??3?P(S) 0.008 0.032 0.032 0.128 0.032 0.128 0.128 0.512?3码长 1 3 3 3 5 5 5 5 8编码 0 100 111 110 11100 11101 11110 11111 信符 S222 S221 S212 S122 S112 S121 S211 S111 信符概率 0.512 0.128 0.128 0.128 0.032 0.032 0.032 0.008 0 1 0 1 0 1 0 1 0 1 0 1 0 1 ?n(3)??pinii?1 ?0.512?1?0.128?3?0.128?3?0.128?3?0.032?5?0.032?5??0.032?5?0.008?5 ?2.184 码符号/3信源符号n? n(3)2.184??0.728 码符号/信源符号33N?4时?S2 S1111 S1112 S1121 S1122 S1211 S1212 S1221 S1222?3?P(S) 0.0016 0.0064 0.0064 0.0512 0.0064 0.0512 0.0512 0.1024?[S3?P]???S2 S S S S S S S S21112112212121222211221222212222?3?P(S) 0.0064 0.0256 0.0256 0.1024 0.0256 0.1024 0.1024 0.4096? 码长 1 3 3 4 4 6 6 编码 0 100 101 1100 1101 111000 111001 信符 S2222 S2221 S2212 S2122 S1222 S2112 S2121 信符概率 0.4096 0.1024 0.1024 0.1024 0.1024 0.0256 0.0256 0 0.2048 0 1 1 0 0.2048 0 1 0.5904 1 0 0.0512 1 0.1024 0 0.3856 0 0 1 1 ?H.F. 1 0.0512 0 0 0.0512 0.1808 1 1 2002 Copyright EE Lab508 6 6 6 6 7 7 7 8 8 111010 111010 111100 111101 1111100 1111101 1111110 11111110 11111111 16S2211 S1221 S1212 S1122 S1112 S1121 S1211 S2111 S1111 0.0256 0.0256 0.0256 0.0256 0.0064 0.0064 0.0064 0.0064 0.00016 ?n(4)??pinii?1 ?0.4096?1?0.1024?(3?3?4?4)?0.0256?(6?6?6?6?6?6) ?0.0064?(7?7?7)?0.0064?8?0.0016?8 ?2.9632 码符号/4信源符号n?(3) n(4)2.9632??0.7408 码符号/信源符号44H(S)?0.7219bit/symblenH(S) 若编码平均码长达到下限n?0.7129时,R??1bit/symblenH(S)0.7219N?2时,R???0.8594bit/symble 0.84nH(S)0.7219N?3时,R???0.9916bit/symble0.728nH(S)0.7219N?4时,R???0.9745bit/symble0.7408nN?1时,进行Huffman编码则n?1?R? 6.6设信源S的信源空间为 ?S: s1 s2 s3 s4 s5 s6 s7 s8[S?P]:? ?P(S): 0.2 0.1 0.3 0.2 0.05 0.05 0.05 0.05 符号集U:{0,1,2},试编出有效码,并计算其平均码长n. 解:进行Huffman编码: r=3,q=8,因为(q-r)mod(r-1)=5mod2=1≠0,所以插入m=(r-1)- (q-r)mod(r-1)=2-1=1个虚假符号,令其为S9,则: 码长 1 1 2 2 编码 0 1 20 21 信符 S3 S1 S4 S2 信符概率 0.3 0.2 0.2 0.1 0 1 2 0 1 2 0 1 2 ?H.F. 0 1 2 2002 Copyright EE Lab508 3 3 4 4 4 220 221 2220 2221 2222 8S5 S6 S7 S8 S9(不使用) 0.05 0.05 0.05 0.05 0 ?n??pinii?1 ?0.3?1?0.2?1?0.2?2?0.1?2?0.05?3?0.05?3??0.05?4?0.05?4 ?1.8 码符号/信源符号 6.7设信源S的N次扩展信源SN,用霍夫曼编码法对它编码,而码符号U:{ α1,α2,?,αr },编码后所得的码符号可以看作一个新的信源 ?U: a1 a2 ? ar [U?P]:? ?P(U): p1 p2 ? pr试证明:当N→∞时,limpi?N??1(i?1,2,?,r). r证明: ?H.F. 2002 Copyright EE Lab508 对信源S的N次扩展信源SN进行Huffam编码,得到的编码是无失真非延长有效码.由平均码长的界限定理,有:H(SN)H(SN)?nN??1logrlogrH(SN)则?N?logrH(S)??n?logrnNH(SN)1?? 其中,为N次扩张信源每个符号需要的平均码长NN?logrNH(S)1? 其中n为信源S每个符号所需要的平均码长logrN对上式各项求极限,不等式仍成立H(S)H(S)1?limn?lim(?)N??logrN??N??logrNH?H??limn?logrN??logrH??limn??H?rN??logr?lim同时由无失真信源编码定理,有H(SN)H(S)编码速率R??nNnH(SN)H(S)H??R??limR?lim?lim??logr bit/symbleN??N??N??H?nNnlogr?在N??时,编码速率即码符号集U每一符号所包含信源的平均信息量R??logr,可见,对于码符号集U,在N??时提供的信息量达到了最大Hmax(U)?logr由信源熵的最大值定理知,此时各符号等概出现:?limpi?N??1(i?1,2,?,r)r6.8设某企业有四种可能出现的状态盈利、亏本、发展、倒闭,若这四种状态是等概率的,那么发送每个状态的消息量最少需要的二进制脉冲数是多少?又若四种状态出现的概率分别是:1/2,1/8,1/4,1/8,问在此情况下每消息所需的最少脉冲数是多少?应如何编码? 解: 设S:{S1=“盈利”,S2=“亏本”,S3=“发展”,S4=“倒闭”}, (1)若四种情况等概率出现时,即p(S1)=p(S2)=p(S3)=p(S4)=0.25时,用脉冲来表示各信息可视为对信源S进行编码,由平均码长界限定理知: n?H(S)H(0.25,0.25,0.25,0.25)??2 脉冲数/信源符号 logrlog2所以发送每个状态的信息最少需要2个二进制脉冲. (2) p(S1)=1/2,p(S2)=1/8,p(S3)=1/4,p(S4)=1/8时,由平均码长界限定理: ?H.F. 2002 Copyright EE Lab508 1111H(,,,)H(S)2848?7 脉冲数/信源符号 n??logrlog24所以此情况下每消息所需的最少脉冲数是1.75个. 达到此下限时要求各消息对应码长ni与出现概率p(Si)关系为:p(Si)=2-ni,则 n1=1,n2=3,n3=2,n4=3. 对信源进行Huffman编码: 码长 1 2 3 3 编码 0 10 100 101 信符 S1 S3 S2 S2 信符概率 1/2 1/4 1/8 1/8 0 1 1/2 1/4 1/4 1/2 0 1 1/2 0 1 可见上面编码符号最小码长条件,可使发送每信息的脉冲数最少. 6.9设某信源的信源空间为: ?S: s1 s2 s3 s4 s5 s6 s7?[S?P]:?1111111 P(S): ?24816326464?试用U:{0,1}作码符号集,采取香农编码方法进行编码,并计算其平均码长n. 解: 码长 1 2 3 4 5 6 6 编码 0 10 110 1110 11110 111110 111111 7信符 s1 s2 s3 s4 s5 s6 s7 信符概率 1/2 1/4 1/8 1/16 1/32 1/64 0 1/64 1 1/2 1/4 1/8 1/16 1/2 1/4 1/8 1/16 1/2 1/4 1/8 0 1/8 1 1/2 1/4 0 1 1/4 1/2 0 1 0 1/2 1 1/32 0 1 1/16 1/32 ?n??pinii?11111111?1??2??3??4??5??6??6 24816326464 ?1.96875 码符号/信源符号 ?第七章抗干扰信道编码 7.4设有一离散信道,其信道矩阵为: ?H.F. 2002 Copyright EE Lab508 ?1?2?1[P]???4?1??41412141?4?1?? 4?1?2??(1) 当信源X的概率分布为р(?1)=2/3,р(?2)=р(?3)=1/6时,按最大后验概率准则选择译 码函数,并计算其平均错误译码概率Pemin. (2) 当信源是等概信源时,按最大似然译码准则选择译码函数,并计算其平均错误译码概率 Pemin. 解: (1)计算后验概率,有:33577p(b1)??P(ai)P(b1ai)?, p(b2)??P(ai)P(b2ai)?, p(b3)??P(ai)P(b3ai)?;122424i?1i?1i?13?P(a1b1)?P(a1b2)?P(a1b3)?P(a1)P(b1a1)p(b1)p(b2)P(a2)P(b1a2)1P(a3)P(b1a3)14?, P(a2b1)??, P(a3b1)??;5p(b1)10p(b1)10P(a1)P(b2a1)P(a1)P(b3a1)p(b3)3P(a2)P(b2a2)2P(a3)P(b2a3)14?, P(a2b2)??, P(a3b2)??;7p(b2)7p(b2)7P(a2)P(b3a2)1P(a3)P(b3a3)24?, P(a2b3)??, P(a3b3)??.7p(b3)7p(b3)71333?取解码规则为:F(b1)?a1 F(b2)?a1 F(b3)?a1Pemin?1??p(bj)p(a*bj)?j?1(2)由信道矩阵,取译码规则为:F(b1)?a1 F(b2)?a2 F(b3)?a3由于信源等概分布?pe?pemin?1??p(a)p(bja)???p(ai)p(bjai)?****j?1j?1i?**12 7.5某信道的输入符号集X:{0,1/2,1},输出符号集Y:{0,1},信道矩阵为: 0?11?1[P]??221??00?1? 2?1??现有四个消息的信源通过这信道,设信息等概出现。若对信源进行编码,我们选这样一种码: C:{(x1,x2,1/2,1/2)},xi=0,1(i=1,2) 其码长n=4,并选取这样的译码原则:?(y1,y2,y3,y4)=(y1,y2,1/2,1/2) (1) 这样的编码后信息传输效率等于多少? (2) 证明在选用的编码规则下,对所有码字有Pe=0。 解: ?H.F. 2002 Copyright EE Lab508 (1)?信道输入等概出现?R?(2)证明:logMlog4??0.5 bit/symbleN42?Pe??P(bj)Pej??P(bj)(1-PRj)??P(bj)(1-P{X?F(bj)?ai/bj}) j?1j?1j?122 ?P(0)(1?1)?P(1)(1?1)?0?在这样的译码原则下,对所以的码字Pe=0。7.6考虑一个码长为4的二进制码,其码字为w1=0000;w2=0011;w3=1100;w4=1111。若码 字送入一个二进制对称信道(其单符号的误传概率为p,p<0.01),而码字的输入是不等概率的,其概率为:p(w1)=1/2,p(w2)=1/8,p(w3)=1/8,p(w4)=1/4 试找出一种译码规则使平均错误概率Pemin=Pe。 解:由于信道为二进制对称信道,所以先验概率等于后验概率,且p<0.01,故可以根据信道输出的24个码字的最大后验概率选择译码规则,即可使平均错误概率Pemin=Pe。 发送概率 收到码字 0000 w1=0000 w2=0011 w3=1100 w4=1111 译码规则 12P 4122PP 813PP 813PP 814P 813PP 8122PP 8122PP 813PP 813PP 8122PP 8122PP 813PP 814P 8122PP 813PP 813PP 814P 813PP 8122PP 8122PP 813PP 813PP 8122PP 8122PP 813PP 814P 814P 413PP 413PP 4122PP 413PP 4122PP 4122PP 413PP 413PP 4122PP 4122PP 413PP 4122PP 4F(0000)=0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 13PP 213PP 2122PP 213PP 2122PP 2122PP 213PP 213PP 2122PP 2122PP 213PP 2122PP 2F(0001)=0000 F(0010)=0000 F(0011)=0011 F(0100)=0000 F(0101)=0000 F(0110)=0000 F(0111)=1111 F(1000)=0000 F(1001)=0000 F(1010)=0000 F(1011)=1111 F(1100)=1100 ?H.F. 2002 Copyright EE Lab508 1101 1110 1111 13PP 213PP 214P 21613PP 813PP 8122PP 813PP 813PP 8122PP 813PP 413PP 414P 4F(1101)=1111 F(1110)=1111 F(1111)=1111 ?Pe?Pemin?1??P(bj)P(a*bj)j?1111111111 ?1?(P4?PP3?PP3?P4?PP3?P2P2?P2P2?PP3?PP3 2228222421111111 ?P2P2?P2P2?PP3?P4?PP3?PP3?P4)2248444 ?1?P4?3PP3?2P2P27.7设一离散无记忆信道,其信道矩阵为: ?1?2??0??0???0?1??2121200001212000012120?0??0??0? ?1??2?1?2?(1) 计算信道容量C; (2) 找出一个长度为二的码,其信息传输率为0.5log5(即五个字符),如果按最大似然译码 准则设计译码器,求译码器输出端平均错误译码的概率Pe(输入字符等概); (3) 有无可能存在一个长度为2的码而使每个码字的平均误译概率Pe(i)=0(i=1,2,3,4,5),也 即使平均错译概率Pe=0?如存在的话请找出来。 解: (1)?r?s?5,且[P]为非奇异矩阵?由?p(bj/ai)?j??p(bj/ai)logp(bj/ai)(i?1,2,3,4,5)得j?1j?155 ??1??2??2??1??1??????2????1232??55???j??3??4??2???3??1?C?log?2?log?1.322bit/symble2j?1??????2????15?4?4????5??1??1??5??2(2)(3) ?H.F. 2002 Copyright EE Lab508 7.8设有二个等概信息A和B,对它们进行信道编码,分别以w1=000,w2=111表示。若二进制对称信道的正确传递概率p`>>错误传递概率p。试选择译码函数,并使平均错误概率Pe=Pemin,写出Pemin的表达式。 解: 000 001 010 100 011 101 110 111 000?P3?P???3111?PP2PP2PP2PP2PP2PP2PP2PP2PP2PP3?? P2PP2PP2PP3?因为正确传递概率p`>>错误传递概率p,所以选择译码函数如下: F(000)=F(010)=F(100) =F(001)=000 F(111)=F(011)=F(101) =F(110)=F(111)=111 1Pe?Pemin???P(wi)P(bjwi)?(6P2P?2P3)?3P2P?P3 2j?1i?*7.9设离散无记忆信道的输入符号集X:{0,1},输出符号集Y:{0,1,2},信道矩阵为: 8 0 1 2 0?12?P????11??414121?4? 1??4?若某信源输出两个等概消息s1和s2,现在用信道输入符号集中的符号对s1和s2进行信道编码,以w1=00代表s1,w2=11代表s2。试写出能使平均错误译码概率Pe=Pemin的译码规则,并计算Pemin。 解: 由题意可得转移矩阵: 00 01 02 10 11 12 20 21 22 ?111111111?00?4888161681616?[P]???11?111111111? ?816816??1681684??取译码规则F(00)?F(01)?F(02)?F(10)?F(20)?00 F(11)?F(12)?F(21)?F(22)?11 又输入等概?Pe?Pemin???P(wi)P(bjwi)?j?1r?**911327.10设某信道的信道矩阵为: ?0.50.30.2?[P]??0.20.30.5? ????0.30.30.4??其输入符号等概分布,在最大似然译码准则下,有三种不同的译码规则,试求之,并计算出 它们对应的平均错误概率。 ?H.F. 2002 Copyright EE Lab508 解:输入符号等概分布,在最大似然译码准则下,有三种不同的译码规则: (1) F(b1)=?1,F(b2)=?1,F(b3)=?2 (2) F(b1)=?1,F(b2)=?2,F(b3)=?2 (3) F(b1)=?1,F(b2)=?3,F(b3)=?2 ?P(b2a1)?P(b2a2)?P(b2a3)3?Pe?Pemin?Pemin1?Pemin2?Pemin3???P(ai)P(bjai)?0.5667 j?1i?** 第八章 限失真信源编码 8.1设信源X的概率分布P(X):{p(?1), p(?2), ?,p(?r) },失真度为d (?i, ?j)≥0,其中(i=1,2,?,r;j=1,2,?,s).试证明: rDmin??p(ai){mind(ai,bj)} i?1j并写出取得Dmin的试验信道的传输概率选取的原则,其中 minjd(ai,bj)?minj{p(b1/ai),p(b2/ai),?,p(bS/ai))} (证明详见:p468-p470) 8.2设信源X的概率分布P(X):{p(?1), p(?2), ?,p(?r) },失真度为d(?i, ?j)≥0,其中 (i=1,2,?,r;j=1,2,?,s).试证明: rDmax?minj{?p(ai)d(ai,bj)} i?1并写出取得Dmax的试验信道传递概率的选取原则. (证明详见:p477-p478) 8.5设二元信源X的信源空间为: [X?P]:??X 0 1 ?P(X) ? 1-? 令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求: (1) Dmin,R(Dmin); (2) Dmax,R(Dmax); (3) 信源X在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解: ?H.F. 2002 Copyright EE Lab508 (1)最小允许失真度:Dmin??p(ai)?minjd(ai,bj)??p(0)?0?p(1)?0=0i?12则满足保真度D?Dmin?0的信道矩阵 0 1 [P]?0?10??1??01?p(bj/ai)?0或p(bj/ai)?1(i?1,2),故此时H(X/Y)?0?R(Dmin)?R(0)?min?I(X;Y)??min?H(X)?H(X/Y)??H(X)?H(?)?2?(2)Dmax?Dmin?min??p(ai)d(ai,bj)??min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1? ?min{p(1);p(0)}?p(1)??j?此时I(X;Y)?0?R(Dmax)?R(?)?0(3)离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(X)?H(D)?H(?)?H(D)?H(?)?H(D) 0?D??即R(D)???0 D??由上,可得R(D)曲线如下: R(D) H(ω) D 0 (4)R(1/8)=H(ω)-H(1/8)= H(ω)-0.5436 bit/symble 8.6一个四进展等概信源 Dmax=ω ?U 0 1 2 3 ?[U?P]:?1111 P(U) ?4444?接收符号集V:{0,1,2,3},其失真矩阵为: ?0?1[D]???1??1(1) Dmin,R(Dmin); (2) Dmax,R(Dmax); 111?011?? 101??110??H.F. 2002 Copyright EE Lab508 (3) 试求R(D), 并画出R(D)的曲线(去4到5个点). 解: (1)设输出符号集Y:{b1,b2}最小允许失真度:Dmin??p(ui)?minjd(ui,bj)??p(0)?0?p(1)?0?p(2)?0?p(3)?0=0i?14则满足保真度D?Dmin?0的信道矩阵?1000??0100??[P]???0010???0001??p(bj/ui)?0或p(bj/ui)?1(i?1,2,3,4),故此时H(U/Y)?01111?R(Dmin)?R(0)?min?I(U;Y)??min?H(U)?H(U/Y)??H(U)?H(,,,)?2bit/symble4444 ?4??3333?3(2)Dmax?Dmin?min??p(ui)d(ui,bj)??min?,,,??jj?4444?4?i?1?此时U、Y相互独立,故I(X;Y)?0?R(Dmax)?R(?)?0(3)离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?Dlog3?2?H(D)?Dlog33?2?H(D)?Dlog3 0?D???4即R(D)???0 D?3?4?可计算得:D?0,R(0)?2bit/symble;11 D?,R()?1.258bit/symble;8811 D?,R()?0.792bit/symble;4411 D?,R()?0.208bit/symble;2233 D?,R()?0bit/symble44?可得R(D)曲线如下: 2 1.258 0.792 0.208 0 8.7某二进制信源: R(D) (bit/bymble) D 1/8 1/4 1/2 3/4 ?H.F. 2002 Copyright EE Lab508 ?U 0 1 ?[U?P]:?11 P(U) ?22?其失真矩阵为: 0 10?0a? [D]??1?a0??(1) 试求Dmin,R(Dmin); (2) 试求Dmax,R(Dmax); (3) 试求R(D); (1)设输出符号集Y;{b1,b2}最小允许失真度:Dmin??p(ui)?minjd(ui,bj)??p(0)?0?p(1)?0=0i?12则满足保真度D?Dmin?0的信道矩阵?10? [P]????01?p(bj/ui)?0或p(bj/ui)?1(i?1,2),故此时H(U/Y)?0?R(Dmin)?R(0)?min?I(U;Y)??min?H(U)?H(U/Y)??H(U)?log2?1bit/symble?2?(2)Dmax?Dmin?min??p(ui)d(ui,bj)??min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1?a ?min{a?p(1);a?p(0)}?j2a此时U、Y相互独立,I(U;Y)?0?R(Dmax)?R()?02(3)平均失真度D???p(ui)p(bj/ui)d(ui,bj)?a?p(ai)p(bj/ai)i?1j?1i?j22??pei??p(bj/ui)?D?a?p(ui)pei?aPe,当失真度满足保真度准则时,D?D?aPei?ji?jDD由费诺不等式:H(U/Y)?H(Pe)?Pelog(r?1)?H()?log(r?1)aaDDI(U;Y)?H(U)?H(U/Y)?H(U)?H()?log(r?1)aaDD?在D定义域中选取适当值可得R(D)?min{I(U;Y)}?H(U)?H()?log(r?1)ddDD?对此信源R(D)?H(U)?H()?1?H()aaDa?1?H() 0?D???d2即R(D)???0 D?a?2??H.F. 2002 Copyright EE Lab508 8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U). 8.9试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,D>Dmin. 8.10某二元信源X的信源空间为: [X?P]:??X a1 a2 ?P(X) ? 1-? 其中ω<1/2,其失真矩阵为: [D]???0d??d0?? (1) 试求Dmin,R(Dmin); (2) 试求Dmax,R(Dmax); (3) 试求R(D); (4) 写出取得R(D)的试验信道的各传输概率; (5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵. 解: ?H.F. 2002 Copyright EE Lab508 (1)最小允许失真度:Dmin??p(ai)?minjd(ai,bj)??p(0)?0?p(1)?0=0i?12则满足保真度D?Dmin?0的信道矩阵?10? [P]????01?p(bj/ai)?0或p(bj/ai)?1(i?1,2),故此时H(X/Y)?0?R(Dmin)?R(0)?min?I(X;Y)??min?H(X)?H(X/Y)??H(X)?H(?)?2?(2)Dmax?Dmin?min??p(ai)d(ai,bj)??min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1? ?min{d?p(1);d?p(0)}?d?p(1)?d?j?此时X、Y相互独立,I(X;Y)?0?R(Dmax)?R(?)?0(3)平均失真度D???p(ai)p(bj/ai)d(ai,bj)?d?p(ai)p(bj/ai)i?1j?1i?j22?pei??p(bj/ai)?D?d?p(ai)pei?dPe,当失真度满足保真度准则时,D?D?dPei?ji?jDD由费诺不等式:H(X/Y)?H(Pe)?Pelog(r?1)?H()?log(r?1)ddDDI(X;Y)?H(X)?H(X/Y)?H(X)?H()?log(r?1)ddDD?在D定义域中选取适当值可得R(D)?min{I(X;Y)}?H(X)?H()?log(r?1)ddD?对此信源R(D)?H(?)?H()dD?H(?)?H() 0?D?d??即R(D)??d??0 D?d? ?H.F. 2002 Copyright EE Lab508 (4)I(X;Y)取得R(D)时的试验信道的信道矩阵为:??d2?Dd?D?d?D2??d2?2D?d[PX]??2Dd??D???d2??d2?2Dd?2Dd?检验:2?Dd?D?d?D2??d2?2D?d?d2??d2?2Dd?Dd??D2?d2??d2?2Dd?2Dd????d2?Dd?D?d?D2Dd??D2d??Dp(y1)??p(xi)p(y1/xi)???(1??)??d2?2D?dd2??d2?2Dd?2Dd?d?2Di?12d?d??Dp(y2)??p(xi)p(y2/xi)??D?(1??)(1?D)?d?2Di?1?d2?Dd?D?d?D2?2p(x1)p(y1/x1)D?d?2D?dp(x1/y1)???1?d??Dp(y1)dd?2DDd??D2(1??)22p(x2)p(y1/x2)d??d?2Dd?2Dd??Dp(x2/y1)??d??Dp(y1)dd?2DDd?D?d?D2?p(x1)p(y2/x1)?d2?2D?d?Dp(x1/y2)??d?d??Dp(y2)dd?2Dd2??d2?2Dd?Dd??D2(1??)22p(x2)p(y2/x2)d??d?2Dd?2Dd??1?Dp(x2/y2)??d?d??Dp(y2)dd?2DH(X/Y)????p(bj)p(ai/bj)logp(ai/bj)i?1j?122 ??[p(y1)p(x1/y1)logp(x1/y1)?p(y1)p(x2/y1)logp(x2/y1)? p(y2)p(x1/y2)logp(x1/y2)?p(y2)p(x2/y2)logp(x2/y2)]DDDDDDDD)log(1?)?p(y1)log?p(y2)(1?)log(1?)?p(y2)log]ddddddddDDDD ??[p(y1)?p(y2)]?[(1?)log(1?)?log]ddddD ?H()dD?I(X;Y)?H(X)?H(X/Y)?H(?)?H()d实际上是先根据参数法或者直接按照课本p487求出\反向信道\矩阵,再由反推正向信道传输矩阵. ??[p(y1)(1??H.F. 2002 Copyright EE Lab508 (5)由上面,d?1时与试验信道相对应的反向试验的信道矩阵为:D??D1??d?d[PY]??DD??1??d??d8.14设离散无记忆信源: ?U u1 u2 u3 ?[U?P]:?111 P(U) ?333?其失真失真度为汉明失真度. (1) 试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵; (2) 试求Dmax,R(Dmax), 并写出相应试验信道的信道矩阵; (3) 若允许平均失真度D=1/8,试问信源[U·P]的每一个信源符号平均最少由几个二进制码 符号表示? 解: (1)最小允许失真度:Dmin??p(ui)?minjd(ui,bj)??p(u1)?0?p(u2)?0??p(u3)?0=0i?13则满足保真度D?Dmin?0的信道矩阵?100?? [P]??010????001??p(bj/ai)?0或p(bj/ui)?1(i?1,2,3),设输出符号集合Y,则此时H(U/Y)?0?R(Dmin)?R(0)?min?I(U;Y)??min?H(U)?H(U/Y)??H(U)?log3?1.585bit/symble?3??111?1(2)Dmax?Dmin?min??p(ai)d(ai,bj)??min{p(u1));p(u2);p(u3)}?min?;;??jjj?333?3?i?1?1此时I(U;Y)?0?R(Dmax)?R()?03(3)离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?Dlog2?log3?H(D)?D1?log3?H(D)?D 0?D???3即R(D)???0 D?1?3?1111D?时,R()?log3?H()??0.9164bit/symble8888则信源的每一个符号平均最少可以用0.9164个二进制码符号来表示.? 8.15设二元信源X的信源空间为: ?U u1 u2 [U?P]:? ?P(U) ? 1-?(ω<1/2),其失真度为汉明失真度. ?H.F. 2002 Copyright EE Lab508 若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解: 离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?H(?)?H(D)?H(?)?H(D) 0?D??即R(D)???0 D??1?D??时211111R(?)?H(?)?H(?)???log??(1??)log(1??)?(2??)log(2??)?(3??)222221?每个信源符号平均最少需要H(?)?H(?)个二进制码符号来表示.2 ?H.F.