(4) I?X,Y??H?Y??H?Y|X??H?Y??H?Y??0 I?X,Z??H?Z??H?Z|X??0.8113?0.5?0.3113bit
八、(10分)设离散无记忆信源的概率空间为
??X??x1x2??P?????0.80.2?，通过干扰信道，信道输出端的接收符号?集为Y??y1,y2?，信道传输概率如下图所示。
x561y11634x214y2
(6) 计算信源X中事件x1包含的自信息量； (7) 计算信源X的信息熵； (8) 计算信道疑义度H?X|Y?； (9) 计算噪声熵H?Y|X?；
(10) 计算收到消息Y后获得的平均互信息量。
解：
(1) I?x1???log0.8?0.322bit?0.0969hart?0.223nat (2) H?X??H?0.8,0.2??0.722bit符号?0.5nat符号?0.217hart符号 (3)转移概率： x y y1 y2 x1 5/6 1/6 x2 3/4 1/4 联合分布： x y y1 y2 x1 2/3 12/15 4/5 x1 3/20 1/20 1/5 49/60 11/60 1/5 H?XY??H??2?3,215,320,1?20???1.404bit符号
?0.973nat符号?0.423hart符号H?Y??H?49/60,11/60??0.687bit符号?0.476nat符号?0.207hart符号
H?X|Y??H?XY??H?Y??0.717bit符号?0.497nat符号?0.216hart符号
(4)
H?Y|X??H?XY??H?X??0.682bit符号?0.473nat符号?0.205hart符号
(5)
I?X;Y??H?X??H?X|Y??0.00504bit符号?0.00349nat符号?0.00152hart符号
(三)
一、 选择题（共10分，每小题2分）
1、有一离散无记忆信源X，其概率空间为
??X??x2x3x4??x1?P???0.50.250.1250.125?，则其无记忆二??次扩展信源的熵H(X2)=( ) A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。 2、信道转移矩阵为
??P(1y/1x)2P(1y/x)0?00P3y(2x/4P)2y(??000P50y3x其中P(yj/xi)两两不相等，则该信道为
3、A、一一对应的无噪信道
B、具有并归性能的无噪信道 C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C，下列说法正确的是：（ ）
A、互信息量一定不大于C B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C
4、在串联系统中，有效信息量的值（ ）
A、趋于变大 B、趋于变小 C、不变 D、不确定
5、若BSC信道的差错率为P，则其信道容量为：（ ） A、
H?p?
log?p1?p?2?B、??1?p
??p???
?x????C、
1?H?p?
D、?Plog(P)
二、填空题（20分，每空2分）
1、(7,4)线性分组码中，接受端收到分组R的位数为____ ，伴随式S可能的值有____ 种,差错图案e的长度为 ，系统生成矩阵Gs为____ 行的矩阵，系统校验矩阵Hs为____ 行的矩阵，Gs和Hs满足的关系式是 。
2、香农编码中,概率为
P(xi)的信源符号xi对应
的码字Ci的长度Ki应满足不等式 。
3、设有一个信道，其信道矩阵为
??0.250.50.25??0.250.250.5?，（填??则它是 信道?0.50.250.25??对称，准对称），其信道容量是 比特/信道符号。
三、（20分）??X??x1x2??P(X)?????0.50.5?，通过一个干扰信?道，接受符号集为
Y??y1y2?，信道转移矩阵为
??13??44??31? ???44??试求（1）H(X),H(Y),H(XY);（7分）
(2) H(Y|X),H(X|Y);（5分） (3) I(Y;X)。（3分）
(4)该信道的容量C（3分）
（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。（2分）
计算结果保留小数点后2位,单位为比特/符号。
四、（9分）简述平均互信息量的物理意义，并写出应公式。
六、（10分）设有离散无记忆信源，其概率分布如下：
?X???x1x2x3x4x5x6x7???P(X)?????1111111?? ?24816326464??对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。 七、信道编码（21分）
??1000111?现有生成矩阵G?0100110?s???0010011?? ?0001101??
1. 求对应的系统校验矩阵Hs。（2分）
2求该码字集合的最小码字距离d、最大检错能力lmax 、最大纠错能力t max 。（3分）
2. 填写下面的es表 （8分） e s 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 4. 现有接收序列为r?(1100100)，求纠错译码输
出c?。（4分）
5. 画出该码的编码电路 （4分）
(四)
四、简答题（共20 分，每题10分
1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息
量之间的关系。
2. 简单介绍哈夫曼编码的步骤
五、计算题（共40 分）
1． 某信源含有三个消息，概率分别为p(0)=0.2，p(1)=0.3，
?421?p(2)=0.5，失真矩阵为D???032?。 ?01??2??求Dmax、Dmin和R (Dmax)。（10分）
?1?32． 设对称离散信道矩阵为P???1??6131616131?6?，求信道容?1?3??（ ? ）
（5） 信源剩余度用来衡量信源的相关性程度，信源剩余度
大说明信源符号间的依赖关系较小。 （ ? ）
（6） 对于固定的信源分布，平均互信息量是信道传递概率
的下凸函数。 （ ? ）
（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非
奇异码。 （ ? ）
（8） 信源变长编码的核心问题是寻找紧致码（或最佳码），
量C。（10分）
3． 有一稳态马尔可夫信源，已知转移概率为p(S1/ S1)= 2/3，
p(S1/ S2)= 1。求：
(1) 画出状态转移图和状态转移概率矩阵。 (2) 求出各状态的稳态概率。 (3) 求出信源的极限熵。 （20分）
（五）
一、（11’）填空题
（1） 1948年，美国数学家 香农 发表了题为
“通信的数学理论”的长篇论文，从而创立了信息论。
（2） 必然事件的自信息是 0 。 （3） 离散平稳无记忆信源X的N次扩展信源的熵等于离
散信源X的熵的 N倍 。
（4） 对于离散无记忆信源，当信源熵有最大值时，满足条
件为__信源符号等概分布_。
（5） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟
一的是 香农编码 。
（6） 已知某线性分组码的最小汉明距离为3，那么这组码
最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（7） 设有一离散无记忆平稳信道，其信道容量为C，只要
待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（8） 平均错误概率不仅与信道本身的统计特性有关，还与
___译码规则____________和___编码方法___有关
二、（9?）判断题
（1） 信
息
就
是
一
种
消
息
。 （ ? ）
（2） 信息论研究的主要问题是在通信系统设计中如何实
现信息传输、存储和处理的有效性和可靠性。 （ ? ）
（3） 概率大的事件自信息量大。 （ ? ） （4） 互信息量可正、可负亦可为零。 霍夫曼编码方法构造的是最佳码。 （ ? ）
（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? )
五、 （ 18 ’ ） .黑白气象传真图的消息只有黑色和白色两种，
求：
1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这
个只有两个符号的信源X的数学模型。假设图上黑白消息出
现前后没有关联，求熵H?X?； 3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
解：1）信源模型为 （1分）
（2分）
2）由题意可知该信源为一阶马尔科夫信源。
（2分）
由
4分）
得极限状态概率
2分）
（
3分）
?1?1?H(X)log2?0.1192 （1分）
?2?1?H?(X)log2?0.447
2
?2??1。说明：当信源的符号之间有依赖时，信源输出消息
的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
六、（18’）.信源空间为
??X??x1x2x3x4x5x6x7??P(X)?????0.20.190.180.170.150.10.01??，试分别构造二元香农码和二元霍夫曼码，计算其平均码长
和编码效率（要求有编码过程）。
7
L??p(ai)li?3.14R?H(X)2i?1L?.613.14?0.831 2）（3分）最大后验概率准则下，有，
八（10?）.二元对称信道如图。
1）若p?0??34，p?1??14，求H?X?、H?X|Y?和I?X;Y?；
2）求该信道的信道容量。
解：1）共6分
H?X|Y??0.749bit/符号
2）， （3分）此时输入概率分布为等概率分布。（1分）
九、（18?）设一线性分组码具有一致监督矩阵
?000111?H???011001?
???101011??1）求此分组码n=?,k=?共有多少码字？