证:

增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化?每个像素的熵是： H(x1)??p(bi)logp(bi)?log300bit/pelsi?1300?H(x1)log300??2.477?2.5H(x0)log10

?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.每帧电视图像可以认为是由3×10个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字 解:

每帧图象所含信息量:H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000每个汉字所出现概率p??0.110000

?每个汉字所包含信息量:H(c)??logp描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n???6.322?105/frameH(c)?log0.1?最少需要6.322?105个汉字5

给定一个概率分布(p1,p2,...,pn)和一个整数m，0?m?n。定义qm?1??pi?1mi，证明：

H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立

证：

先证明f(x)??xlogx(x?0)为凸函数，如下：loge 又x?0x

loge?f??(x)?(?xlogx)?????0 即f(x)??xlogx(x?0)为凸函数。 x?f??(x)?(?xlogx)????又?H(p1,p2,...,pn)???pilogpi?i?1mi?m?1?plogpini由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：?i?m?1?pilogpi??(n?m)i?m?1ni?m?1?f(p)inn?m??(n?m)f(i?m?1?pnin?m)??(n?m)i?m?1?pnin?mlogi?m?1?pnin?m??qmlogqmn?m即??plogpini??qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?i?1mmi?m?1?plogpini???pilogpi?qmlogqm?qmlog(n?m)i?1m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqmi?1?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。

找出两种特殊分布:

p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。 解：H(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi

i?1i?1nm

两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证： (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明：

设X、Y的信源空间为：b1 b2 ... bsa1 a2 ... ar?Y ?X [X?P]:? [Y?P]:?... pr q2 ... qs ?P(X) p1 p2 ?P(Y) q1 又X,Y统计独立?H(Z)???pzklogpzk????p(ai?bj)logp(ai?bj) ????(pi?qj)log(pi?qj)?H(XY)

k?1i?1j?1si?1j?1trsrs又H(Z) ＝??pzklogpzk??(??piqj)?log(??piqj)? ?k?1i?1j?1ri?1j?1tsss ????(pilog(pi?qj))???qjlog(pi?qj)i?1j?1rsi?1j?1srss ? ???qjlog(pi?qj)?-?qjlog(qj)i?1j?1j?1第二章 单符号离散信道

设信源[X?P]:?a1 a2 ?X 通过一信道，信道的输出随机变量Y的符号集

P(X) 0.7 0.3? b1 b2a1?5/61/6?

[P]??a2?1/43/4??Y:{b1,b2},信道的矩阵：

试求：

(1) 信源X中的符号

1

和

2

分别含有的自信息量；

1

(2) 收到消息Y＝b1，Y＝b2后，获得关于

I(

2

、

2

的互交信息量：I(

1

;b1)、I(

1

;b2)、

;b1)、I(

2

;b2)；

(3) 信源X和信宿Y的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；

(5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解:

(1) I(a1)??logp(a1)??log0.7?0.5415 bit I(a2)??logp(a21)??log0.3?1.737 bit(2) I(a1;b1)?log I(a1;b2)?log I(a2;b1)?log I(a2;b2)?log2p(b1a1)p(b1)p(b2a1)p(b2)?log5/6?0.34 bit0.7?5/6?0.3?1/41/6??1.036 bit0.7?1/6?0.3?3/41/4??0.766 bit0.7?5/6?0.3?1/43/4?1.134 bit0.7?1/6?0.3?3/47912041120?logp(b1a2)p(b1)p(b2a2)p(b2)?log?log(3)由上:p(b1)??p(ai)p(b1ai)?i?12 p(b2)??p(ai)p(b2ai)?i?12?H(X)???p(ai)logp(ai)??(0.7log0.7?0.3log0.3)?0.881 bit/symblei?1 H(Y)???p(bj)logp(bj)??(j?122279794141log?log)?0.926 bit/symble12012012012022(4)H(YX)???p(aibj)logp(bjai)???p(ai)p(bjai)logp(bjai)?0.698 bit/symblej?1i?1j?1i?1 又I(X;Y)?H(Y)?H(YX)?H(X)?H(XY) ?H(XY)?H(X)?H(YX)?H(Y)?0.881?0.698?0.926?0.653 bit/symble(5)?I(X;Y)?H(Y)?H(YX)?0.926?0.698?0.228 bit/symble某二进制对称信道，其信道矩阵是：

0 10?0.980.02? [P]??1?0.020.98??设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)= p(1)=。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。 解: