《信息论基础》模拟试题doc.docx
《《信息论基础》模拟试题doc.docx》由会员分享，可在线阅读，更多相关《《信息论基础》模拟试题doc.docx（11页珍藏版）》请在冰豆网上搜索。
《信息论基础》模拟试题doc
《信息论基础》模拟试题
题号
——
—
四
五
六
七
八
总分
得分
评卷人
一、填空题（本大题共10小空，每小空2分，共20分）
1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为
和O
2.—个八进制信源的最大炳为-
3.信源冗余度存在的原因是。
4.设有一连续随机变量X表示信号x（t）的幅度，其幅值在［-4V,4V］均匀分布，那
么该信源的炳h（x）=,则该信源的绝对炳是」
5.若某一连续信源X,其平均功率受限为8W,其概率密度函数是高斯分布时，差炳的最大值为，与其炳相等的非高斯分布信源的功率为>
6.对称离散信道的转移概率矩阵P的特点是
二、掷两粒骰子，各面出现的概率都是1/6,计算信息量：
1.两骰子面朝上点数之和为2,该消息包含的信息量是多少？
（3分）
2.两骰子而朝上点数之和为8时，该消息包含的信息量是多少？
（3分）
3.两骰子血朝上点数是3和4,该消息包含的信息量是多少？
（3分）
三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z,取Z=X+Y。
试计算：
1.H（Y）、H（Z）;（6分）
2.H（XY）;（3分）
3.I（X;Y）,I（Y;Z）.（8分）四、一阶马尔可夫链信源有3个符号｛a,b.c）,转移概率为：
P（a/a）二1/2,p（b/a）=1/4,p（c/a）=1/4,p（a/b）=1/2,p（b/b）二0,p（c/b）=1/2,p（a/c）=1/2,p（b/c）=1/2,p（c/c）=0。
1.画出状态图；写出转移概率矩阵；（6分）
2.求出各符号稳态概率；（6分）
3.计算其极限滴；（4分）
五、在干扰离散对称信道上传输符号1和0,已知p（0）=1/4,p
（1）=3/4,试求:
1该信道的转移概率矩阵P（3分）
2该信道的信道容量及其输入概率分布（7分）
0.6
试求：
该信道的信道容量及最佳输入概率分布o（6分）
七、设在平均功率受限高斯可加波形信道中，信道宽带为5KH乙乂设信噪比为20db
1肖H•耸'该隹1首的隹1首恣晶.分）
2若功率信嬴比降或lOdbi达到相同的最大信息传输率，信道带宽应是多少？
（3分）
八、信源符号X有6种字母，概率为0.25,0.2,0.16,0.15,0.1,0.07,0.04,0.03.
用霍夫曼编码法编成二进制变长码，写出编程过程并计算：
（共16分）
1.编码前信源X的信源剩余度，
2.平均码长
3.编码效率。
《信息论基础》参考答案
试题编号:
重庆邮电大学2007-2008学年第2学期
《信息论基础》试题（期末）（B卷（半开卷）
一、填空题（本大题共10小空，每小空2分，共20分）
1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为
有记忆信源和无记忆信源
2.一个八进制信源的最大炳为。
3.信源冗余度存在的原因是多信源符冗非度概分布利符号之间有源关性°
4.设有一连续随机变量X表示信号x（t）的幅度，其幅值在［-4V,4V］均匀分布，那
么该信源的炳h（x）=3bit/j|山度，则该信源的绝对焰是一8°
5.若某一连续信源X,其平均功率受限为8W,其概率密度函数是高斯分布时，差
炳的最大值为1oqJ16"bit/自山度，与其炳相等的非高斯分布信源的功率为N8Wo
6.对称离散信道的转移概率矩阵P的特点是：
输入输出都对称
二、掷两粒骰子，各面出现的概率都是1/6,计算信息量：
1.两骰子面朝上点数之和为2,该消息包含的信息量是多少？
（3分）
2.两骰子而朝上点数之和为8时，该消息包含的信息量是多少？
（3分）
3.两骰子血朝上点数是3和4,该消息包含的信息量是多少？
（3分）解：
1.“两个骰子点数之和为2”
P（0）=（l/6）x（l/6）=l/36
..・该文件包含的信息量为：
/（A）=-logP（A）=log36=5.17bit
2.两骰子的点数之和为8
P（B）=P[（2,6）,（6,2）,（5,3）,（3,5）,（4,4）]=l/3&5=5/3（该文件包含的信息量为：
1（B）=-logP（B）=log（36/5）=2.85阮
3.“两个骰子点数是3和4”
P（C）=P[（3,4）,（4,3）]=（1/36）x2=1/18
该文件包含的信息量为：
I（C）=-logP（C）=logl8=4Albit
三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z,取Z=X+Y。
试计算：
1.H（Y）、H（Z）;（6分）
2.H（XY）;（3分）
3.I（X;Y）,I（Y;Z）.（8分）
解：
依题意：
:
=魁Y»=lbU符号
IB
・・・H（Z）=—£p（Z,）1o电Z,）
=（17,4）x2+（1/2）x1+（|/4）x2=1.5Z?
z7/符号
2.VX,Y是两个相互独立的变量
・•・H（XY）=H（X）+H（Y）=2bit/符号
3.1（^^=H（X）-H（X/Y）=H（X）-H（X）=Obit/
Z二X+Y
..・（Y,Z）的联合概率P（YZ）
-2
0
2
-2
0
2
-1
1/4
1/4
0
P（F/Z）=P（KZ）/P（Z）
-1
1
1/2
0
1
0
1/4q
1/4-3
1
■1
0
1/2
1
・•・H（F/Z）=-£ZP（）"g（月/4）
=0.75%/符号
「・/（Y;Z）=H（Y）-ff（Y/Z）=0.25b〃符号
四、一阶马尔可夫链信源有3个符号{a,b,c},转移概率为：
P（a/a）=1/2,p（b/a）二1/4,
p（c/a）=1/4,p（a/b）=1/2,p（b/b）=0,p（c/b）=1/2,p（a/c）=1/2,p（b/c）=1/2,p（c/c）=0。
1.画出状态图；写出转移概率矩阵：
（6分）
2.求出各符号稳态概率；（6分）
3.计算其极限滴：
（4分）解：
1,状态图：
转移矩阵
2.由p（Ej）=p（Ej）p（EJEj）得
p（E1）=（l/2）P（E1）+（l/2）P（E2）+（l/2）P（E3）
p（E2）=（l/4）P（E1）+（l/2）P（E3）
p（E3）=（l/4）P（E1）+（l/2）P（E2）
p（ej+p（ed+p（E3）=i
解得p（E,）=l/2p（E2）=l/4p（E3）=l/4
3.其极限炳:
七=P（E»P（Ej/Ejlogp（Ej/E）
=（l/i）[l/21og2+l/41og4+l/41og4]+l/4[l/21og2x2]x2
=1.25bit/符号
五、在干扰离散对称信道上传输符号1和0,已知p（0）=1/4.p
（1）=3/4,试求:
1该信道的转移概率矩阵P（3分）
2该信道的信道容量及其输入概率分布（7分）
1
解1、f0.60.4）
P=
顷.40.6）
2.c、=logs-H（p的行矢量）
=log2-H（0.6,0.4）=log2-（-0.6log0.6-0.4log0.4）
=0.03/2/7/符号
这时，输入概率分布为
试求：
该信道的信道容量及最佳输入概率分布。
（6分）解：
将该准对称信道容量及其最佳输入概率分布的子矩阵:
_&n=2,r=2；旦有=0.8,N2=0.2
M,=0.8,=0.2
1—
该信道的信道容量：
2
C=logr-H（P的矢量）-£NklogYk
k=l
=log2-H（0.5,0.3,0.2）—0.8log0.8-0.2log0.2
=1一1.02-0.46—0.72
=0.24/刀77符号
七、设在平均功率受限高斯可加波形信道中，信道宽带为5KH乙乂设信噪比为20db
1试计算该信道的信道容量；（3分）
2若功率信噪比降为10db,要达到相同的最大信息传输率，信道带宽应是多少？
（3分）
解：
1.VSNR=20db/.SNR=1OO
..•该信道的信道容量为：
=wlog（l+S2V7?
）=5xl03xlogl01=3.33xl04to/s
2.若SNR=10dB=>SNR=10；则在相同的信道容量下
C=3.33xlO4=Wlog（l+SNR）=Wlog11=3.47vv
八、信源符号X有6种字母,概率为0.25,0.2,0.16,0.15,0.1,0.07,0.04,0.03.
用霍夫曼编码法编成二进制变长码，写出编程过程并计算：
（共16分）
4.编码前信源X的信源剩余度,
5.平均码长
6.编码效率。
r0.24
*0.56
>0.44
解：
编码过程：
码字
_0.31Q
010.25
1
110.2
000—0]160
001—
0.1510.140
1010.1一
1
f-0.07-9-
looir1
0.04
loooo-]
iooq^47o3
1、编码前侑源x的滴为：
H（X）=-Zp（x,）logp3）
=H（0.25,0.2,0.16,0.15,0.1,0.07,0.04,0.03）
=2.73%/符号
其剩余度为
/=1-丝以=1-0.91=0.09
log8
2.平均码长
/=2x（0.25+0.2）+3x（0.16+0.15+0.1）+4x0.07+5x（0.04+0.03）
=2.76码元/符号
3.编码效率
些=空=°989
/log/2.76
升级会员 