信息科学基础A卷及答案汇总.docx
《信息科学基础A卷及答案汇总.docx》由会员分享，可在线阅读，更多相关《信息科学基础A卷及答案汇总.docx（13页珍藏版）》请在冰豆网上搜索。
信息科学基础A卷及答案汇总
河北科技大学2012——2013学年第一学期
《信息科学基础》试卷（A）
学院理学院班级姓名学号
题号
一
二
总分
得分
得分
一、简答题（共8题，每题5分）
1.如有6行8列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为
、
，但A，B不能落入同一方格内。
试求：
（1）若仅有质点A，求A落入任一个格的平均自信息量；
（2）若已知A已入，求B落入的平均自信息量；
（3）若A，B是可分辨的，求A，B同时落入的平均自信息量。
2．设离散无记忆信源为
求信源的熵，并解释为什么
不能满足信源的极值性。
3.令离散无记忆信源
（1）求对S的最佳二元码、平均码长和编码效率；
（2）求对
的最佳二元码、平均码长和编码效率。
4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。
5.一个马尔可夫过程的基本符号0,1,2，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。
（1）画出单纯马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵
；
（2）画出二阶马尔可夫过程状态图，并求稳定状态下二阶马尔可夫信源熵
。
6.当信源是无记忆时，无记忆的N次扩展信道的平均互信息与原信道平均互信息的关系如何？
7.什么是平均自信息（信息熵）？
什么是平均互信息？
比较一下两个概念的异同之处。
8.一个马尔科夫链的状态转移矩阵为p=
，该马尔可夫链是否具有遍历性？
为什么？
得分
二、综合题（共6题，每题10分）
1.设有一个二进制二阶马尔可夫信源，其信源符号集为{0,1}，条件概率为p（0|00）=p（1|11）=0.8,p（1|00）=p（0|11）=0.2,p（0|01）=p（0|10）=p（1|01）=p（1|10）=0.5.这个信源的符号数是q=2,共有四种可能状态：
S1=00；S2=01；S3=10；S4=11.
（1）给出信源的状态转移矩阵.
（2）求出平稳分布.
（3）该平稳分布所对应的信源熵.
2、有一个一阶平稳马尔可夫链
，各
取值于集
，已知起始概率
为
，
，其转移概率如下表所示。
1
2
3
1
2
3
1/2
2/3
2/3
1/4
0
1/3
1/4
1/3
0
（1）求
的联合熵和平均符号熵；
（2）求这个链的极限平均符号熵；
（3）求
，
，
和它们对应的冗余度。
3.设有一离散信道，其信道矩阵为
，求：
（1）最佳概率分布？
（2）当
，
时，求平均互信息
信道疑义度
（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率
最小，并求此
4.设线性分组码的生成矩阵为
，求：
（1）此（n，k）码的n=？
k=？
，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵H。
（3）确定最小码距，问此码能纠几位错？
列出其能纠错的所有错误图样和对应的伴随式。
（4）若接收码字为000110，用伴随式法求译码结果。
5.某气象员报告气象状态，有四种可能的消息：
晴、云、雨和雾。
若每个消息是等概的，那么发送每个消息最少需要的二元脉冲数是多少？
又若4个消息出现的概率分别为
，问在此情况下消息所需的二元脉冲数是多少？
如何编码？
6.假定离散矢量信源N=3，输出矢量序列为
，其中
，
的取值为{0,1}；经信源传输后的输出为
，其中
，
的取值为{0,1}。
定义失真函数
求矢量失真矩阵
。
河北科技大学2011——2012学年第一学期
《信息科学基础》答案（A）
一、简答题（共8题，每题5分）
1.
（1）答：
A落入任一格的概率为
平均自信息量
（2）答：
A落入后，B再落入的概率
（3）答：
A，B同时落地的联合熵
2.答：
由定义，信源的熵
信源的概率分布要求满足
，而此题中
。
即各种可能发
生的情况下，概率之和大于“1”，在实际情况下这是不可能发生的。
3.
（1）答：
采用霍夫曼方法进行编码，得
：
1
：
00
=01
平均码长为
（码元/信源符号）
编码效率为
（2）答：
霍夫曼编码后
：
10
：
001
：
010
：
110
：
111
：
0000
：
0001
：
0110
：
0111
平均码长为
（码元/信源符号）
信源熵为
（bit/信源符号）
编码效率为
4.答：
最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：
输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
5.
（1）答：
每个状态发出三条转移线，等概率出现。
即每条转移线的转移概率为1/3，稳定状态下，三个状态的概率也为1/3。
每一状态的熵
稳定状态下的马尔可夫信源熵为
（2）答：
有九个不同状态，27条转移线。
9个不同状态分别为00,01,02,10,11,12,20,21,22。
每一状态的熵为
又知二阶马尔可夫每一状态的概率为
，所以二阶马尔可夫信源熵为
6.答：
无记忆的N次扩展信道的平均互信息是原信道平均互信息的N倍。
7.答：
平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息为
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
平均互信息量I（X;Y）是信源概率分布p（x）的上凸函数，是信道传递概率p（y|x）的下凸函数。
8.答：
是遍历的，p*p*p矩阵的所有元素全是正数，说明这个马尔可夫链存在平稳分布，是遍历的。
二、综合题（共6题，每题10分）
1.答：
（1）该信源的状态转移矩阵为
（2）W=[W1,W2,W3,W4],其中W1=p（S1）,W2=p（S2）,W3=p（S3）,W4=p（S4）,
由平稳分布的矩阵方程WP=W,以及p（S1）+p（S2）+p（S3）+p（S4）=1，可以得到平稳分布为：
p（S1）=p（S4）=5/14,p（S2）=p（S3）=1/7.
（3）该平稳分布的信源熵H=p（S1）*H（0.8,0.2）+p（S2）*H（0.5,0.5）+p（S3）*H（0.5,0.5）+p（S4）*H（0.8,0.2）=0.8bit/符号。
2.
（1）答：
信源是一阶马尔可夫的，所以
由
知
的联合概率为
1
2
3
1
2
3
1/4
1/6
1/6
1/8
0
1/12
1/8
1/12
0
因此
由
知
的联合概率为
1
2
3
1
2
3
7/24
5/36
5/36
7/48
0
5/72
7/48
5/72
0
的联合熵为
平均符号熵为
（2）答：
设信源稳态符号概率分布
，由
解得
信源的极限平均符号熵
（3）三个熵分别为
由冗余度的计算公式
，得它们的冗余度分别为
，
，
3.答：
1）是准对称信道，因此其最佳输入概率分布为
。
2）当
，
时，有
则
3）此时可用最大似然译码准则，译码规则为
且有
4.答：
1）n=6，k=3，由C=mG可得所有码字为：
000000，001011，010110，011101，100101，101110，110011，111000
2）此码是系统码，由G知，
，则
3）由H可知，其任意2列线性无关，而有3列线性相关，故有
，能纠一位错。
错误图样E 伴随式
100000 101
010000 110
001000 011
000100 100
000010 010
000001 001
4）由
知E＝010000，则
5.答：
至少需要二位二进制编码元来发送4个等概率发生的信息
晴-00云-01雨-10雾-11
4个信息的概率恰好是2的负整数幂，根据
得晴-2位云-3位
雨-3位雾-1位
采用霍夫曼编码方法得雾-0晴-10云-110雨-111
它们的平均码长分别为：
第一种情况：
（码元/信源符号）第二种情况：
（码元/信源符号）
6.答：
由矢量失真函数的定义得
，
类似可得到其他元素数值，矢量失真矩阵为
升级会员 