(完整版)作业参考答案-信息论.doc
《(完整版)作业参考答案-信息论.doc》由会员分享，可在线阅读，更多相关《(完整版)作业参考答案-信息论.doc（38页珍藏版）》请在冰豆网上搜索。
2.3一副充分洗乱的牌（含52张），试问：
（1）任一特定排列所给出的不确定性是多少？
（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？
解：
（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为
因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为
可得，该排列发生所给出的信息量为
bit
dit
（2）设事件B为从中抽取13张牌，所给出的点数互不相同。
扑克牌52张中抽取13张，不考虑排列顺序，共有种可能的组合。
13张牌点数互不相同意味着点数包括A，2，…，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。
所以13张牌中所有的点数都不相同的组合数为。
因为每种组合都是等概率发生的，所以
则发生事件B所得到的信息量为
bit
dit
2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。
100只球的颜色有下列三种情况：
（1）红色球和白色球各50只；
（2）红色球99只，白色球1只；
（3）红，黄，蓝，白色各25只。
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
解：
猜测木球颜色所需要的信息量等于木球颜色的不确定性。
令
R——“取到的是红球”，W——“取到的是白球”，
Y——“取到的是黄球”，B——“取到的是蓝球”。
（1）若布袋中有红色球和白色球各50只，即
则bit
（2）若布袋中红色球99只，白色球1只，即
则bit
bit
（3）若布袋中有红，黄，蓝，白色各25只，即
则bit
2.7设信源为
求，井解释为什么，不满足信源熵的极值性。
解：
bit/symbol
不满足极值性的原因是，不满足概率的完备性。
2.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量?
（2）平均每个回答中含有多少信息量?
（3）如果你问一位女同志，则答案中含有的平均信息量是多少?
解：
对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为
bit
bit
平均每个回答中含有的信息量为
bit/回答
对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为
bit/回答
联合熵和条件熵
2.9任意三个离散随机变量、和，求证：
。
证明：
方法一：
要证明不等式成立，等价证明下式成立：
根据熵函数的定义
得证
方法二：
因为
所以，求证不等式等价于
因为条件多的熵不大于条件少的熵，上式成立，原式得证。
2.11设随机变量和的联合概率空间为
定义一个新随机变量（普通乘积）。
（1）计算熵、、、、以及；
（2）计算条件熵、、、、、、、以及；
（3）计算互信息量、、、、以及；
解
（1）
bit/symbol
bit/symbol
可得的概率空间如下
由得
由对称性可得
（2）
H-
H=H-H
根据对称性，
H=H
H=H-H
H=H-H
根据对称性，
H=H
H=H
H=H-H
根据对称性，把X和Y互换得
H=H
H=H-H
（3）
根据对称性，得
根据对称性得
2.17设信源发出二次扩展消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下：
A
B
C
1/2
1/3
1/6
D
1/4
3/10
1/6
E
1/4
1/5
1/2
F
1/4
1/5
1/6
G
1/4
3/10
1/6
求二次扩展信源的联合熵。
解：
联合概率为
可得X,Y的联合概率分布如下：
A
B
C
D
1/8
1/10
1/36
E
1/8
1/15
1/12
F
1/8
1/15
1/36
G
1/8
1/10
1/36
所以
2.19设某离散平稳信源，概率空间为
并设信源发出的符号只与前一个相邻符号有关，其联合概率为如下表所示：
0
1
2
0
1/4
1/18
0
1
1/18
1/3
1/18
2
0
1/18
7/36
求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。
解：
边缘分布为
条件概率如下表：
0
1
2
0
9/11
1/8
0
1
2/11
3/4
2/9
2
0
1/8
7/9
所以信源熵为
条件熵：
可知
因为无条件熵不小于条件熵，也可以得出如上结论。
联合熵：
说明：
（1）符号之间的相互依赖性造成了信源的条件熵比信源熵少。
（2）联合熵表示平均每两个信源符号所携带的信息量。
平均每一个信源符号所携带的信息量近似为
原因在于考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。
2.20黑白气象传真图的消息只有黑色（B）和白色（W）两种，即信源，设黑色出现的概率为，白色的出现概率为。
（1）假设图上黑白消息出现前后没有关联，求熵
（2）假设图上黑白消息出现前后有关联，其依赖关系为，，，，求此一阶马尔可夫信源的熵。
（3）分别求上述两种信源的剩余度，并比较和的大小，试说明其物理意义。
解：
（1）假设传真图上黑白消息没有关联，则等效于一个DMS，则信源概率空间为
信源熵为
（2）该一阶马尔可夫信源的状态空间集为
根据题意可得状态的一步转移矩阵
状态极限概率满足
即
可以解得
，
该一阶马尔可夫信源的熵为
（3）黑白消息信源的剩余度为
一阶马尔可夫信源的剩余度为
由前两小题中计算的和比较可知
该结果说明：
当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。
所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。
这表明信源熵反映了信源的平均不确定性的大小。
而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。
2.23设信源为
试求：
（1）信源的熵、信息含量效率以及冗余度；
（2）求二次和三次扩展信源的概率空间和熵。
解：
（1）
（2）假设X为DMS，则
可得二次扩展信源的概率空间
2次扩展信源的熵为
三次扩展信源的概率空间及熵为
2.18设有一个信源，它产生0，1符号的信息。
它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。
（1）试问这个信源是否是平稳的？
（2）试计算,及；
（3）试计算并写出信源中可能有的所有符号。
解：
（1）该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起点无关，因此这个信源是平稳信源。
又因为信源发出的符号之间彼此独立。
所以该信源也是离散无记忆信源。
（2）
（信源无记忆）
（3）（信源无记忆）
的所有符号：
2.23设信源为
试求：
（1）信源的熵、信息含量效率以及冗余度；
（2）求二次和三次扩展信源的概率空间和熵。
解：
（1）
（2）假设X为DMS，则
可得二次扩展信源的概率空间
2次扩展信源的熵为
三次扩展信源的概率空间及熵为
2.25设连续随机变量X的概率密度函数为
（1）求X的熵；
（2）求的熵；
（3）求的熵。
解：
（1）
因为
所以
故
（2）首先求得Y的分布函数
Y的概率密度为
Y的微分熵为
（令）
因为已知X，关于Y没有不确定，常数A不会增加不确定度，所以从熵的概念上也可判断此时
（3）首先求得Y的分布函数
Y的概率密度为
Y的微分熵为
（令）
3.2信道线图如下，试确定该信道的转移概率矩阵
解：
按照转移矩阵的排列原则：
行对应输入符号，列对应输出符号
3.3的转移矩阵如下
（1）画出信道线图；
（2）若输入概率为，求联合概率、输出概率以及后验概率。
解：
（1）
（2）乘以的第1行，乘以的第2行，得联合概率矩阵：
的各列元素相加得对应的输出概率，写成矩阵形式：
的各列元素除以对应的输出概率，得后验概率矩阵：
3.4设离散无记忆信源通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为
试求：
（1）信源的符号和分别含有的自信息；
（2）从输出符号所获得的关于输入符号的信息量；
（3）信源和信道输出的熵；
（4）信道疑义度和噪声熵；
（5）从信道输出中获得的平均互信息量。
解：
（1）/符号
/符号
（2）=
=/符号
=/符号
=/符号
=/符号
（3）/符号
/符号
（4）、（5）
/符号
/符号
/符号
/符号
又根据
=/符号
3.6举出下列信道的实例，给出线图和转移矩阵。
（1）无损的，但不是确定的，也不是对称的；
（2）准对称且无损，但不是确定的；
（3）无损的确定信道。
解：
（1）满足（无损），（不确定），不具有行列排列性，线图和转移矩阵如下
（2）无损要求；不确定要求，具有行排列性，线图和转移矩阵如下：
（3）无损、确定信道的线图和转移矩阵如下
3.7求下列两个信道的信道容量和最佳输入分布，并加以比较。
其中。
解：
（1）方法一：
利用一般DMC信道容量解的充要条件，计算各偏互信息，并
升级会员 