信息理论与编码参考答案docxWord格式文档下载.docx

1、所以13 牌中所有的点数都不相同的 合数 413 。因 每种 合都是等概率 生的，所以PB41313391.0568 10 4 生事件 B 所得到的信息量 I Blog P Blog13.208 bit2 C52133.976 dit 在一只布袋中装有100 只 人手的感 完全相同的木球，每只上涂有1 种 色。 100只球的 色有下列三种情况：（1） 色球和白色球各 50 只；（2） 色球 99 只，白色球 1 只；（3） ，黄， ，白色各 25 只。求从布袋中随意取出一只球 ，猜 其 色所需要的信息量。猜 木球 色所需要的信息量等于木球 色的不确定性。令R“取到的是 球” ，W“取到的是白球

2、” ，Y“取到的是黄球” ，B“取到的是 球” 。（ 1）若布袋中有 色球和白色球各 50 只，即P RP W501002I R IWlog 2 2log 2 2 1 bit（ 2）若布袋中 色球 99 只，白色球 1 只，即R990.990.01则Ilog 2 0.990.0145 bitlog 2 P Wlog 2 0.016.644bit（ 3）若布袋中有红，黄，蓝，白色各25 只，即P YP B254YI Wlog2 42 bit设信源为Xx1x2x3x4x5x6PX0.20.190.180.170.166求P xi log 2xi ，井解释为什么xilog 2log 2 6 ，不满足

3、信源熵的i极值性。0.2log 2 0.20.19log 2 0.19 0.18log 2 0.180.17log 2 0.170.16log 2 0.16 0.17log 2 0.172.657 bit/symbol2.585不满足极值性的原因是1.071 ，不满足概率的完备性。大量统计表明，男性红绿色盲的发病率为 7%，女性发病率为 %，如果你问一位男同志是否为红绿色盲，他回答“是”或“否” 。（1）这二个回答中各含多少信息量（2）平均每个回答中含有多少信息量（3）如果你问一位女同志，则答案中含有的平均信息量是多少对于男性，是红绿色盲的概率记作 P a1 7% ，不是红绿色盲的概率记作P

4、a2 93% ，这两种情况各含的信息量为a11 P3.83 bit7a20.105 bit93平均每个回答中含有的信息量为H A P a1 I （a1 ） P a2 I （a2 ）3.830.1050.366 bit/ 回答对 于 女 性 ， 是 红 绿 色 盲 的 概 率 记 作 P b10.5% ， 不 是 红 绿 色 盲 的 记 作P b2 99.5%，则平均每个回答中含有的信息量为H BP b1 I （b1 ） P b2 I （b2 ）510009950.045bit/回答H联合熵和条件熵任意三个离散随机变量X 、 Y 和 Z ，求证：H （ XYZ ） H （ XY ） H （ XZ

5、 ） H （ X ） 。证明：方法一：要证明不等式 H X ,Y , Z H X , Y H Z , X H X 成立，等价证明下式成立：H X , Y, Z H X , Y H X , Z H X 0根据熵函数的定义H X ,Y, Z H X ,Y H X , Z H Xpxi yjzklog pxi y j zky jzk logp xi y jZy j zkxi zklogp xip xi zkp xi y jlog exyzxi y j（信息论不 等式 ）j kp xi y j zkp xiyj| xiyj zk等号成立的条件为得证方法二：因为H （ XYZ ） H （ XY ） H

6、（Z | XY ）H （ XZ ） H （ X ） H （Z | X ）所以，求证不等式等价于H （ Z | XY） H （ Z | X ）因为条件多的熵不大于条件少的熵，上式成立，原式得证。设随机变量 X x1, x2 0,1 和 Y y1, y2 0,1 的联合概率空间为XY（x1, y1 ）（ x1, y2 ）（x2 , y1 ）（ x2 , y2 ）PXY1 83 8定义一个新随机变量X Y （普通乘积） 。（1）计算熵 H （ X ） 、 H （Y ） 、 H （ Z ） 、 H （ XZ ） 、 H （YZ） 以及 H （ XYZ ） ；（2）计算条件熵 H （ X |Y） 、H

7、（Y | X ） 、H （ X | Z ） 、H （Z | X ） 、H （Y | Z ） 、H （Z | Y） 、H （ X | YZ） 、 H （Y | XZ ） 以及 H （Z | XY ） ；（ 3 ）计算互信息量 I （ X ; Y） 、 I （ X ; Z） 、 I （Y; Z ） 、 I （ X ; Y | Z ） 、 I （Y; Z | X ） 以及I （ X ; Z | Y ） ；解 （ 1） p x 0p x 0, y 03p x 0, y 18p xP xilog P xi 1 bit/symbolp y 0p x 1, y 0p yyj log p1 bit/symbo

8、ljP（ z0）P（ xy00）P（xy01）10）1）可得 ZXY 的概率空间如下P（ Z）H （Z ）p（ zk）0.544bit / symbolK由 p（xz）p（x） p（ z x） 得p（ x 0, zp（ x0） p（ z0 x0, z1 x1 01, z1） p（ zp（x1） p（ y1, y1） p（zH （ XZ ）p（ xi zk ）1.406bit / symbolk由对称性可得H （YZ ）1.406bt / symbol由 p（ xyz）p（ xy） p（ z xy）, 又p（z xy）或者等于 1，或者等于 0.0, y0） p（z0） 11） 11, y 1）

9、 1H （ XYZ ）p（ xi y j zk ）log 2 p（ xiyj zk ）1 log 13 log 31.811bit / symbol（2）H XY-1log 11.811bit / symbolH X / Y =H XY -H Y0.811bit / symbol根据对称性，H Y / X =H X |Y 0.811bit / symbolH X / Z =H XZH Z / X =H XZ-H1.4060.544 0.862bit / symol1 0.406bit / symolH Y / Z=H X / Z0.862bit / symbolH Z / Y=H Z / X0

10、.406bit / symolH X / YZ=H XYZ-H YZ0.405bit / symol根据对称性，把X 和 Y 互换得H Y / XZ=H X / YZ0.405bit / symbolH Z / XY0bit / symol（3）X ;X / Y0.8110.189bit / symbol ZX / Z0.8620.138bit / symbol根据对称性，得I Y; Z 0.138bit / symbolY / ZX / YZ0.4050.457bit / symbolY; Z / XY / XY / XZ0.406bit / symbol根据对称性得 Z / Y设信源发出二次扩展消息yi , 其中第一个符号为 A、B、C三种消息， 第二个符号为D、E、 F、 G四种消息，概率p（xi ）和p（ yixi ）如下：p（ xi ）C1/21/31/6D1/43/10p（ yi xi ）E1/5FG3/1