信息论试题6文档格式.docx

1、4、在下面空格中选择填入数学符号“ ，”或（2）H XY H Y H X |Y H Y H Xx1 x2 x3 x49、有一信源 X,其概率分布为，若对该信源进行10 0次扩展,2 4 8 8则每扩展符号的平均信息量是11、当 时，信源熵为最大值。8进制信源的最大熵二、判断题（正确打，错误打X）（共 5分，每小题1分）1 ）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。（ ）2） 即时码可以在一个码字后面添上一些码元构成另一个码字。 （ ）3） 连续信源的熵可正、可负、可为零， （）4 ）平均互信息始终是非负的。5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。三、（

2、10分）计算机终端发出 A、B、C D E五种符号，出现概率分别为 1/16 , 1/16 ,1/8 , 1/4 , 1/2。通过一条带宽为18kHz的信道传输数据，假设信道输出信噪比为 2047,试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值 x处在a1和a2之间。此信源连至信道，信道接收端接收脉冲的幅度 y处在b1和b2之间。已知随机变量X和Y的联合概率密度函数P（xy） -印）血bj试计算 h（X）,h（Y）,h（XY）和 I （X;Y）五、（ 10 分）设某信道的传递矩阵为0.8 0.1 0.1 P0.1 0.1

3、 0.8计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。六、（1 0分）设随机变量 X和Y的联合概率分布如下所示:（X; Y）七、（20分）一个离散无记忆信源X x1 x2P（ x） 1/16 1/16x3 x4 x5 x61/16 1/16 1/ 4 1/ 21） 求H（X）和冗余度；（4分）2） 编成Fano码，计算编码效率；（8分）3） 编成 Huffman 码，计算编码效率。 （ 8 分）八、（10 分） 设一个离散无记忆信源的概率空间为XP（x）x20.2 0.8，它们通过干扰0.9 0.1。信道输出符号集为 Y0.3 0.7（1）信源X的信息熵；（2分）（2）收到信息y

4、2后，获得的关于 捲的信息量；（3）共熵 H（XY） ; （2 分）（4）信道疑义度H （X |Y） ; （2分）（5）收到消息丫后获得的关于信源 X的平均信息量。九、（10分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转 移时发出的符号。试计算（1） 达到稳定后状态的极限概率。（2） 该马尔可夫信源的极限熵 H信息论基础试卷答案1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。2，若高斯白噪声的平均功率为 6W则噪声熵为（1/21 og12 e=3。337bit/自由度）如果一个平均功率为 9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W）3，信源符号的

5、相关程度越大，信源的符号熵越（小） ，信源的剩余度越（大）4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号 的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均 码长，提高编码效率。H（S）/logr 或 FR（S），8，香农第一编码定理指出平均码长的理论极限值为（信源熵 此时编码效率为（1）9，在下面空格中选择填入数学符号“ =,，”H 2（X）=H（X1X2）/2 _ 旦 3（x）=H（X 1%Xb）/3H （XY） = H（Y）+H（X/Y） H（Y）+H（X）x1 x2 x3 X410,有一信源X,其概率分布为1/2 1/4 1/8

6、1/8，若对该信源进行100次扩展,其每扩展符号的平均信息量是（175bit/扩展符号）11当（概率为独立等概）时，信源熵为最大值， 8进制信源的最大熵为（3bit/符号）二、 判断题（本大题共 5小题，每小题1分，共5分）1） 噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（ ）2） 即时码可以在一个码字后面添上一些码元构成另一个码字（ ）3） 连续信源的熵可正可负可零（ ）4） 平均互信息始终是非负的（ ）5） 信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（ ）三、 （10分）计算机终端发出五种符号，出现概率分别为 1/16，1/16，1/8,1/4,1/2. 通过一

7、条带宽为18KHZ的信道传输数据，假设信道输出信噪比为 2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。S（1）Ct Blog 2 1 18log 2 2048 198kbit/sNCtRbmaxH x1111115H16 16 8428198k5Rb1.05610 Baud15 8四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值 x处在a1,a2之间。此信源连至信道，信道接收端接收脉冲的幅度 y处在b1, b2之间。已知随机变量x和y的联合概率密度函数 p（x,y） 1/（a2 a1）（b2 b1）试计算 h（ x），h（ y）h（ xy）和 I（x;y）a21

8、由 p（x,y）得 p（x）a xa2 a10,其他,b2 x b2p y b2 b1可见，p（xy） p（x） p（y）， x和y相互独立，且均服从均匀分布,h（x） Iog（a2 ajbit / 自由度h（y） log（b2 bi）bit / 自由度h（xy） h（x） h（y） log（a2 aj（b2 bjI（x,y） 0五、（10分）设某信道的传递矩阵为0.8 0.1 0.1计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信 道，（1）两个对称信道矩阵为0.8 0.1 0.8 0.1 知 0.1和0.1 0.8 0.1 0.8 0.12=+=,N2=;M仁,

9、M2= C Iog2 H （0.8,0.1,0.1） 0.9log0.9 0.1log0.2 0.447bit / 符号最佳输入概率分布为输入等概率，即 p（x1） p（x2）=1/2六、（10分）设随机变量x和y的联合概率分布如下所示：b1=0b2=1a1=01/3a2=1已知随机变量 z=xy,计算 H（X）, H（Z） , H（XY）, H（X/Z） ,1（ x; y）1）H（x）=H（1/3,1 A3）= 符号2）zpz2/3H（z）=H（2/3,1/3）= 符号每对符号H（xy）=H（1/3,1/3,0,1/3）= bit/4）xzP（xz）00011011H（xz）=H（2/3,1

10、/3）bit/ 每对符号H（x|z）=H（xz）-H（z）=0l（x,y）=H（x）+H（y）-H（xy）七（20） 一个离散无记忆信源p（x） 1/16 1/16 1/16 1/16 1/41） 求H（x）和冗余度；3） 编成Huffman码，计算编码效率。1） H（x）=H（1/16,1/16,1/16 ，1/16,1/4,1/2）=2bitH （x）v 1 22.6 %log6100 %0 9 0 1干扰信道，信道矩阵为 P 0 。信道输出符号集Y y1 y2，试计算:（1） 信源X的信息熵；（2） 收到信息y2后，获得关于x1的信息量；（3） 共熵 H（XY）；（ 2 分）（4） 信道

11、疑义度H（X|Y）;（2 分）（5） 收到消息Y后获得的关于信源 X的平均信息量。P（xy）y1y2x1（1） H（x）=H,=符号（2）l（x1;y2）=l（x1）-l（x1|y2）=log1/,58/= 符号（3） H（xy）=H,=每对符号（4）H（x|y）=H（xy）-H（y）=（y）H（y）=H,=H（x|y）= 符号（5）l（X:Y）=H（x）+H（y）-H（xy）=H（x）-H（x|y）=符号九（10分）有一个二元马尔科夫信源， 其状态转移概率如图所示，括号中的数表示转移时发出的符号。（1）达到稳定后状态的极限概率（2）该马尔科夫信源的极限熵H 。 *0.5（1）0.5（0）s0s1 *JS2s1s20.5（1） pP（sO）=（s1）（p（s0）+p（s1）+p（s2）=p（s1）（p（s0）+p（s2）=p（s2）P（s0）+p（s1）+p（s2）=1得 p（s0）=;P（s1）=;P（s2）=;H =1/4H,+1/2H,+1/4H,1/4+1/2+1/4=1bit/ 符号