概率论与随机过程题集Word文档格式.docx
《概率论与随机过程题集Word文档格式.docx》由会员分享，可在线阅读，更多相关《概率论与随机过程题集Word文档格式.docx（25页珍藏版）》请在冰豆网上搜索。
pn。
证明信源熵H（X）至多是logn。
H（X）—logn=PilogPi—Pilogn
i1i1
3-11设X和Y是两个联合分布的离散随机变量
（a）证明：
H（X）=—P（x,y）logP（x）
x,y
H（Y）=—P（x,y）logP（y）
H（X,Y）H（X）+H（Y）
在什么情况下上式的等号成立
（c）证明：
H（X|Y）H（X）
当且仅当X和Y独立时上式等号成立。
证明:
（a）由离散随机变量的边缘概率可知
m
P（Xi）=P（Xi,yj）
ji
n
H（X）=-p（Xi）logp（Xi）
i1
=-p（Xi,yj）logp（Xi）
H（X）P（x,y）logP（X）
X,y
同理可知：
H（X）P（x,y）logP（y）
（b）H（X,Y）P（Xi,Yj）logP（Xi,Yj）P（x,y）logP（x）
i1j1x,y
P（x,y）logP（y）
=P（Xi,Yj）logP（Xi,Yj）H（X）H（Y）
当P（Xi,Yj）=1时，等号成立。
（c）•••H（X）H（X|Y）I（X,Y）
由3-4的结论可知：
I（X,Y）0•H（X）H（X,Y）
若存在X'
Y不独立，使得H（X'
|Y'
）H（X'
）
'
'
1
即H（X|Y）P（x,y）log;
r
P（x|y）
H（X）x,yP（X，y）lOgE
P（x|y）制Pg
•/X,Y不独立，所以与以上推论相互矛盾;
•••当且仅当X,Y相互独立时上式等号成立。
3-23—个无记忆信符源的字集为{-5,-3,-1,0,1,3,5},相应的概率分别是
（a）计算信源熵。
（b）假设信源输出按如下量化规则量化
q（5）q（3）4,q
（1）q（0）q
（1）0,q（5）q（3）4,计算量化后的信
息熵。
（a）由熵的定义可得
7
H（X）=P（xi）logP（xi）—0.15log0.15—0.05log0.05—0.25log0.25—
0.3log0.3
取2作底可得H（X）=2.53
（b）量化后的字符集为{0,4}
且P（x0）=0.1+0.15+0.05=0.3
P（x4）=1—P（x0）=0.7
此时的熵为H（X）=P（x」logP（x）=—0.3log0.3—0.7log0.7
取2作底可得H（X）=
3-25对下列二进制序列做L-Z信源编码：
000000000
再从编成的L-Z信源码中恢复原序列。
将该二进制序列做如下分解，可得到下列码段：
0,00,1,001,000,0001,10,00010,0000,0010,00000,101,00001,000000,
11,01,0000000,110
可得L-Z算法字典如下：
字典位置
字典内容
码字
1
00001
000000
00010
00
000010
3
00011
000001
4
00100
001
000101
5
00101
000
000100
6
00110
0001
001011
00111
10
000110
8
01000
001100
9
01001
0000
001010
01010
0010
001000
11
01011
00000
010010
12
01100
101
001111
13
01101
010011
14
01110
010110
15
01111
000111
16
10000
01
000011
17
10001
0000000
011100
18
10010
110
011110
3-30某加性高斯白噪声信道的输出是
斯输入，计算:
（a）条件差熵H（X|G）。
（b）平均互信息l（X;
Y）。
已知信源X的概率刻度函数为P（X）
G为加性噪声,
3-38考虑一个平稳随机信号序列{X（n）}，其均值为0，自相关序列
（n=0）
（n）[（n=1）
0（其它）
（a）{X（n）}的一阶最小MSE预测器为~（n）=a“x（n1），计算预测系数以及相应
的最小均方误差1
（b）对于二阶预测器~（n）=a1x（n1）+a2x（n2）重复（a）的问题。
p
1可得
（a）由ai（ij）=（j）
a1（11）=
（1）
a1（0）=
（1）
~（n）=0.5x（n1）
=（0）
（1）0.25⑼
=0.75
（b）二阶最小MSE预测器此时，p2,j1,2
•一a1（11）a2（21）
（1）
a1（12）a2（22）
（2）
{
a10.5a20.5
0.5印a20
此时的最小均方误差为2=E[x（n）
-x（n1）
3x（n2）]
=E[x（n）]
字[x（n
1）]3E[x（n
2）]
22
=（0）2
ai（i）
ajaj（i
j）
i1i1j1
第四章通信信号与系统的表征
现定义一组新的M个波形
试证明这M个信号波形｛sm（t）｝有相同的能量，即
（M1）.M
并且是等相关的，相关系数为
0Sm（m）2dt
M2k
—=（M1）.M即M个信号波形｛Sm（t）｝有相同的能量。
M
又•••
mn
丄:
Sm（t）Sn（t）dt
[Sm（t）
Sk（t）][Sn（t）
k1
Sn（t）]dt
0[Sm（t）Sn（t）Sm（t）m
1Sn（t）
Sk（t）Sn（t）
m.m
Sn（t^-Sk（t）]dt
Mk1
T2
0Sm（t）dt
0Sn（n）dt
:
S：
（t）dt]
1A
M1M
M__1
即证。
（t）
•
t
4-10考察图P4-10所示的3个波形。
f2（t）
►t
04
f3（t）
（a）试证明这些波形是标准正交的。
（b）如果
—10t1
试将x（t）表示为fn（t）（n
3）的加权线性组合，并求加权系数。
（a）由图可知
fi（t）=
f3（t）=Y
f2（t）=,0
f1（t）,f2（t）
f2（t）,f3（t）
1,2t3
2,3t4
0f2（t）f3（t）dt=0
0f1（t）f3（t）dt=0
1=0
24
f12（t）dt=1,2
0f2（t）dt=1,3=0
42
f32（t）dt
f,t）,f2（t）,f3（t）是标准正交的。
（b）
X（t）,f,t）=x（t）,f2（t）=x（t）,f3（t）=0
二x（t）,f1（t）,f2（t）,f3（t）是两两正交的
•••它们是线形独立的
•••x（t）不能由f,t）,f2（t）,f3（t）线形表示。
4-13低通高斯随机过程x（t）的功率密度谱为
「N。
（fB）
（f）=彳
.0（fB）
试求y（t）=x2（t）的功率密度谱和自相关函数。
根据题意可知
xx（）=N0
sin2B
2BN0
222
又•••E[x（t）]=0,E[x（t）]=D[x（t）]+E[x（t）]=x=
x
E[x（t）]=
x厂
edx=3
.2x
yy（0）=2（2BN。
）2
yy（）=2No
sin4B2
y（f）=
2N；
如血
j2f
=2N：
4-17试对图4-2-1（a）中的信号按S4（t）,Ss（t）,Si（t）的次序进行格拉姆-施密特
（GramSchmidt）正交化，得到标准正交函数集fm（t）。
试利用标准正交函数集
fm（t）将信号sm（t）表示为向量形式，并求各向量的能量。
S1（t）
3t
S4（t）
S2（t）
-102
t-1
s4（t）的能量为
i=S4（t）dt
3（i）2dt=3
fi（t）Vi
fi（t）在S3（t）投影为Ci2=S3（t）fi（t）dt
三）
1dt+
2（
■3）（i）dt=
、、3
I
f2（t）=S3（t）—Ci2
fi（t）=
f2（t）的能量为2
f4（t）dt
0
2
•••f2（t）/：
.6
0t
2t
fi（t）在si（t）投影为ci3=s（t）fi（t）dt
、.6
f2（t）在Si（t）投影为C23=Sjt）f2（t）dt=
f3（t）=Si（t）-Ci3fi（t）-C23f2（t）=0
二Si（t）是fi（t）,f2（t）的线性组合
f3（t）=0
升级会员 