应用随机过程.docx

1、应用随机过程随机过程简介随机过程这一 学科最早起源于对物理学的研究 ，如吉布斯（美国物理化学家、数学物理学家）、玻尔兹曼（奥地利物理学家）、 庞加莱（法国数学家）等人对统计力学的研究，及后来爱因斯坦、维纳（Wiener，美国数学家，控制论的创始人 卜莱维（Levy，法国数学家）等人对布朗运动的开创性工 作。1907年前后，马尔可夫（Markov）研究了一系列有特定相依性的随机变量，后人称之为 马尔可夫链。1923年维纳给出布朗运动的数学定义，直到今日这一过程仍是重 要的研究课题。随机过程一 般理论的研究通常认为开始于 20世纪30年代。1931年，柯尔莫哥洛夫发表了 概率论的 解析方法，193

2、4年辛饮发表 了平稳过程的相关理论，这 两篇著作奠定了马尔可夫过程与 平稳过程的理论 基础。1953年，杜布出版了名著 随机过程论，系统且严格地叙 述了随机过程基 本理论。一般认为，随机过程整个学科的理论基础是由 柯尔莫哥洛夫（Kolmogorov ）和杜布（Doob）奠定的。柯尔莫哥洛夫1903年4月25日，柯尔莫哥洛夫出生于俄罗斯年去世。他的 母亲出身于贵族家庭，在他出生后 10天去世。他只好由二位和指导学习。这一数学规律 。研究范围他的研究范围广泛：基础数学 、数理逻辑理统计、信息 论、泛函分析力学、拓朴学、实变函数论、微分方程、概率论 、数 以及数学在物理、化学、生物、 地质、冶金、结

3、晶 学、人工神经网络中的广泛 应用。他创建了一些新的数 学分支一一信息算法论、概率算法论和语言统计学等。荣誉奖项由于他的卓越 成就，他在国内外享有极高的声 誉。他是美国、法国、民主德 国、荷兰、波兰、 芬兰等20多个科学院的外国 院士，英国皇家学会外国会员， 他是法国巴黎大学，波兰华沙大学等多所大学的 名誉博士。 1963年获国际巴尔 桑奖，1975年获匈牙利奖章，1976年获美国气象学会奖章 、民主德国赫姆霍兹奖章 ，1980年获世界最著名的沃 尔夫奖。在国内，1941年获国家奖，1951年获苏联科学院车贝雪夫奖 ，1963年获苏维埃 英雄称号，1965年获列宁奖，1940年获劳动红旗勋章，

4、 1944 1979年获7枚列宁勋章、金星奖章及 在伟大的爱国战争中英勇劳动 ”奖章，1983年获十月革命勋章，1986年获苏联科学院罗巴切夫斯 基奖。杜布杜布是美 国数学家，1910年10月27日生于辛辛那提 ，2004年6月7日卒于伊 利诺伊。杜布 毕业于哈佛大学， 1932年获博士学 位。他是美国国家科学院和美国 科学艺术研究院院士，伊利诺伊大学教授。杜布的主要贡 献是概率论。他深入研究 了随机过程理论，得出了 任意的随机过程都具有可分修 正，建立了随机函数理论的公理结构。他是鞅 论的奠基人，虽然莱维等人早在1935年发表了一些 孕育着鞅论的工作，1939年莱维引进 鞅” （mart i

5、n gale）这个 名称，但对鞅进行系统研究并使之成为随 机过程论的一个重要分支的 ，则应归功于杜布。他还引进了半鞅的 概念。在鞅论中有以他的姓氏命名的 著名的杜布停止定理、杜布一耶上鞅分解 定理等。鞅论使随机过程的研究 进一步抽象化，不仅丰富了概率论的内容，而且为其它 数学分支如调和分析、复变函数、位势理论等 提供了有力的工具。对马尔可夫过程，杜布关于轨道的严密 处理进行了系统的研究。六、鞅12课时（3周）8课时（2周）主要内容：Poisson 过程、马尔可 夫链、更新过程、布朗运动问题：随机变量的定义？定义：设(门，J,P)是概率空间，X是定义在门上取值于实数集R的函数，如果 -X 二R,

6、 f . : X ( .) , P)上的随机变量，则称X(t), r T为随机过程，其中t为指标集或参数集。Xt()：】一；E , E称为状态空间，即 X(t)的所有可能状态构成的集合。例 1： E 为0,1例 2： E 为0, 10例 3： E 为0,1, -1, 2, 一2 例 4： E都为0,-:：)注：(1)根据状态空间E的不同，过程可分为连续状态和离散状态， 例1,例3为离散状态，其他为连续状态。(2)参数集T通常代表时间，当T取R, R+, a,b时，称X(t), t T为连续参数的随机过程； 当T取乙z+时，称X(t), t T为离散参数的随机过程。(3 )例1为离散状态离散参数

7、的随机过程，例 2为连续状态离散参数的随机过程，例 3为离散状态连续参数的随机过程，例 4为连续状态连续参数的随机过程。二、有限维分布与 Kolmogorov定理随机过程的一维分布： F (t, x) = P x (t)乞x 随 机 过 程 的 二 维 分 布F t1 ,t2 ( X 1 , X2 - P X(ti) _ xi , X(t2)_ x2 , ti,t2 * Ta随机过程的n维分布：FyJXiK，Xn) =P X(tJ 今，X(t2)兰 X2,X(tn)兰 Xn, t?,T1、 有限维分布族：随机过程的所有一维分布，二维分布， n维分布等的全体F t1 ,t2tn ( X1 , X

8、2 ,Xn ), t1 , t2 ,tn E T , n 1称为X(t), t 乏 T的有限维分布族。2、 有限维分布族的性质：(1)对称性：对(1,2 ,n)的任一排列(j. j2,jn)，有F t t .t ( x . , x . , x 匚)=Ft t .t ( x1, x2, xn)tj1 ,tj2 , tjn J1 J2 Jn t1 ,t2 , tn 1 2 n /(2)相容性：对于 m0，有 P(N(t+s)_N(s)= n) =e 一兀 ,n = 0,1，n!注：Poisson过程具有平稳增量性因为N (t s) _ N (s)的分布只依赖于t,与区间起点s无关，令s = 0,.

9、m(t)二 EN (t) =于是可认为是单位时间内发生的事件的平均次数，一般称 是Poisson过程的强度。 例2.1.1 :(Poisson过程在排队论中的应用)研究随机服务系统中的排队现象时，经常用到 Poisson过程模型。例如：到达电话总机的呼叫数目，到达某服务设施(商场、车站、购票 处等)的顾客数，都可以用 Poisson过程来描述。以某火车站售票处为例，设从早上 8:00开始，此售票处连续售票，乘客以 10人/小时的平均速率到达，则 9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少？ 10:00-11:00没有人来买票的概率是多少？解：我们用一个 Poisson过程

10、来描述，设8:00为时刻0,则9:00为时刻1，参数 = 10，于N (t)表示某公路交叉口、矿山、例2.1.2 :(事故发生次数及保险公司接到的索赔数)若以工厂等场所在(0, t时间内发生不幸事故的数目， 则Poisson过程就是 n (t), t 0的一种很好近似。例如，保险公司接到赔偿请求的次数(设一次事故导致一次索赔) ，向315台的投诉(设商品出现质量问题为事故)等都是可以用 Poisson过程的模型。我们考虑一种最简单的情形，设保险公司每次的赔付都是 1，每月平均接到索赔要求 4次，则一年中它要付出的金额平均为多少？解：设一年开始时刻为 0, 1月末为时刻1,年末为时刻12,则有P

11、 N(12) N(0) =n = (4 2) e，沢2 n! (4X12)E N (12) N (0)=送 n， e =48n仝 n!问题：为什么实际中有这么多现象可以用 Poisson过程来反映呢?定义2.1.2 :计数过程 :N(t),t - 0称为Poisson过程如果满足：(i)N(t) =0;(ii)过程有平稳独立增量(iii )存在 0,当 h 儿0时，PN(h) =1 h o(h);(iv)当 h 儿0时，P ：N (h) _ 2 ；=o(h).定理2.1.1 :定义1和定义2是等价的。例2.1.3:事件A的发生形成强度为 丸的Poisson过程N (t), t二0,如果每次事件

12、发生时 以概率p能够被记录下来，并以M(t)表示到时刻t被记录下来的事件总数，则 M (t), t _0 是一个强度为 p的Poisson过程。例2.1.4 :若每条蚕的产卵数服从 Poisson分布，强度为，而每个卵变为成虫的概率为 p，且每个卵是否变为成虫彼此间没有关系，求在时间 0, t内每条蚕养活k只小蚕的概率。2.2 与Poisson过程相联系的若干分布设Tn表示第n次事件发生的时刻，n=1,2 ,，规定T。= 0。X n表示第n次与第n-1次事 件发生的间隔时间，n=1,2，。1.关于Xn和匚的分布定理2.2.1: Xn ( n=1,2，)服从参数为的指数分布，且相互独立。定理2.

13、2.2: Tn (n=1,2,)服从参数为n和的丨分布。注：如果每次事件发生的时间间隔 X, X2 ,.相互独立，且服从同一参数为 的指数分布，则计数过程 N (t), t _ 0是参数为的Poisson过程。例2.2.1 :设从早上8:00开始有无穷多的人排队等候服务，只有一名服务员，且每个人接受 服务的时间是独立的并服从均值为 20min的指数分布，则到中午12:00为止平均有多少人已经离去，已有9个人接受服务的概率是多少？例222：假设某天文台观测到的流星流是一个 Poisson过程，根据以往资料统计为每小时平均观察到3颗流星。试求：上午 8:00-12:00期间，该天文台没有观察到流星

14、的概率。2.事件发生时刻的条件分布s对于s乞t，有P乞s| N (t) =1t现在考虑n _2的情况：定理2.2.1：在已知N(t)二n的条件下，事件发生的n个时刻T1 , T2,Tn的联合分布密度B n!疋 f (t1 , t2 tn) -， 0 : X ： t2 ：tnt例2.2.3:乘客按照强度为，的Poisson过程来到某火车站， 火车在时刻t启程，计算在(0, t2.3 Poisson过程的推广1. 非齐次Poisson过程定义2.3.1:计数过程 n (t), t _ 0称作强度函数为 (t) . 0(t _ 0)的非齐次Poisson过程,如果(1)N (t) =0;(ii )

15、N (t), t _ 0具有独立增量(iii ) P :N (t h) N (t) (t)h - o(h);(iv ) P :N (t h) 一 N (t) _ 2 = o(h).等价定义：定义2.3.2 :计数过程 N (t), t - 0称作强度函数为(t) . 0(t _ 0)的非齐次Poisson过程,若(1) N (0) =0；(2) N (t), t _0具有独立增量性；一 t*(3)即任意实数 t _ 0, s . 0，N (t s N (t)为具有参数 m(t - s) - m(t) - (u)dut的Poisson分布，称m(t) (s)ds为非齐次Poisson过程的均值函

16、数(或累积强度函数)，定理2.3.1:设 N (t), t _0是一个强度函数为 (t) . 0(t - 0)的非齐次Poisson过程。对任意的t_0，令N*(t)=N(m(t),则 N * (t)是一个强度为1的Poisson过程。例2.3.1 :设某设备的使用期限为 10年，在前5年内它平均2.5年需要维修一次，后 5年平均2年需维修一次。试求它在试用期内只维修过一次的概率。2. 复合Poisson过程定义233:称随机过程 X (t), t _ 0为复合Poisson过程，如果对于t _ 0，它可以表示N (t)为：X (t) = 7 Yj ,其中 N (t), t _ 0是一个 Po

17、isson 过程，Y , i =1,2 是一族独i仝立 同分布的随机变量，并且与 N (t), t _ 0独立。注：复合Poisson过程不一定是计数过程。例2.3.2 :保险公司接到的索赔次数服从一个 Poisson过程 n (t), t _ 0,每次要求赔付的金额Yi都相互独立，且有相同分布 F，每次的索赔数额与它发生的时刻无关，则 0,t时间内保险公司需要赔付的总金额 X (t), t _ 0就是一个复合Poisson过程，其中N (t)X(t)八 Y。i 土例2.3.3 :设顾客到达某服务系统的时刻 S1, S2,，形成一强度为的Poisson过程，在每个时刻Sn (n =1,2，)，

18、可以同时有多名顾客到达。 Yn表示在时刻Sn到达的顾客人数，假定Yn ( n =1,2，)相互独立，并且与Sn也独立，则在0, t时间内到达服务系统的顾客 总人数可用一复合 Poisson过程来描述。例2.3.4 :假定顾客按照参数为的Poisson过程进人一个商店， 又假设各顾客所花的钱数形成一族独立同分布的随机变量。以 X (t)记到时间t为止顾客在此商店所花费的总值，易见 X (t), t - 0是一个复合 Poisson 过程。N (t)定理 2.3.2：设 x (t) = 7 Yi , t _ 0 是一复合 Poisson 过程，Poisson 过程 N (t), t _ 0的i A

19、强度为，则(1)X (t)有独立增量；2 2(2)若 EYj ：:，则 EX(t)二 tEM，Var X (t) Y.tE 例2.3.5:在保险中的索赔模型中，设索赔要求以 Poisson过程到达保险公司，速率为平均每月两次。每次索赔服从均值为 10000元的正态分布，则一年中保险公司平均的赔付额是多少？例2.3.6 :设顾客以每分钟6人的平均速率进入某商场，这一过程可用用 Poisson过程来描述。 又该进入该商场的每位顾客买东西的概率为 0.9，且每位顾客是否买东西互不影响，也与进入该商场的顾客数无关。求一天（12小时）在该商场买东西的顾客数的均值。3 .条件 Poisson过程定义234

20、:设随机变量.0，在-的条件下，计数过程 N (t), t _ 0是参数为的Poisson过程，则称 N (t), t _ 0为条件Poisson过程。2定理233:设 N (t), t _0是条件Poisson过程，且e 上：:，则(1)EN (t) =tEL；2(2)Var N (t) =t Var _ - tE _例2.3.7 :设意外事故的发生频率受某种未知因素影响有两种可能 ，2，且P(. - r) = P，P(用.=爲)=1 一 p =q，o ： p :1为已知。已知到时刻 t已发生了 n次事故。求下一次事 故在t+s之前不会到来的概率。另外，这个发生频率为 的概率是多少？第三章

21、Markov链3.1基本概念定义3.1.1 :随机过程 X n, n = 0,1,2称为Markov链，若它只取有限或可列个值（常J, i 0 , i 1 , i n J ，用非负整数集 0,1, 2来表示），并且对任意的n _0，及任意状态i有 P Xn 1 = J 1 X。=i,，XnnJ，Xn = i = P X . 1 二 J | X . =i，其中 Xi 表示过程在时刻n处于状态i，称0,1,2- 为该过程的状态空间， 记为E .上式刻画了 Markov链的特性，称为 Markov性。定义 3.1.2 :称条件概率 P X n d = J | X n = i为 Markov 链 X

22、n, n 二 0,1,2的一步转移概率，简称转移概率，记为 Ph ,它代表处于状态i的过程下一步转移到状态 j的概率。定义3.1.3 :当Markov链的转移概率= p x n* = j | X n = i只与状态i, j有关，而与n无关时，称之为时齐 Markov链；否则，就称之为非时齐的。注：我们只讨论时齐 Markov链，简称 Markov链。定义3.1.4：当Markov链的状态为有限时，称为有限链，否则称为无限连。但无论状态有限还是无限,我们都可以将Pij(i,j = E ）排成一个矩阵的形式，令-p00p 01p02叮p=( Pij)=p 10P11p12 为转移概率矩阵，简称转移

23、矩阵。容易看出Pj（ i, j e）p 20p 21p 22-具有性质:(1) Pij0，i,j E；（2）送Pij=1,Vi eE。j珏S，若他患病，认例3.1.1:考虑一个包含三个状态的模型，若个体健康，认为他处于状态| Pl1 Pl2 pi3 |P= P21 P22 P230 0 1例3.1.2 :（赌徒的破产或称带吸收壁的随机游动）系统的状态时 0n，反映赌博者在赌博 期间拥有的钱数，当他输光或拥有钱数为 n时，赌博停止，否则他将持续赌博。每次以概率P赢得1,以概率q=1-p输掉1。这个系统的转移矩阵为1 0 0 0 0 0 0q 0 p 0 0 0 09 9 9 9 9 9 9Q.

24、a a a a a a a 0 0 0 0 q 0 p0 0 0 0 0 0 1例3.1.3 :（带反射壁的随机游动）设上例中当赌博者输光时将获得赞助 1继续赌下去，就如 同一个在直线上做随机游动的球在到达左侧 0点处立刻反弹回一样，这就是一个一侧带有反 射壁的随机游动，此时转移矩阵为：0 1 0 0 0 0 0q 0 p 0 0 0 09 9 9 9 9 9 9D 3 3 3 3 3 3 3 I。0 0 0 q 0 p卫 0 0 0 0 0 1 一例3.1.4 :（自由随机游动）设一个球在全直线上做无限制的随机游动，它的状态为 0，0 0 0 00 0 0 09 9 9 8q 0 p 00 q 0 p 3 3 3 3L q 0 p 0L 0 q 0 p- s - -P=0 0 0 00 0 0 0练习：设有