馬爾可夫過程

馬爾可夫過程

馬爾可夫過程(Markov process)是一類隨機過程。它的原始模型馬爾可夫鏈,由俄國數學家A.A.馬爾可夫于1907年提出。該過程具有如下特徵:在已知目前狀態 (現在)的條件下,它未來的演變 (將來)不依賴于它以往的演變 ( 過去 ) 。 例如森林中動物頭數的變化構成--馬爾可夫過程 。在現實世界中,有很多過程都是馬爾可夫過程,如液體中微粒所作的布朗運動、傳染病受感染的人數、車站的候車人數等,都可視為馬爾可夫過程。關于該過程的研究,1931年A.H.柯爾莫哥洛夫在《概率論的解析方法》一文中首先將微分方程等分析的方法用于這類過程,奠定了馬爾可夫過程的理論基礎。

名詞定義

在馬爾可夫性的定義中,"現在"是指固定的時刻,但實際問題中常需把馬爾可夫性中的"現在"這個時刻概念推廣為停時(見隨機過程)。例如考察從圓心出發的平面上的布朗運動,如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性,這裏τ為停時,並且認為τ是"現在"。如果把"現在"推廣為停時情形的"現在",在已知"現在"的條件下,"將來"與"過去"無關,這種特徵就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內,不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜布。直到1956年,才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明,強馬爾可夫過程才是馬爾可夫過程真正研究的對象。

形成過程

1951年前後,伊藤清建立的隨機微分方程的理論,為馬爾可夫過程的研究開闢了新的道路。1954年前後,W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。

類重要的隨機過程,它的原始模型馬爾可夫鏈,由俄國數學家Α.Α.馬爾可夫于1907年提出。人們在實際中常遇到具有下述特徵的隨機過程:在已知它所處的狀態的條件下,它未來的演變不依賴于它以往的演變。這種已知"現在"的條件下,"將來"與"過去"獨立的特徵稱為馬爾可夫性,具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上,因為青蛙是沒有記憶的,當所處的位置已知時,它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0,X1,X2,…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼,那麽{Xn,n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動,傳染病受感染的人數,原子核中一自由電子在電子層中的跳躍,人口成長過程等等都可視為馬爾可夫過程。還有些過程(例如某些遺傳過程)在一定條件下可以用馬爾可夫過程來近似。

關于馬爾可夫過程的理論研究,1931年Α.Η.柯爾莫哥洛夫發表了《概率論的解析方法》,首先將微分方程等分析方法用于這類過程,奠定了它的理論基礎。1951年前後,伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上,建立了隨機微分方程的理論,為研究馬爾可夫過程開闢了新的道路。1954年前後,W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中,Ε.Б.登金(又譯鄧肯)等並賦予它概率意義(如特征運算元等)。50年代初,角谷靜夫和J.L.杜布等發現了布朗運動與偏微分方程論中狄利克雷問題的關系,後來G.A.亨特研究了相當一般的馬爾可夫過程(亨特過程)與位勢的關系。流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。

時間鏈

以上述荷花池中的青蛙跳躍過程為例,荷葉號碼的集合E叫做狀態空間,馬爾可夫性表示為:對任意的0≤n1<n2<…<nl<m,n>0,i0,i1,i2,…,i(n-1),i,j∈E,有

(1)P[x(n)=in|x(0)=i0,x(1)=i1,...,x(n-1)=i(n-1)]=P[x(n)=in|x(n-1)=i(n-1)]

(以下n與m的區別請註意!)

隻要其中條件概率(見概率)有意義。一般地,設E={0,1,…,M}(M為正整數)或E={0,1,2,…},Xn,n≥0為取值于E的隨機變數序列,如果(1)式成立,則稱{X,n≥0}為馬爾可夫鏈。如果(1)式右方與m無關,則稱為齊次馬爾可夫鏈。這時(1)式右方是馬爾可夫鏈從i出發經n步轉移到j的概率,稱為轉移概率,記為。對于馬爾可夫鏈,人們最關心的是它的轉移的概率規律,而n步轉移矩陣正好描述了鏈的n步轉移規律。由于從i出發經n+m步轉移到j必然是從i出發先經n步轉移到某個k,然後再從k出發(與過去無關地)經m步再轉移到j,因此有

這就是柯爾莫哥洛夫-查普曼方程。根據這一方程,任意步轉移矩陣都可以通過一步轉移矩陣計算出來。因此,每個齊次馬爾可夫鏈的轉移規律可以由它的一步轉移矩陣P來刻畫。P的每一元素非負且每行之和為1,具有這樣性質的矩陣稱為隨機矩陣。例如,設0<p<1,q=1-p,則M階方陣為隨機矩陣,它刻畫的馬爾可夫鏈是一個具有反射壁的隨機遊動。構想一質點的可能位置是直線上的整數點 0,1,…,M,0和M稱為壁,它每隔單位時間轉移一次,每次向右或左移動一個單位。如果它處在0或M,單位時間後質點必相應地移動到1或M-1,如果它處于0和M之間的i,則它以概率p轉移到i+1,以概率q轉移到i-1。又如果把P的第一行換成(1,0,…,0),則此時表示0是吸收壁,質點一旦達到0,它將被吸收而永遠處于0。如果不設定壁,質點在直線上的一切整數點上遊動,稱為自由隨機遊動,特別當時,稱為對稱隨機遊動。

為了進一步研究馬爾可夫鏈的運動進程,需要對狀態進行分類。若pij>0,則稱i可以直達j,記作i→j,如還有pji>0,則記作i凮j,採用這樣的記號,可以用圖形表示運動的進程。例如圖形

表示一個馬爾可夫鏈的運動情況,當鏈處于b1,b2,b3狀態時,將永遠在{b1,b2,b3}中運動,當鏈處于α1,α2,α3,α4狀態時,將永遠在{α1,α2,α3,α4}中運動,而{d1,d2,…}不具有這種性質,因為從d1可一步轉移到b1或d2,自d3可到α1或d4,等等。對一般的馬爾可夫鏈,若C是由一些狀態組成的集合,如果鏈一旦轉移到C中的狀態,它將永遠在C 中轉移,C 就稱為這個鏈的閉集。對閉集C,如果從C 中任一狀態出發經有限步轉移到另一狀態的概率都大于0,則稱C為不可約閉集,例如上例中的{b1,b2,b3}。至于{b1,b2,b3,с1,c2}雖然也是閉集,但卻是可約的。如果從狀態i出發經有限次轉移後回到i的概率為1,則稱i為常返狀態。狀態空間E可以分解為由一切非常返狀態組成的集 E0(如上例中的{d1,d2,…})和一些由常返狀態組成的不可約閉集Eα(如上例中的 {b1,b2,b3},{α1,α2,α3,α4},{с1,c2})的並。這樣,在鏈的轉移中,它或者總是在E0中轉移,或者轉移到某個常返類Eα中,一旦轉移到Eα,它將永遠在Eα中轉移,而且不時回到其中的每一個狀態。特別,當 E本身是不可約常返閉集時,極限存在,其中0≤r<t,t是0)的最大公約數,即鏈的周期,與j無關。近20年建立起來的馬丁邊界理論,更細致地刻畫了鏈在E0中轉移的情況。它的主要思想是在鏈的狀態空間E 中引進距離並將E 完備化,使得在這個距離下,Xn 以概率1收斂(見概率論中的收斂)。

連續時間

設E是{0,1,…,M}或{0,1,2,…},{X,t≥0}是一族取值于E的隨機變數,如果在(1)式中,將n1,n2,…,m,n理解為實數,(1)式仍成立,則稱{Xt,t≥0}為連續時間馬爾可夫鏈。若還與s≥0無關,記為pij(t),則稱鏈為齊次的。連續時間齊次馬爾可夫鏈也由它的轉移矩陣P(t)=(pij(t))(i,j∈E,t>0)所刻畫。P(t)滿足下述條件:①pij(t)≥0,;②柯爾莫哥洛夫-查普曼方程;通常假定:③標準性 這裏δii=1,δij=0(i≠j)。有時直接稱滿足①、②、③的一族矩陣P(t)=(pij(t)),t≥0為轉移矩陣或馬爾可夫鏈。當①中條件放寬為時,稱為廣轉移矩陣,它有很好的解析性質。例如,每個pij(t)在t>0時具有連續的有窮導數P'(t);在t=0,右導數P'(0)存在,i≠j時P'(0)非負有窮,但P'(0)可能為無窮。矩陣Q =(qij)呏(P'(0))稱為鏈的密度矩陣,又稱Q矩陣。對于每個齊次馬爾可夫鏈{X,t≥0},鍾開萊找到一個具有較好軌道性質(右下半連續)的修正{X(t),t≥0}(即對一切t≥0,P(X(t)≠Xt)=0,且對每個軌道對一切t≥0有),而且以概率1,對任意t≥0,s從大于t的一側趨于t時,X最多隻有一個有窮的極限點。

以Q為密度矩陣的廣轉移矩陣稱為Q廣轉移矩陣或Q過程。在一定條件下,Q廣轉移矩陣P(t),t≥0滿足向後微分方程組或者向前微分方程組。

上面兩個方程組的更普遍形式由柯爾莫哥洛夫于1931年引入。他並提出求解上述方程組的問題,這就是Q矩陣問題或構造問題:給定一個矩陣Q =(qij),滿足0qij<+∞(i≠j),,是否存在Q廣轉移矩陣?如果存在,何時唯一?如果不唯一,如何求出全部的Q廣轉移矩陣?對于qii都有限的情形,W.費勒于1940年構造了一個最小解p(t),證明了Q 廣轉移矩陣總是存在的;中國學者侯振挺于1974年對于qii都有限的情形找到了Q 廣轉移矩陣的唯一性準則;至于求出全部Q 廣轉移矩陣的問題,僅僅對一些特殊的情形獲得解決。對于Q 的對角線元素全為無窮的情形,D.威廉斯曾獲得了完滿的結果。

生滅過程

考察一個群體成員的數目,在時間的進程中可增可減,假定在時刻t群體有i個成員,在很短的時間間隔(t,t+Δt)中,群體數目增加或減少兩個或兩個以上幾乎是不可能的,它隻可能增加一個或減少(當i>0時)一個或保持不變。而增加一個的概率為 ,減少一個的概率為,保持不變的概率為。(pij(t))的密度矩陣

式中α0≥0,b0>0,對一切i>0,αi>0,bi>0。具有上述形狀的密度矩陣的齊次馬爾可夫鏈稱為生滅過程。

物理、化學、生物、醫學等的許多實際模型都可以用生滅過程來描述,因此生滅過程有著廣泛的實際套用。不僅如此,生滅過程還有重要的理論研究意義。關于生滅過程的結果已經十分豐富。當α0=0,b0>0時,隻有一個生滅過程的充分必要條件是。

對上述條件不成立的情形,中國學者王梓坤于1958年建立了"極限過渡法",構造了全部生滅過程。這個方法的基本思想是用較簡單的杜布過程的軌道來逼近一般過程的軌道。此外,甚至對α0≥0,b0>0的情形,或更一般的雙邊生滅Q矩陣(即為一切整數)的情形,全部Q廣轉移矩陣也都已構造出來。

一般過程

設(E,B)為可測空間,X={X,t≥0}為一族取值于E的隨機變數,如果對任意的B,以概率1有

(2)

則稱X為馬爾可夫過程。

馬爾可夫過程的定義還可以進一步擴充。第一,所謂"過去"可以作更廣泛的理解,即(2)中由,Xs所產生的σ域(見概率)可以擴大為一般的σ域Fs,隻要Fs包含由{X,u≤s}產生的σ域,而當 s<t時,。如果對任意s≥0,t>0,A∈B,以概率1有

(3)

則稱隨機過程X={X,t≥0}為馬爾可夫過程。第二,可以允許過程有壽命ζ,其中ζ是停時(見隨機過程)。這時過程為X={X,t<;ζ}。上述定義仍保留,但應作相應的修改,如{X∈As∈A,s<;ζ),(3)應理解為在{s<;ζ}上幾乎處處成立。

馬爾可夫過程的許多性質可以通過轉移函式來表達。轉移函式P(s,x,t,A)(0≤s≤t,x∈E,A∈B)是滿足某些條件的四元函式,它可以理解為過程在時刻s時處在x,在時刻t 時轉移到A中的條件概率。如果P(s,x,t,A)=P(t-s,x,A)隻依賴于t-s,x及A,則稱轉移函式及相應的馬爾可夫過程為齊次的。設E是d維歐幾裏得空間Rd,B為Rd中的波萊爾域(見概率分布)Bd,而且齊次轉移函式滿足下面的登金-金尼條件:對任意 ε>0,·。式中Vε(x)={y:|y-x|≥ε},那麽可以選取軌道連續的齊次馬爾可夫過程X,以p(t,x,A)為轉移函式。一類重要的軌道連續馬爾可夫過程是 d維布朗運動。

擴散過程

歷史上,擴散過程起源于對物理學中擴散現象的研究。雖然現在擴散過程的最一般的定義是軌道連續的馬爾可夫過程,但在1931年柯爾莫哥洛夫對于擴散過程的奠基性研究中,卻是按照轉移函式來定義擴散過程的。直線上的馬爾可夫過程,它有轉移函式P(s,x,t,A),如果對任意ε>0,

(4)

(5)

(6)

而且上述極限關于x是一致的,則稱此過程為一維擴散過程。粗略地說,這些條件刻畫了:在很短時間Δt內,位移也是很小的,對指定的正數ε>0,位移超過ε的概率和時間Δt相比可以忽略不計;在偏離不超過 ε的範圍內看,平均偏離與Δt成正比,平均方差也與 Δt成正比。稱(5)中的α(t,x)為偏移系數,它反映偏離的大小;稱(6)中的b(t,x)為擴散系數,它反映擴散的程度。

設轉移函式具有密度函式p(s,x,t,y),則在適當的附加條件下,p(s,x,t,y)滿足方程

(7)

(8)

(7)和(8)分別稱為柯爾莫哥洛夫向前方程和向後方程,也稱為福克爾-普朗克方程。如果轉移函式是齊次的,則α(s,x)=α(x),b(s,x)=b(x)與s無關,且p(t,x,y)滿足

(9)

(10)

α和b的某些假定下,可以求上述方程的轉移密度解p,從而可以決定一個馬爾可夫過程。然而,方程的轉移密度解即使存在也未必唯一,因此還要對方程的解附加某些邊界條件,以保持解的唯一性。例如,當α(t,x)=0,b(t,x)=2D (常數D>0)時的向前方程,附加邊界條件=0的解是

這是稱之為維納-愛因斯坦過程的擴散過程的轉移密度函式。又例如,當α(t,x)=-βx(β >0),b(t,x)=2D >0時的向前方程附加與上例同樣的邊界條件的解,是稱之為奧恩斯坦-烏倫貝克過程的擴散過程的轉移密度函式。

50年代,費勒引進了推廣的二階微分運算元,用半群方法解析地研究了狀態空間E =【r1,r2】的擴散過程,解決了在r1和r2 處應附加哪些邊界條件,才能使向後方程(10)有一個且隻有一個轉移密度函式解的問題,而且找出了全部這樣的邊界條件。對于 E是開區間或半開半閉區間的情形也作了研究。登金、H.P.麥基恩及伊藤清等人對于擴散過程軌道的研究,闡明了費勒的結果的概率意義,從而使一維擴散過程有了較完整的理論。

多維擴散過程是和一個橢圓型偏微分運算元聯系在一起的,它還有許多未解決的問題,但核心問題之一是多維擴散過程的存在性和唯一性問題;借助于偏微分方程和概率論方法已經得到一些結果。有趣的是,概率論得到的結果反過來也可以解決微分方程的求解問題,例如,可以把方程的解用一個馬爾可夫過程表現出來。

人們越來越重視從軌道變化的角度來研究擴散過程。常用的方法是隨機微分方程和鞅問題的求解。流形上的擴散過程理論日益受人們重視的新領域,它是用隨機微分方程研究擴散過程的必然延伸。

馬爾可夫過程與位勢理論 在空間中給定一個向量場,如果存在一個函式u使得它的負梯度就是給定的向量場,這個函式就是位勢。高斯在研究電荷分布時提出了古典位勢理論。例如,在空間R3的某物體S 中給定了一個電荷分布μ,那麽空間點x處的電位勢為

(11)

一般地,對于空間R3中的測度μ(通常假定具有支撐S ),

(12)

稱為測度μ的牛頓位勢。如果不計常數因子的差別,則u可以用三維布朗運動的轉移密度函式p(t,x,y)表現出來:

(13)

如果假定μ關于勒貝格測度有密度函式?,則u還可以通過三維布朗運動{X,t≥0}表現出來:

(14)

式中Ex表示對從x出發的布朗運動取數學期望。再以和位勢理論緊密聯系的狄利克雷問題為例,它的解也可以用布朗運動來表述。由此可見,布朗運動與古典位勢之間存在著自然的對應關系。這種對應關系也存在于亨特過程和近代位勢理論之間。亨特過程就是軌道右連續且擬左連續的強馬爾可夫過程。所謂擬左連續,即對任何停時序列τn↑τ,在(τ<+∞)上,以概率1有

(15)

馬爾可夫過程的位勢理論主要有三個問題:狄利克雷問題、掃問題和平衡問題。對于布朗運動,這三個問題都得到了很好的解決。

(1)(1)
(2)(2) (5)(5)
(6)(6)

相關詞條

其它詞條