3、狀態(tài)空間，總有11n-P(Xn￡xn
4、,X(t1)==x1LX(txnn--11))=P(X￡x
5、,X(t)=?x)xRnnn--11nn則稱{X(t),tT?}為馬爾可夫過程。在這個定義中，如果把時刻t看作“現(xiàn)在”，時刻t是“將來”，時刻tt,,L是“過去”。馬爾可夫n-1n12n-過程要求：已知現(xiàn)在的狀態(tài)X(tx)=，過程將來的狀態(tài)Xt()與過程過去的狀態(tài)nn--11nX(t1)==x1,,LX(txnn--22)無關。這就體現(xiàn)了馬爾可夫過程具有無后效性。通常也把無后效性稱為馬爾可夫性。從概率論的觀點看，馬爾可夫過程要求，給定X(t)==x,,L
6、X(tx)時，Xt()的條件分布僅11nn--11n與X(tx)=有關，而與X(t),,LXt()無關。nn--1112n-二、馬爾可夫鏈及其轉移概率2馬爾可夫鏈是參數(shù)離散、狀態(tài)離散的最簡單的馬爾可夫過程。在馬爾可夫鏈{X(t),tT?}中，一般取參數(shù)空間T={0,1,2,L}。馬爾可夫鏈的狀態(tài)空間E的一般形式是E={0,1,2,L}。1、馬爾柯夫鏈定義：一個隨機序列{X(t),t=1,2,3,…}取值于正整數(shù)空間E={0,1,2,……},或者為E的子集，如果有：P(X(t)=x
7、,X(t)==xLX(tx))nn11nn--11=P(X(t)==x
8、
9、X(tx))nnnn--11xi∈E={0,1,2,……};i=1,2,…則稱為序列{X(t),tT?}為馬爾柯夫(Markov)鏈。這種序列具有馬爾可夫性，也叫無后致性。注意：t和i均取整數(shù)。2、馬爾柯夫鏈的含義：可以這樣理解：序列{Xt()}的“將來”只與“現(xiàn)在”有關而與“過去”無關。3、馬爾柯夫鏈的狀態(tài)：馬爾柯夫鏈序列{Xt()}中的某一個符號X(ti)的數(shù)值一定為E中的某一個元素x（i或xj），這時，稱xI(或xj)為隨機序列的一個狀態(tài)Si。4、馬爾柯夫鏈的一步轉移概率馬爾柯夫(Markov)鏈的統(tǒng)計特性用條件概率（狀態(tài)轉移概率）來描述：習
10、慣上把轉移概率記做(1)P(X(t+1)=xn
11、X(t)=xn-1)=P(X(t+1
12、)=jX(t)=i)==pij(t)ptij()這稱為馬氏鏈的一步轉移概率。為馬爾柯夫鏈從狀態(tài)i變?yōu)闋顟B(tài)j的條件概率。它滿足：(概率的加法公式)(1)pij(t)≥0ij∈E?pij(t)1=?iEjE?5、馬爾柯夫鏈的K步轉移概率：其k步轉移概率為：為馬爾柯夫鏈從狀態(tài)i經(jīng)過k步（k個單位時間）后變?yōu)闋顟B(tài)j的條件概率：()kP(X(t+k)=j
13、X(t)==i)ptij()它滿足：(k)pij(t)≥0ij∈E()k?pij(t)1=?iEjE?6、平穩(wěn)馬爾柯夫鏈的
14、性質：如果馬爾柯夫鏈是平穩(wěn)的，即與時刻無關，與t無關，我們討論的馬爾柯夫鏈只是這種最簡單的情況。這種平穩(wěn)馬氏鏈稱為齊次馬氏鏈。由于這種齊次馬爾柯夫鏈的轉移概率與時間無關，因此去掉其時間變量t，(1)(k)(n)其中的一步轉移概率為pp=，k步轉移概率為p，n步轉移概率為p。ijijijij定義2：向量u=(u,,uuL)稱為概率向量，如果u滿足：12,n3nuji30,j==1,2,L,1nu?i=1定義3：若方陣P的每行都為概率向量，則稱此方陣為概率矩陣。kk可以證明，如果矩陣A和B皆為概率矩陣，則AB,,AB也都是概率矩陣(k為正整數(shù))由所有一步
15、轉移概率組成的矩陣稱為一步轉移概率矩陣表示為：??p11pp121Ln?÷pppLP=?÷21222n?÷M
