資源描述：
《馬爾可夫鏈模型課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第十一章馬氏鏈模型11.1健康與疾病11.2鋼琴銷售的存貯策略11.3基因遺傳11.4等級結(jié)構(gòu)11.5市場占有率模型11.6最佳服務(wù)地點選擇如果明天是否有雨僅與今日是否有雨有關(guān)，而與過去的天氣無關(guān).并設(shè)今日下雨，明日有雨概率為0.7，今日無雨明日有雨的概率為0.4，并把有雨稱為0狀態(tài)，無雨稱為1狀態(tài)。則問：今日有雨且第5日仍有雨的概率為多少？例：天氣預(yù)報問題解：設(shè)狀態(tài)0代表有雨，狀態(tài)1代表無雨，則一步轉(zhuǎn)移矩陣為：所以今天有雨，第5天有雨的概率為：馬爾可夫過程是一類特殊的隨機過程,馬爾可夫鏈?zhǔn)请x散狀態(tài)的馬
2、爾可夫過程,最初是由俄國數(shù)學(xué)家馬爾可夫1896年提出和研究的.應(yīng)用十分廣泛,其應(yīng)用領(lǐng)域涉及計算機,通信,自動控制,隨機服務(wù),可靠性,生物學(xué),經(jīng)濟,管理,教育,氣象,物理,化學(xué)等等.1.相關(guān)概念馬氏鏈模型系統(tǒng)在每個時期所處的狀態(tài)是隨機的從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）描述一類重要的隨機動態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時間、狀態(tài)均為離散的隨機轉(zhuǎn)移過程例如：在某數(shù)字通信系統(tǒng)中傳遞0，1兩種信號，且傳遞需要經(jīng)
3、過若干級。因為系統(tǒng)中有噪聲，各級將造成錯誤，若某級輸入0，1信號后，其輸出不產(chǎn)生錯誤的概率為p，產(chǎn)生錯誤的概率為1-p，則該級的輸入輸出狀態(tài)構(gòu)成了一個兩個狀態(tài)的馬氏鏈。馬爾可夫鏈定義設(shè)有隨機過程{Xn,n∈T}，若對于任意的整數(shù)n∈T和任意的i0,i1,…,in+1∈I，條件概率滿足則稱{Xn,n∈T}為馬爾可夫鏈，簡稱馬氏鏈將來的狀態(tài)只與當(dāng)前狀態(tài)有關(guān)，與過去狀態(tài)無關(guān)馬氏性的直觀含義可以解釋如下:將看作為現(xiàn)在時刻,那末,就是過去時刻,而則是將來時刻.于是,當(dāng)已知系統(tǒng)現(xiàn)時情況的條件下,系統(tǒng)將來的發(fā)展變化與
4、系統(tǒng)的過去無關(guān).我們稱之為無后效性.許多實際問題都具有這種無后效性.例如生物基因遺傳從這一代到下一代的轉(zhuǎn)移中僅依賴于這一代而與以往各代無關(guān).例1M/G/1排隊系統(tǒng)假設(shè)顧客依參數(shù)為的泊松過程來到一服務(wù)中心，只有一個服務(wù)員，來客發(fā)現(xiàn)服務(wù)員空著即刻得到服務(wù)；其他人排隊等待服務(wù)。相繼來到的顧客的服務(wù)時間Ti假定為相互獨立的隨機變量，具有共同的分布G；且假定他們與來到過程獨立。M/G/1排隊系統(tǒng)中字母M代表顧客來到時間間隔服從指數(shù)分布，G代表服務(wù)時間的分布，數(shù)字1代表只有一個服務(wù)員。若以X(t)記在t時刻系統(tǒng)中的
5、顧客數(shù)，{X(t),t≥0}則不具馬爾可夫性。因為，若我們知道在t時刻系統(tǒng)中的顧客數(shù)，那么為了預(yù)測將來的狀態(tài)，我們不用關(guān)心從最近的一位顧客來到后已過去了多長時間（因為來到過程是無記憶的），但和服務(wù)中的顧客服務(wù)了多長時間有關(guān)（因為服務(wù)時間分布不具無記憶性）。Xn-----第n個顧客走后剩下的顧客數(shù)，Yn-----第n+1個顧客接受服務(wù)期間來到的顧客數(shù)，則容易證明{Yn，n≥1}獨立同分布，且因此，{Xn，n≥1}是馬爾可夫鏈。其轉(zhuǎn)移概率為為了克服上述困難，我們可以只在顧客離去的時刻考察系統(tǒng)，記Polya（
6、波利亞）模型罐中有b只黑球及r只紅球，每次隨機地取出一只后把原球放回，并加入與抽出球同色的球c只，再第二次隨機地取球重復(fù)上面步驟進(jìn)行下去，{Xn=i}表示第n回摸球放回操作完成后，罐中有i只黑球這一事件，所以這是一個馬爾可夫鏈，在傳染病研究中有用。離散參數(shù)馬爾可夫鏈（1）轉(zhuǎn)移概率定義在離散參數(shù)馬爾可夫鏈中,條件概率稱為在時刻(參數(shù))由狀態(tài)一步轉(zhuǎn)移到狀態(tài)的一步轉(zhuǎn)移概率,簡稱轉(zhuǎn)移概率.條件概率稱為在時刻(參數(shù))由狀態(tài)經(jīng)步轉(zhuǎn)移到狀態(tài)的步轉(zhuǎn)移概率.(2)轉(zhuǎn)移概率的性質(zhì):對于狀態(tài)空間內(nèi)的任意兩個狀態(tài)和,恒有(1)
7、(2)為了描述馬爾可夫鏈（n+1）維分布率，最重要的是條件概率P{Xn+1=in+1
8、Xn=in}.它表示在時刻n取in值的條件下，下一時刻n+1取值為in+1的概率（一步轉(zhuǎn)移概率）定義1稱條件概率為馬爾可夫鏈{Xn,n∈T}在時刻n的一步轉(zhuǎn)移概率，其中i,j∈I，簡稱轉(zhuǎn)移概率。定義2若對任意的i,j∈I，馬爾可夫鏈{Xn,n∈T}的轉(zhuǎn)移概率與n無關(guān)，則稱馬爾可夫鏈?zhǔn)驱R次馬爾可夫鏈。我們只討論齊次馬氏鏈。并將記為設(shè)P表示一步轉(zhuǎn)移概率所組成的矩陣，則稱為系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率矩陣，它具有如下性質(zhì)：滿足上述
9、兩個性質(zhì)的矩陣成為隨機矩陣?yán)O(shè)味精銷售情況分為暢銷和滯銷兩種，1代表暢銷，2代表滯銷。以表示第n個季度的味精銷售狀態(tài)，則可取1或2的值。若未來的味精市場狀態(tài)只與現(xiàn)在的市場狀態(tài)有關(guān)，與以前的市場狀態(tài)無關(guān)，則味精的市場銷售狀態(tài)構(gòu)成一個馬爾可夫鏈。設(shè)則狀態(tài)轉(zhuǎn)移概率矩陣：120.60.50.40.5定義3稱條件概率為馬爾可夫鏈{Xn,n∈T}的n步轉(zhuǎn)移概率，并稱為馬爾可夫鏈的n步轉(zhuǎn)移矩陣。規(guī)定例題設(shè)馬爾可夫鏈{Xn,n∈T}有狀態(tài)空間I={0,1}
