基于gpr預(yù)判模型的海量日志流實(shí)時異常檢測研究

《基于gpr預(yù)判模型的海量日志流實(shí)時異常檢測研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、碩士學(xué)位論文題目:基于GPR預(yù)判模型的海量日志流實(shí)時異常檢測研究研究生郭子昂專業(yè)計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師胡維華教授完成日期2016年3月杭州電子科技大學(xué)學(xué)位論文原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明；本乂巧重聲明所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究Ｘ作所取得的成果。除文中己經(jīng)注明引用的內(nèi)容外，本論文不含任何其他個人或集體己淫發(fā)衷或撰寫過的作曲或成果。對本文的研究做出重要貢獻(xiàn)的個人和集體，均己在文中Ｗ明確方式稱明。…中請學(xué)位論義與巧料若有不實(shí)么處，本人承擔(dān)切柏關(guān)貴任。＾論文作冉簽名

2、円期：。日：違是妒八年Ｊ月／＾砰學(xué)位論文使用授權(quán)說明本人完全了解杭州電子科技大學(xué)關(guān)于保留和使用學(xué)位論文的規(guī)定，目；研究Ｐ化在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬杭州化子科技大學(xué)。本人保證畢業(yè)離校后，發(fā)表論文或使用論文工作成果時署名單位仍然為杭州化子科技大學(xué)。學(xué)校有權(quán)保留送交論文的復(fù)印件，允許查閱和借閱論文（ｉｔ；學(xué)?？晒颊撐牡娜崳?。部或部分內(nèi)容，可臥允許采用影印、縮印或其它復(fù)制手段保存論文（保密論文巧解密后遵守此規(guī)定）論文作者簽名：ＪＨ期：與Ｙ（年；月。鬥／指導(dǎo)教師簽名：刖月：女

3、年月ｆ巧抑／＾杭州電子科技大學(xué)碩士學(xué)位論文基于GPR預(yù)判模型的海量日志流實(shí)時異常檢測研究研究生：郭子昂指導(dǎo)教師：胡維華教授2016年3月DissertationSubmittedtoHangzhouDianziUniversityfortheDegreeofMasterTheResearchofRealTimeAnomalyDetectionofMassiveLogStreamBasedonGPRModelCandidate:GuoZiangSupervisor:Prof.HuWeihuaMarch，2016杭州電子

4、科技大學(xué)碩士學(xué)位論文摘要隨著計(jì)算機(jī)技術(shù)的快速發(fā)展和信息化的不斷深入，大型互聯(lián)網(wǎng)企業(yè)產(chǎn)生的日志量也呈現(xiàn)出爆炸式增長。通過分析和檢測日志，及時發(fā)現(xiàn)用戶行為和系統(tǒng)狀態(tài)的異常，對于提高用戶滿意度和系統(tǒng)穩(wěn)定性具有重要作用。傳統(tǒng)的日志異常檢測采用先存儲后處理的方式，但是隨著海量日志時代的到來，這一方式面臨存儲空間占用過高以及實(shí)時性差的瓶頸，所以迫切需要研究新的日志異常檢測架構(gòu)和算法。因此針對海量日志實(shí)時異常檢測的課題，本文分別從檢測算法和實(shí)時計(jì)算兩方面進(jìn)行研究：（1）對日志流進(jìn)行異常檢測，一般采用基于規(guī)則匹配的方式，但是效率較低，因

5、此本文研究了文本日志的數(shù)值化表示方法，提出了利用信息含量來表征日志。由于直接計(jì)算信息含量復(fù)雜度較高，所以用無損壓縮與信息含量之間的關(guān)系間接的估計(jì)信息含量。為了滿足日志流壓縮的特殊需求，本文在序列壓縮算法的基礎(chǔ)上提出了一種適合于日志流場景的無損壓縮算法LSCA。文本日志轉(zhuǎn)換成數(shù)值形式后，通過引入高斯過程回歸模型，提出了基于GPR預(yù)判模型的日志流異常檢測算法，將實(shí)際收到的數(shù)據(jù)值與預(yù)估的數(shù)據(jù)值比較，看其是否在偏差范圍之內(nèi)來判定日志是否異常。（2）基于GPR的預(yù)判模型可以有效的檢測孤立異常，但是對局部異常檢測效率不高。為了解決這

6、個問題，本文引入采樣的方法，提出了適合日志流場景的采樣算法LSUS，將其與GPR結(jié)合形成了新的模型LSUS_GPR，然后把新模型推廣到全局異常檢測。實(shí)驗(yàn)表明新模型的計(jì)算復(fù)雜度和誤判率都明顯降低，提高了檢測效率。（3）借助于JStorm流式計(jì)算框架，本文設(shè)計(jì)并實(shí)現(xiàn)了基于GPR預(yù)判模型的日志流實(shí)時異常檢測系統(tǒng)LRADS。針對LRADS系統(tǒng)，分別從總體設(shè)計(jì)和性能優(yōu)化兩個方面進(jìn)行講述?？傮w設(shè)計(jì)方面，主要介紹了核心部分日志采集和實(shí)時檢測模塊。性能優(yōu)化方面，提出了離線和在線調(diào)度優(yōu)化方法。最后系統(tǒng)測評表明LRADS穩(wěn)定高效，具備生產(chǎn)環(huán)

7、境使用價值。關(guān)鍵詞：日志流，異常檢測，高斯過程回歸，JStormI杭州電子科技大學(xué)碩士學(xué)位論文ABSTRACTWiththerapiddevelopmentofcomputertechnologyandthedeepeninginformatization,alargeamountoflogsgeneratedbylargeInternetcompaniesarealsohavinganexplosivegrowth.Timelydetectionofuserbehaviorandsystem’sabnormalityb

8、yanalyzingandtestinglogsplaysanimportantroleforimprovingusersatisfactionandsystemstability.Thetraditionalloganomalydetectionadoptsthewayofprocessingafterstorag