基于spark技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測研究

《基于spark技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、中圖分類號(hào)：ＴＰ３９３密級(jí)：公開郵Ｃ：；本校編號(hào)讀Ｗ交道乂肇工程碩±學(xué)位論女論ｉ：？目；基于Ｓｐａｒｋ技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常撿測研究研究生姓名：周超學(xué)號(hào)０６１３０１５８：學(xué)校指導(dǎo)教師姓名：徐巖職稱：教授企業(yè)指導(dǎo)教師姓名詰級(jí)工程師：李職稱：高申請(qǐng)學(xué)位工程領(lǐng)域名稱：電子與通信工程２０１６４．０論文提交日期？２０１６．０：礎(chǔ)卞答辯円期６ｔ獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作和取得的研究成果，除了文中特別加標(biāo)注和致謝之處外，

2、論文中不包含其他人己經(jīng)發(fā)表或撰寫過的研究成果Ｉ也不包含獲得蘭州交通大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均己在論文中作了明確的說明并表示了謝意。／ｎ學(xué)位論文作者簽名；７簽字日期：如／／年フ月曰＾學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解蘭州交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。特授權(quán)蘭州交通大學(xué)可？將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，并采用影印、縮印或掃描等復(fù)制手段保存、匯編臥供查閱和借閱。同意學(xué)校向國家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤。（保

3、密的學(xué)位論文在解密后適用本授權(quán)說明）學(xué)位論文作者簽名：７＾＾導(dǎo)師簽名；簽字曰期年月曰簽字曰期心＾年月白７／／工程碩士學(xué)位論文基于Spark技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測研究TheResearchofReal-timeNetworkTrafficAnomalyDetectionBasedonSparkTechnology作者姓名：周超工程領(lǐng)域：電子與通信工程研究方向：通信與信息系統(tǒng)學(xué)號(hào)：06130158校內(nèi)導(dǎo)師：徐巖完成日期：2016.04蘭州交通大學(xué)LanzhouJiaotongUniversity蘭州交通大學(xué)工程碩士學(xué)位論文摘要Spark技

4、術(shù)是一項(xiàng)基于內(nèi)存計(jì)算，繼Hadoop技術(shù)之后在云計(jì)算領(lǐng)域出現(xiàn)的新一代通用并行計(jì)算的開源技術(shù)，在機(jī)器學(xué)習(xí)方面有著無與倫比的優(yōu)勢，特別適合出現(xiàn)多次迭代計(jì)算需求的算法，并在交互式查詢、云計(jì)算、圖計(jì)算等領(lǐng)域有著廣泛的應(yīng)用。由于Spark擁有非常出色的容錯(cuò)和調(diào)度機(jī)制，可以確保系統(tǒng)穩(wěn)定地運(yùn)行，并且它還是一個(gè)集SQL、機(jī)器學(xué)習(xí)、圖計(jì)算、流處理等多種功能于一體的計(jì)算框架，具有非常好的易用性。目前，Spark技術(shù)已經(jīng)構(gòu)建成了一套完整的大數(shù)據(jù)處理生態(tài)系統(tǒng)，在流處理、圖技術(shù)、機(jī)器學(xué)習(xí)、NoSQL查詢等方面都具有自己的特色。此外，Spark采用全棧技術(shù)解決了云計(jì)算數(shù)據(jù)處理的核心

5、問題，使得在現(xiàn)階段，Spark技術(shù)在云計(jì)算等大數(shù)據(jù)領(lǐng)域中成為研究熱點(diǎn)。論文在詳細(xì)闡述國內(nèi)外關(guān)于Spark研究現(xiàn)狀的基礎(chǔ)上，針對(duì)目前存在的難點(diǎn)問題，以Spark全?？蚣苤械母鱾€(gè)組件及其應(yīng)用為基礎(chǔ)，對(duì)網(wǎng)絡(luò)流量異常檢測技術(shù)的應(yīng)用問題展開討論和研究，本論文的主要貢獻(xiàn)有以下兩個(gè)方面：本論文首先研究了網(wǎng)絡(luò)流量異常檢測技術(shù)在Spark平臺(tái)上的應(yīng)用，利用Spark平臺(tái)上的MLlib算法庫、StreamingK-means和隨機(jī)森林算法分別作為入侵檢測的第一級(jí)和第二級(jí)模型，作用于不同階段中網(wǎng)絡(luò)流量數(shù)據(jù)的檢測。此外，根據(jù)無監(jiān)督模式下K-means算法的原理，對(duì)網(wǎng)絡(luò)流量異常檢

6、測算法進(jìn)行了優(yōu)化，采用Z-score算法過濾邊緣信息，選擇熵信息K-means模型作為第一級(jí)網(wǎng)絡(luò)流量異常檢測的模型，以第一級(jí)檢測模型的數(shù)據(jù)輸出作為第二級(jí)模型的輸入，采用隨機(jī)森林算法作為第二級(jí)分類模型。其次本論文針對(duì)以上算法進(jìn)行了對(duì)比測試。首先以KDD99為實(shí)驗(yàn)數(shù)據(jù)集，基于熵信息判斷K-means最優(yōu)模型，并通過交叉檢驗(yàn)證明了在不同的K值下模型預(yù)測準(zhǔn)確度和熵信息成反比，K值為60時(shí)K-means模型達(dá)到最優(yōu)。同時(shí)還對(duì)隨機(jī)森林算法和決策樹算法在不同參數(shù)組合下的預(yù)測模型進(jìn)行了異常數(shù)據(jù)分類測試對(duì)比，測試結(jié)果表明，隨機(jī)森林模型可以做到98%以上的異常結(jié)果分類預(yù)測，

7、采用二級(jí)異常檢測模型與傳統(tǒng)模型相比較，可獲得較高的異常數(shù)據(jù)檢測精度。關(guān)鍵詞：Spark；機(jī)器學(xué)習(xí)；網(wǎng)絡(luò)流量異常檢測；K-means；隨機(jī)森林論文類型：應(yīng)用研究-I-基于spark技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測研究AbstractAfterHadooptechnologyincloudcomputing,anewgenerationofopensourcetechnologySparkisproposedinthefieldofparallelcomputing,whichisbasedonmemory.Thistechnologyhasanunparalle

8、ledadvantageinmachinelearning,especially