數(shù)據(jù)挖掘技術(shù)在入侵檢測中的應(yīng)用

《數(shù)據(jù)挖掘技術(shù)在入侵檢測中的應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、申請上海交通大學(xué)碩士學(xué)位論文數(shù)據(jù)挖掘技術(shù)在入侵檢測中的應(yīng)用學(xué)校：上海交通大學(xué)院系：信息安全工程學(xué)院班級：B0703691學(xué)號：1070369011姓名：陳宇珽專業(yè)：通信與信息系統(tǒng)導(dǎo)師Ⅰ：何德全（院士）導(dǎo)師Ⅱ：張保穩(wěn)（副研究員）上海交通大學(xué)信息安全工程學(xué)院2010年1月ADissertationSubmittedtoShanghaiJiaoTongUniversityfortheMasterDegreeofEngineeringDATAMINGINGTECHNOLOGYAPPLYINGTOINTRUSIONDETCTIONSYSTEMAuthor：ChenYuting

2、Specialty:CommunicationandInformationSystemAdvisorⅠ:Prof.HeDequanAdvisorⅡ:Prof.ZhangBaowenSchoolofInformationSecurityEngineeringShanghaiJiaoTongUniversityShanghai,P.R.ChinaJanuary19,2010數(shù)據(jù)挖掘技術(shù)在入侵檢測中的應(yīng)用摘要隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)信息安全問題日益凸現(xiàn)。為了構(gòu)建完善的安全防御體系，引入了防火墻、入侵檢測系統(tǒng)、反病毒軟件、虛擬專用網(wǎng)絡(luò)(VPN)等各類網(wǎng)絡(luò)安全產(chǎn)品。然而這些設(shè)備

3、在運行過程中，將會產(chǎn)生大量原始的告警記錄，導(dǎo)致網(wǎng)絡(luò)管理員難以發(fā)現(xiàn)網(wǎng)絡(luò)中真正的安全風(fēng)險以及告警原因并及時做出響應(yīng)。在這些安全設(shè)備之中，入侵檢測作為一項具有實時發(fā)現(xiàn)黑客攻擊模式的設(shè)備廣泛的應(yīng)用于現(xiàn)代企業(yè)網(wǎng)絡(luò)中。而將數(shù)據(jù)挖掘技術(shù)應(yīng)用于入侵檢測領(lǐng)域，有助于挖掘出新穎而有價值的概念化告警記錄信息，提升發(fā)現(xiàn)本質(zhì)攻擊原因和模式的效率。本文重點研究了數(shù)據(jù)挖掘技術(shù)中聚類挖掘和關(guān)聯(lián)規(guī)則挖掘在入侵檢測領(lǐng)域中的應(yīng)用，在聚類挖掘領(lǐng)域，對CLARAty算法做了兩種適用性改進，提出了Partial-Sort-CLARAty和Roll-Back-CLARAty兩種新的改進方案；在關(guān)聯(lián)規(guī)則挖掘領(lǐng)域，

4、對現(xiàn)有的Apriori算法和FP-Growth算法進行深入的分析，并提出了對應(yīng)的PS-Apriori和Twice-Sort-FP-Growth兩種改進算法，由此設(shè)計和實現(xiàn)了相應(yīng)的告警聚類挖掘和告警關(guān)聯(lián)挖掘的方案。告警聚類以概念化告警的形式有效地對告警記錄進行聚合，發(fā)現(xiàn)告警記錄共有的本質(zhì)原因；告警關(guān)聯(lián)規(guī)則挖掘，可以挖掘頻繁的安全事件關(guān)聯(lián)規(guī)則，用于發(fā)現(xiàn)令人感興趣的強規(guī)則，分析復(fù)雜的攻擊原因。通過對MIT林肯實驗室DDOS1.0數(shù)據(jù)集的測試，本文采用的兩個方案都取得了良好的應(yīng)用效果。全文在對入侵檢測技術(shù)和數(shù)據(jù)挖掘技術(shù)進行深入詳細的介紹之后名主要從以下5個方面進行創(chuàng)新性研究

5、：1.將原始告警記錄數(shù)據(jù)集進行標準統(tǒng)一化。數(shù)據(jù)挖掘技術(shù)要求第I頁輸入的數(shù)據(jù)源在進行分析研究之前具備統(tǒng)一的格式，所以在進入進一步研究之前，將告警記錄數(shù)據(jù)集進行標準化是非常有必要的。2.將聚類挖掘算法應(yīng)用與入侵檢測技術(shù)中，在原始CLARAty算法的基礎(chǔ)上，提出Partial-Sort-CLARAty和Roll-Back-CLARAty兩種改進算法，并對聚類過程中的過度概念化的情況進行了詳細的分析，并且比對三種算法的優(yōu)缺點。3.為了增強輸入的概念化規(guī)則的通用性和規(guī)范性，本文設(shè)計了一種將高層概念進行統(tǒng)一的XML文件格式編碼的解決方案，并用其來描述告警相關(guān)屬性的概念化層次結(jié)構(gòu)

6、，最后還作為實驗聚類分析方案的標準。4.將關(guān)聯(lián)挖掘算法應(yīng)用與入侵檢測技術(shù)中，針對Apriori算法和FP-Growth算法應(yīng)用于入侵檢測方案中的不足進行分析后，提出了AprioriBasedonPartitionandSampling算法，簡稱PS-Apriori算法以及Twice-Sort-Fp-Growth，對兩組算法分別進行了比較與分析，并實現(xiàn)了相應(yīng)的改進算法。5.針對官方流行的測試數(shù)據(jù)集進行相應(yīng)的測試，對測試結(jié)果進行詳盡的分析，并且與實際情況進行比對，得出了一般的結(jié)論，取得了較好的實驗效果。關(guān)鍵詞：入侵檢測，數(shù)據(jù)挖掘，聚類分析，關(guān)聯(lián)分析第II頁DataMin

7、ingTechnologyapplyingtoIntrusionDetectionSystemAbstractWiththepopularityofInternet,networksecurityproblemhasbecomeincreasinglyserious.Inordertoestablishacomprehensivesecuritydefensesystemtosolvethisproblem,varioussecuritydevices,suchasfirewall,IDS,anti-virustoolsandVPN,havebeenintrod