資源描述：
《基于soa架構(gòu)的惡意爬蟲ddos攻擊檢測(cè)技術(shù)研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、基于SOA架構(gòu)的惡意爬蟲DDoS攻擊檢測(cè)技術(shù)研究摘要：面向服務(wù)的體系架構(gòu)(S0A)作為一個(gè)全新的網(wǎng)絡(luò)架構(gòu)和組件模型，己經(jīng)逐漸成為中國(guó)IT系統(tǒng)架構(gòu)的主導(dǎo)思想。隨著該體系首選的Web服務(wù)發(fā)展與普及應(yīng)用，其安全問題日益突出，特別是DDoS(分布式拒絕服務(wù)攻擊)因?yàn)槠漭^易實(shí)施和難以防范的特點(diǎn)，日益成為當(dāng)今網(wǎng)絡(luò)安全領(lǐng)域面臨的巨大威脅。本文主要針對(duì)近年來出現(xiàn)的利用搜索引擎爬蟲技術(shù)來實(shí)施的DDoS攻擊環(huán)境下，相應(yīng)的檢測(cè)防御技術(shù)研究。本文采集自網(wǎng)絡(luò)，本站發(fā)布的論文均是優(yōu)質(zhì)論文，版權(quán)和著作權(quán)歸原作者所有。關(guān)鍵詞：SOADDoS爬蟲技術(shù)檢測(cè)技術(shù)中圖分類號(hào)：
2、TP393.08文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9416(2016)10-0202-01面向服務(wù)的體系架構(gòu)(Service-OrientedArchitecture,SOA)作為一個(gè)全新的網(wǎng)絡(luò)架構(gòu)和組件模型，在提供便利的同吋也面臨安全方面的挑戰(zhàn)。S0A系統(tǒng)不但會(huì)受到傳統(tǒng)的網(wǎng)絡(luò)攻擊，如重放攻擊、注入攻擊等，也會(huì)受到各種DDoS攻擊。近日有研究表明，假冒搜索引擎爬蟲己經(jīng)成為第三大DDoS攻擊工具。本文所介紹的基于SOA架構(gòu)下的DDoS攻擊檢測(cè)方法主要針對(duì)當(dāng)今比較流行的利用網(wǎng)絡(luò)爬蟲所發(fā)起的DDoS攻擊。1S0A安全問題研宄SOA是一個(gè)組件模
3、型，它將應(yīng)用程序的不同功能單元（即服務(wù)）通過這些服務(wù)之間定義良好的接口和契約聯(lián)系起來。SOA目前在很大程度上還是比較依賴Web服務(wù)，特別是一些面向服務(wù)技術(shù)在SOA架構(gòu)上的應(yīng)用，導(dǎo)致SOA在提供了良好的便捷的同時(shí)也避免不了一些安全隱患。而目前來看SOA往往大多應(yīng)用在企業(yè)級(jí)平臺(tái)之上，它所承擔(dān)的服務(wù)不再單純的是一種技術(shù)能力，而更多的是一種業(yè)務(wù)能力和H資產(chǎn)。因此研究SOA架構(gòu)下安全問題，特別是安全檢測(cè)技術(shù)，在風(fēng)險(xiǎn)到來之前提前預(yù)測(cè)、感知和及時(shí)響應(yīng)具有十分重要的意義。2網(wǎng)絡(luò)爬蟲技術(shù)2.1網(wǎng)絡(luò)爬蟲概述網(wǎng)絡(luò)搜索引擎的主要數(shù)據(jù)來源就是互聯(lián)網(wǎng)網(wǎng)頁(yè)，通用搜索
4、引擎的目？司褪薔】贍艿奶岣咄?絡(luò)覆蓋率，網(wǎng)絡(luò)爬蟲（又稱網(wǎng)貞蜘蛛或者網(wǎng)絡(luò)機(jī)器人），就是一種按照特定規(guī)則，自動(dòng)抓取互聯(lián)網(wǎng)信息的腳本或者程序。搜索引擎利用網(wǎng)絡(luò)爬蟲技術(shù)爬取Web網(wǎng)頁(yè)、文件甚至圖片、音視頻等多媒體資源，通過相應(yīng)的索引技術(shù)處理這些信息后提供給用戶查詢。2.2網(wǎng)絡(luò)爬蟲的安全性問題網(wǎng)絡(luò)爬蟲策略就是盡可能多的抓取互聯(lián)網(wǎng)中的高價(jià)值信息，所以爬蟲程序會(huì)根據(jù)特定策略盡可能多的訪問互聯(lián)網(wǎng)上的網(wǎng)站頁(yè)面，這毫無疑問會(huì)占用目標(biāo)網(wǎng)站的網(wǎng)絡(luò)帶寬和Web服務(wù)器的處理開銷，特別是一些小型網(wǎng)站，僅僅處理各種搜索引擎公司的爬蟲引擎就會(huì)導(dǎo)致自身服務(wù)器“應(yīng)接不暇”。
5、所以黑客可以假冒爬蟲程序?qū)eb站點(diǎn)發(fā)動(dòng)DDoS攻擊，使M站服務(wù)器在大量爬蟲程序的訪問下，系統(tǒng)資源耗盡而不能及時(shí)響應(yīng)正常用戶的請(qǐng)求甚至徹底崩潰。不僅如此，黑客還可能利用網(wǎng)絡(luò)爬蟲抓取各種敏感資料用于不正當(dāng)用途。比如遍歷網(wǎng)站0錄列表;搜索測(cè)試頁(yè)面、手冊(cè)文檔、樣本程序以查找可能存在的缺陷程序；搜索網(wǎng)站管理員登錄頁(yè)面；搜索互聯(lián)網(wǎng)用戶的個(gè)人資料等等。3惡意爬蟲DDoS攻擊的防范和檢測(cè)一般情況下，因?yàn)樘囟ňW(wǎng)站的特殊原因，比如有些網(wǎng)站不希望爬蟲白天抓取網(wǎng)頁(yè)，有些網(wǎng)站不希望爬蟲抓取敏感信息等，所以爬蟲程序默認(rèn)是需要遵守Robots協(xié)議，所以限制爬蟲最簡(jiǎn)
6、單直接的方法就是設(shè)置robots,txt規(guī)則。然而并不是所有的搜索引擎爬蟲都會(huì)遵守robots規(guī)則，所以僅僅設(shè)置robots是遠(yuǎn)遠(yuǎn)不夠的。3.1日志分析來檢測(cè)惡意爬蟲攻擊(1)分析服務(wù)器日志統(tǒng)計(jì)訪問最多的IP地址段。grepProcessingproduction,log
7、awk’{print$4}?
8、awk-F’?’’{print$1"?"$2"?"$3"?0"}’
9、sort
10、uniq-csort-r-n
11、head-n200>stat_ip.log(2)把統(tǒng)計(jì)結(jié)果和流量統(tǒng)計(jì)系統(tǒng)記錄的IP地址進(jìn)行對(duì)比，排除真實(shí)用戶訪問IP，再排除正常的
12、網(wǎng)頁(yè)爬蟲，如Google，百度，微軟爬蟲等。很容易得到可疑的IP地址。分析可疑ip的請(qǐng)求時(shí)間、頻率、refer頭等，很容易檢測(cè)是否網(wǎng)絡(luò)爬蟲，類似如圖1所示日志信息明顯是一個(gè)網(wǎng)絡(luò)爬蟲。3.2基于訪問行為特征檢測(cè)爬蟲DDoS通過H志分析來檢測(cè)惡意爬蟲攻擊，無法及時(shí)檢測(cè)并屏蔽這些spider。所以面對(duì)分布式的爬蟲DDoS攻擊，網(wǎng)站很有可能無法訪問，分析日志無法及時(shí)解決問題。針對(duì)惡意爬蟲程序和正常用戶訪問之間的行為特征不同，爬蟲DDoS程序?yàn)榱诉_(dá)到占用系統(tǒng)資源的目的，其訪問往往是頻率很高而且呈明顯規(guī)律性，明顯區(qū)別于真實(shí)正常用戶瀏覽訪問時(shí)的低頻率
13、和隨機(jī)性，所以基于統(tǒng)計(jì)數(shù)據(jù)或者其他應(yīng)用識(shí)別或者IPS技術(shù)，可以較容易的生成正常情況下的行為模型，通過采集正常的流量行為可以構(gòu)造一個(gè)正常的網(wǎng)絡(luò)行為模型，我們可以把處于正常模型內(nèi)的流量行為認(rèn)定為正常行為，一旦和
