網(wǎng)絡(luò)日志信息采集與分析解析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).doc

《網(wǎng)絡(luò)日志信息采集與分析解析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).doc》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、網(wǎng)絡(luò)日志信息采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)摘要隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大,網(wǎng)絡(luò)中的設(shè)備數(shù)量和服務(wù)類型也越來越多，網(wǎng)絡(luò)中的關(guān)鍵設(shè)備和服務(wù)產(chǎn)生了大量的日志信息，如何處理這些日志信息，實(shí)現(xiàn)日志信息的集中存儲和有效分析，挖掘出有效信息為網(wǎng)絡(luò)管理和網(wǎng)絡(luò)安全服務(wù)提供支撐變得尤為重要。本文描述了網(wǎng)絡(luò)日志集中采集和分析系統(tǒng)的設(shè)計(jì)，并詳細(xì)闡述了系統(tǒng)功能模塊的實(shí)現(xiàn)方式。關(guān)鍵字：日志信息集中采集日志分析1、引言隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大,當(dāng)校園網(wǎng)中網(wǎng)絡(luò)擴(kuò)展到包含了許多主機(jī)、應(yīng)用系統(tǒng)和各種網(wǎng)絡(luò)設(shè)備時(shí)，管理與安全相關(guān)的事件就變成了越來越復(fù)雜的任務(wù)。在這些運(yùn)營設(shè)備中，操作系統(tǒng)本身能夠提供一些日志管理工具，但是由于其孤立于其他組網(wǎng)設(shè)

2、施，對運(yùn)營管理并不能提供所需的綜合信息，此外操作系統(tǒng)本身的日志管理工具也無法提供對關(guān)鍵業(yè)務(wù)應(yīng)用的審計(jì)功能，而更多的其他組網(wǎng)設(shè)備，如路由器、交換機(jī)、防火墻等，很少提供日志管理工具。對于目前越來越復(fù)雜的網(wǎng)絡(luò)環(huán)境，日志管理的問題越來越嚴(yán)重[1]：首先，日志凌亂的散落在網(wǎng)絡(luò)中各個(gè)設(shè)備上，發(fā)生在網(wǎng)絡(luò)不同部分的安全事件無法關(guān)聯(lián)起來；隨著網(wǎng)絡(luò)攻擊技術(shù)的不斷發(fā)展，系統(tǒng)本地的日志非常容易被篡改用來消除各種非法入侵行為痕跡；隨著時(shí)間和容量的變化，日志數(shù)據(jù)常常會被自動刪除或者覆蓋，無法通過長期的日志數(shù)據(jù)挖掘形成用戶行為統(tǒng)計(jì)；發(fā)生在網(wǎng)絡(luò)防御設(shè)備，諸如IDS、防火墻等在遭遇攻擊時(shí)會產(chǎn)生海量日志數(shù)據(jù)，以至于無法發(fā)現(xiàn)重要

3、的安全事件。因此，在復(fù)雜的校園網(wǎng)絡(luò)環(huán)境中，開發(fā)和部署一個(gè)能夠?qū)悩?gòu)的網(wǎng)絡(luò)中不同的組網(wǎng)設(shè)備以及業(yè)務(wù)應(yīng)用系統(tǒng)的日志信息統(tǒng)一采集和分析的系統(tǒng)，就能夠使網(wǎng)絡(luò)管理員比較方便、容易地將運(yùn)營系統(tǒng)各個(gè)環(huán)節(jié)的相關(guān)日志數(shù)據(jù)和安全性有效關(guān)聯(lián)起來，快速發(fā)現(xiàn)網(wǎng)絡(luò)的異常行為，為管理員提供一種快速評價(jià)網(wǎng)絡(luò)安全運(yùn)行狀態(tài)的工具。2．系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)網(wǎng)絡(luò)日志集中采集與分析系統(tǒng)能夠有效地收集和分析來自異構(gòu)服務(wù)器、不同供應(yīng)商提供的網(wǎng)絡(luò)設(shè)備、不同的業(yè)務(wù)系統(tǒng)等的安全日志數(shù)據(jù)，并對采集到的日志進(jìn)行分析、匯總和報(bào)警，使網(wǎng)絡(luò)管理員能夠有效識別網(wǎng)絡(luò)環(huán)境中潛在的異常行為。2.1系統(tǒng)總體結(jié)構(gòu)網(wǎng)絡(luò)日志集中采集與分析系統(tǒng)具有四個(gè)功能模塊（如圖1所示）。

4、分別是：日志對象管理模塊，日志數(shù)據(jù)集中采集處理模塊，負(fù)責(zé)采集網(wǎng)絡(luò)設(shè)備和系統(tǒng)的日志數(shù)據(jù)并對數(shù)據(jù)進(jìn)行簡單歸類處理；日志數(shù)據(jù)存儲模塊，負(fù)責(zé)將日志數(shù)據(jù)采集模塊獲取到的數(shù)據(jù)進(jìn)行分類并以文本數(shù)據(jù)形式存儲到指定位置中，實(shí)現(xiàn)數(shù)據(jù)的集中存儲；日志數(shù)據(jù)分析和報(bào)警模塊，實(shí)現(xiàn)對存儲的日志數(shù)據(jù)進(jìn)行各種類型的統(tǒng)計(jì)分析，幫助網(wǎng)絡(luò)管理員高效地從海量的日志數(shù)據(jù)中提取和挖掘關(guān)鍵安全事件，將結(jié)果呈現(xiàn)給網(wǎng)絡(luò)管理人員，明顯地提高對惡意侵襲的監(jiān)控和防范能力。圖1:系統(tǒng)總體結(jié)構(gòu)示意圖2.2主要功能模塊介紹2.2.1日志對象管理模塊該模塊主要實(shí)現(xiàn)對需要采集分析的日志對象進(jìn)行數(shù)據(jù)庫化管理和配置。系統(tǒng)以MySQL為后臺數(shù)據(jù)庫，通過配置界面實(shí)現(xiàn)

5、對日志采集分析對象的增加、刪除、修改操作，該數(shù)據(jù)庫表結(jié)構(gòu)包含日志采集分析對象的IP地址，設(shè)備名稱，日志采集代理類型，設(shè)備日志采集狀態(tài)等。2.2.2日志數(shù)據(jù)采集模塊根據(jù)系統(tǒng)設(shè)計(jì)功能，該模塊能夠自動收集來自于網(wǎng)絡(luò)環(huán)境中各種設(shè)備(Windows、Linux等操作系統(tǒng)，IDS、防火墻、路由器等網(wǎng)絡(luò)設(shè)備)的日志數(shù)據(jù)，并將采集到的日志數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲模塊進(jìn)行集中存儲。網(wǎng)絡(luò)管理中常用來采集日志數(shù)據(jù)的方式包括文本方式采集、SNMPTrap方式采集和syslog方[2]式采集，考慮到各種采集方式的特性和系統(tǒng)的通用性，本系統(tǒng)選用以syslog方式采集日志數(shù)據(jù)。日志數(shù)據(jù)采集模塊采用客戶端/服務(wù)器架構(gòu)[3]。在系

6、統(tǒng)實(shí)現(xiàn)中，采用運(yùn)行在日志采集服務(wù)器端的Rsyslog作為日志數(shù)據(jù)采集服務(wù)程序，Rsyslog是一個(gè)syslogd的多線程增強(qiáng)版，可以實(shí)現(xiàn)包括對輸出的文件進(jìn)行自動壓縮和支持多個(gè)TCP偵聽以及性能方面的提升。而客戶端根據(jù)對象不同選用不同的開源軟件，例如常規(guī)網(wǎng)絡(luò)設(shè)備和Linux客戶端使用syslog，Windows客戶端則采用第三方的軟件（evtsys）來將windows的日志轉(zhuǎn)換成syslog類型的日志后，發(fā)送給syslog服務(wù)器。客戶端的設(shè)置[4]（X.X.X.X代表日志服務(wù)器的IP地址）：1)Linux客戶端（使用Syslog）：編輯/etc/syslog.conf，加入“*.*@X.X.X

7、.X”。2)Linux客戶端（使用syslog-ng），編輯/etc/syslog-ng.conf,加入“destinationlog_server{udp("X.X.X.X"port(514));}”。2.2.3日志數(shù)據(jù)集中存儲模塊日志數(shù)據(jù)集中存儲模塊實(shí)現(xiàn)將日志采集模塊獲取到的日志數(shù)據(jù)按照日志獲取對象名稱、日志類型以及時(shí)間進(jìn)行分類歸檔并存儲，同時(shí)，由于日志文件以文本形式進(jìn)行存放，考慮到日志文件自身的可壓縮性