日志采集器組件LogCollector的設(shè)計與實現(xiàn)

《日志采集器組件LogCollector的設(shè)計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、分類號學(xué)號M201676095學(xué)校代碼10487密級碩士學(xué)位論文日志采集器組件LogCollector的設(shè)計與實現(xiàn)學(xué)位申請人：陳志濤學(xué)科專業(yè)：軟件工程指導(dǎo)教師：覃中平教授答辯日期：2018.12.28AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofLogCollectorComponentCandidate:ChenZhitaoMajor:Sof

2、twareEngineeringSupervisor:Prof.QinZhongpingHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaDecember,2018華中科技大學(xué)碩士學(xué)位論文摘要在大數(shù)據(jù)時代中，日志數(shù)據(jù)作為海量數(shù)據(jù)的重要組成部分，它的重要性被受到更為廣大的關(guān)注。它作為一種非常重要的輸出方式，記錄著各類系統(tǒng)行為軌跡，應(yīng)用于系統(tǒng)排錯、異常追蹤、系統(tǒng)監(jiān)控、入侵檢測、應(yīng)用流量評估、應(yīng)用性能優(yōu)化和數(shù)據(jù)挖掘等方面，也成為數(shù)據(jù)分析的重要來源之一。分布式系

3、統(tǒng)的出現(xiàn)，復(fù)雜系統(tǒng)水平擴展和垂直擴展，系統(tǒng)集群化和容器化部署等技術(shù)的不斷發(fā)展，導(dǎo)致日志的海量增漲，同時也給日志的收集、存儲和分析帶來很多挑戰(zhàn)。多環(huán)境、多樣化的日志收集需求與高效收集之間的矛盾，制約著日志收集領(lǐng)域的發(fā)展。由于AparcheFlume，F(xiàn)ilebeat在日志收集上存在不少的各自劣勢，設(shè)計和實現(xiàn)一套輕量級、通用和高效的日志收集方案，至關(guān)重要。日志收集系統(tǒng)的核心是分布式日志采集器組件，部署在需要采集的集群節(jié)點的每臺機器上。本文研究的關(guān)注點是設(shè)計一個實時性、采集配置可動態(tài)變更、高可靠和可監(jiān)控的輕量級日志采集器組件Log

4、Collector，解決集群節(jié)點海量日志采集困難的問題。通過調(diào)研Docker容器，物理機下日志文件存儲原理，日志文件動態(tài)生成更新等事件觸發(fā)機制，了解日志文件生成和寫入流程。日志收集的對象主要是集群下物理機和容器機器的日志文件。通過抽象日志采集需求為日志模型，抽象日志采集為日志事件，應(yīng)用多線程技術(shù)實現(xiàn)采集，采取讀寫同步鎖技術(shù)存儲采集偏移量，基于Linux內(nèi)核inotify功能實現(xiàn)采集文件的動態(tài)監(jiān)控。日志發(fā)送依據(jù)Kafka（分布式消息隊列）提供的Producer模式，實時輸出到配置的Kafka集群上，實現(xiàn)日志收集。論文從LogC

5、ollector的目的和意義出發(fā)，依據(jù)調(diào)研的實際場景，進行需求分析，設(shè)計整套架構(gòu)，功能模塊，重點描述對功能模式的實現(xiàn)過程，評估LogCollector的功能測試結(jié)果和性能測試結(jié)果，最后總結(jié)本次研究成果。關(guān)鍵詞：大數(shù)據(jù)分布式日志收集容器文件收集日志文件采集器I華中科技大學(xué)碩士學(xué)位論文AbstractIntheeraofbigdata,logdataisanimportantpartofmassivedata,anditsimportancehasreceivedmoreandmoreattention.Asaveryimpor

6、tantoutputmethod,itrecordsvarioussystembehaviortrajectoriesandisusedinsystemtroubleshooting,abnormaltracking,systemmonitoring,intrusiondetection,applicationtrafficassessment,applicationperformanceoptimizationanddatamining,etc.Oneoftheimportantsources.Theemergenceof

7、distributedsystems,thehorizontalexpansionandverticalexpansionofcomplexsystems,thecontinuousdevelopmentoftechnologiessuchassystemclusteringandcontainerizeddeploymenthaveledtoamassiveincreaseinlogs,andalsobroughtmanychallengestothecollection,storageandanalysisoflogs.

8、Thecontradictionbetweenmulti-environment,diversifiedlogcollectionrequirementsandefficientcollectionrestrictsthedevelopmentoflogcollection.Because