資源描述：
《HDFS可視化及其在QAR數(shù)據(jù)中的應(yīng)用研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、第35卷第1期2017年2月中國(guó)民航大學(xué)學(xué)報(bào)JOURNALOFCIVILAVIATIONUNIVERSrrYOFCHINAV01．35No．1February2017HDFS可視化及其在QAR數(shù)據(jù)中的應(yīng)用研究馮興杰，吳稀鈺(中國(guó)民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津300300)摘要：Hadoop是一個(gè)由Apache基金會(huì)開發(fā)的開源的云計(jì)算基礎(chǔ)框架，主要由Hadoop分布式文件系統(tǒng)(HDFS，Hadoopdistributedfilesystem)和Map／Reduce分布式計(jì)算模型組成。其中，HDFS為海量數(shù)據(jù)提供分布式存儲(chǔ)．如何方便快捷地使用并管理HDFS成為目前亟待解決的問(wèn)題。Hadoop
2、提供了命令行接口與瀏覽器接口以訪問(wèn)HDFS，但是其瀏覽器接口的交互界面并不友好，給用戶的使用帶來(lái)了不便，因此目前用戶訪問(wèn)HDFS主要是通過(guò)命令行的方式。為了方便用戶使用并管理HDFS，在深入研究HDFS工作原理的基礎(chǔ)上，采用struts2開源架構(gòu)及JFreeChaa圖表繪制類庫(kù)設(shè)計(jì)并實(shí)現(xiàn)了HDFS可視化系統(tǒng)。利用該系統(tǒng)實(shí)現(xiàn)了對(duì)海量QAR數(shù)據(jù)文件的分布式存儲(chǔ)，提高了對(duì)QAR數(shù)據(jù)進(jìn)行并行化數(shù)據(jù)挖掘的效率。關(guān)鍵詞：HDFS；可視化；Hadoop；QAR數(shù)據(jù)文件；集群管理中圖分類號(hào)：TP311文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1674—5590(2017)01—0056—04ResearchonHDFSvis
3、ualizationanditsapplicationinQARdataFENGXin∥ie，WUXiyu(CollegeofComputerScience&Technology,CAUC,Ti嘶in300300，China)Abstract：AsanopensoftwareframeworkdevelopedbyApache，Hadoopprovidesthedistributedprocessingoflargedatasetsthatacrossclustersofcomputerbysimpleprogrammingmodels．Itisdesignedtoscaleupfromsi
4、ngleserverstothousandsofmachines，eachofferinglocalcomputationandstorage．AndnowawidevarietyofcompaniesandorganizationsuseHadoopforbothresearchandproduction．ThecoremodulesofHadoopareHDFS(Hadoopdistributedfilesystem)andMapReducedistributedprogrammingmodel．AnHDFSclusterprimarilyconsistsofaNameNodethatm
5、anagesthefilesystemmetadataandDataNodesthatstoretheactualdata．However,themanagementissuesofHDFSclusterresourceshasbecameurgent．ThereisawebpagetobrowseHDFSprovidedbyHadoop，butthisinterfaceofHDFSisnotfriendlyforusersbecausecommandlineisthemainmethodtoachieveoperationofthedocumentnow．InordertouseHDFSc
6、onveniently，usingthestruts2developframeworkandJFreeChart．thearchitectureofHDFSiSresearchedandthenanHDFSvisualizationsystemiSdesignedbasedonwebinterface．AndthedevelopmentefficiencybasedonHadoopforQARdataisimproved．Keywords：HDFS；visualization；Hadoop；QARdatafile；clustermanagement隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，大數(shù)據(jù)已經(jīng)成為IT
7、領(lǐng)域最受關(guān)注的熱點(diǎn)之一，云計(jì)算平臺(tái)無(wú)疑是處理大數(shù)據(jù)的最佳平臺(tái)。Hadoop作為開源的基礎(chǔ)分布式架構(gòu)，現(xiàn)已廣泛應(yīng)用到FaceBook、Yahoo、阿里巴巴等國(guó)內(nèi)外知名互聯(lián)網(wǎng)企業(yè)。HDFS(Hadoopdistributedfilesystem)作為Hadoop進(jìn)行分布式計(jì)算的基石，為海量數(shù)據(jù)提供分布式存儲(chǔ)111。為了方便用戶使用與管理海量數(shù)據(jù)，需要對(duì)HDFS進(jìn)行可視化。目前，對(duì)于HDFS可視化的研究不多。黃文依
