資源描述：
《基于hdfs的移動(dòng)超聲探測(cè)小文件高效存儲(chǔ)研究》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、碩士學(xué)位論文基于HDFS的移動(dòng)超聲探測(cè)小文件高效存儲(chǔ)研究作者姓名王曉明學(xué)科專(zhuān)業(yè)通信與信息系統(tǒng)指導(dǎo)教師丁泉龍教授所在學(xué)院電子與信息學(xué)院論文提交日期2015年4月ResearchOnEfficientStorageOfSmallFilesInMobileUltrasoundDetectionBasedOnHDFSADissertationSubmittedfortheDegreeofMasterCandidate：WangXiaomingSupervisor：Prof.DingQuanlongSouthChinaUniversityofTechnologyGuangz
2、hou,China分類(lèi)號(hào)：TP333學(xué)校代號(hào)：10561學(xué)號(hào)：201220108266華南理工大學(xué)碩士學(xué)位論文基于HDFS的移動(dòng)超聲探測(cè)小文件高效存儲(chǔ)研究作者姓名：王曉明指導(dǎo)教師姓名、職稱(chēng)：丁泉龍教授申請(qǐng)學(xué)位級(jí)別：工學(xué)碩士學(xué)科專(zhuān)業(yè)名稱(chēng)：通信與信息系統(tǒng)研究方向：現(xiàn)代通信理論與技術(shù)論文提交日期：2015年4月23日論文答辯日期：2015年6月2日學(xué)位授予單位：華南理工大學(xué)學(xué)位授予日期：年月日答辯委員會(huì)成員：主席：韋崗教授委員：丁泉龍教授、王一歌副教授、楊萃副教授、曹燕副教授華南理工大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的
3、研宄成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體己經(jīng)發(fā)表或撰寫(xiě)的成果作品。對(duì)本文的研宄做出重要貢獻(xiàn)的個(gè)人和集體，均己在文中以明確方式標(biāo)明。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。作者簽名：玉^_日期：及/_5年《月/〇日學(xué)位論文版權(quán)使用授權(quán)書(shū)本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，艮P:研宄生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬華南理工大學(xué)。學(xué)校有權(quán)保存并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許學(xué)位論文被查閱（除在保密期內(nèi)的保密論文外）；學(xué)校可以公布學(xué)位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它復(fù)制
4、手段保存、匯編學(xué)位論文。本人電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。本學(xué)位論文屬于：□保密，在年解密后適用本授權(quán)書(shū)。0爾保密，同意在校園網(wǎng)上發(fā)布，供校內(nèi)師生和與學(xué)校有共享協(xié)議的單位瀏覽；同意將本人學(xué)位論文提交中國(guó)學(xué)術(shù)期刊（光盤(pán)版）電子雜志社全文出版和編入CNKI《中國(guó)知識(shí)資源總庫(kù)》，傳播學(xué)位論文的全部或部分內(nèi)容。(請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打“V”）作者簽名：曰期:>c/s年(扁/?日指導(dǎo)教師簽名：曰期:作者聯(lián)系電話(huà)：電子郵涂畝：聯(lián)系地址(含郵編）：摘要移動(dòng)超聲探測(cè)在高鐵鋼軌探測(cè)、水下測(cè)繪、電力監(jiān)測(cè)等應(yīng)用中，產(chǎn)生了海量數(shù)據(jù)，存在著大量的小文件。Hadoop分布式文件系統(tǒng)（H
5、adoopDistributedFileSystem,HDFS）具有高性能、高可靠、高可擴(kuò)展特點(diǎn)，采用HDFS，可方便地構(gòu)建移動(dòng)超聲探測(cè)云存儲(chǔ)系統(tǒng)。HDFS采用主從架構(gòu)，文件的元數(shù)據(jù)信息存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)NameNode內(nèi)存中，移動(dòng)超聲探測(cè)中產(chǎn)生的大量小文件，消耗了NameNode節(jié)點(diǎn)大量?jī)?nèi)存，限制了HDFS分布式集群存儲(chǔ)容量。針對(duì)此問(wèn)題，本文設(shè)計(jì)獨(dú)立于HDFS的移動(dòng)超聲探測(cè)小文件存儲(chǔ)模塊，利用移動(dòng)超聲探測(cè)小文件的時(shí)空信息，將地理位置相近的小文件合并存儲(chǔ)到一個(gè)大文件中，并將每個(gè)小文件索引信息存儲(chǔ)于大文件頭部中。結(jié)合HBase（HadoopDatabase），存儲(chǔ)小文
6、件到大文件映射信息。采用預(yù)取緩存文件映射、索引信息及部分文件數(shù)據(jù)的機(jī)制，加快對(duì)小文件的訪(fǎng)問(wèn)效率。在小文件合并策略實(shí)現(xiàn)上，根據(jù)小文件經(jīng)緯度屬性對(duì)小文件聚類(lèi)分析，地理位置相近的文件聚在同一類(lèi)中。對(duì)于地理位置上呈現(xiàn)塊狀分布的探測(cè)文件，采用網(wǎng)格和層次聚類(lèi)算法結(jié)合進(jìn)行聚類(lèi)分析；對(duì)于移動(dòng)超聲鋼軌探測(cè)應(yīng)用中文件呈現(xiàn)軌狀分布特點(diǎn)，借鑒K近鄰算法思想，設(shè)計(jì)針對(duì)鋼軌探測(cè)文件的聚類(lèi)方案。通過(guò)實(shí)驗(yàn)測(cè)試，表明了小文件存儲(chǔ)模塊大大減少了小文件元數(shù)據(jù)對(duì)NameNode節(jié)點(diǎn)內(nèi)存的消耗，采用預(yù)取緩存機(jī)制，加快了文件訪(fǎng)問(wèn)效率。關(guān)鍵詞：移動(dòng)超聲探測(cè)小文件；HDFS；小文件存儲(chǔ)模塊；預(yù)取緩存機(jī)制；聚類(lèi)I
7、AbstractMobileultrasounddetectioninthehigh-speedraildetection,underwatermapping,powermonitoringandotherapplications,producesmassivedata,andlargenumbersofsmallfiles.Hadoopdistributedfilesystem(HDFS)showhighperformance,highreliability,highscalabilitycharacteristics.Wecaneasilybuildaclou
8、dstor
