資源描述：
《海量浮動車數(shù)據(jù)并行處理可視化研究.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、分類號:TP27410710-2015232005專業(yè)碩士學(xué)位論文海量浮動車數(shù)據(jù)并行處理可視化研究王秉章代亮副教授導(dǎo)師姓名職稱專業(yè)學(xué)位類別申請學(xué)位類別專業(yè)碩士及領(lǐng)域名稱控制工程論文提交日期2018年4月10日論文答辯日期2018年5月25日學(xué)位授予單位長安大學(xué)ResearchonVisualizationofParallelProcessingforMassiveFloatingCarDataAThesisSubmittedfortheDegreeofMasterCandidate:WangBin
2、gzhangSupervisor:Prof.DaiLiangChang’anUniversity,Xi’an,China摘要城市公共交通中的出租車、公交車每天都會產(chǎn)生大量軌跡數(shù)據(jù)，面對這些海量數(shù)據(jù)，由于傳統(tǒng)的單節(jié)點(diǎn)計算系統(tǒng)的處理能力有限，基于并行計算模式的大數(shù)據(jù)處理平臺應(yīng)運(yùn)而生，海量數(shù)據(jù)處理技術(shù)Hadoop支持超大數(shù)據(jù)文件，對數(shù)據(jù)采用并行處理的方式，實(shí)現(xiàn)對海量數(shù)據(jù)的處理與分析。隨著城市車輛位置信息采集技術(shù)的快速發(fā)展和應(yīng)用，浮動車位置數(shù)據(jù)成為交通狀態(tài)分析的重要數(shù)據(jù)源。出租車作為城市交通浮動車的重要組
3、成部分，在城市交通中扮演著非常重要的角色。出租車運(yùn)營公司保存大量的出租車GPS（GlobalPositioningSystem，全球定位系統(tǒng)）數(shù)據(jù)，從這些海量GPS數(shù)據(jù)中獲得有用信息是一項(xiàng)非常有意義的工作。本文使用Hadoop大數(shù)據(jù)平臺結(jié)合Esri公司推出的地理信息系統(tǒng)大數(shù)據(jù)處理模塊GIS-Tools-for-Hadoop對西安市出租車GPS數(shù)據(jù)進(jìn)行分析并挖掘出載客熱點(diǎn)區(qū)域，利用ArcGIS軟件進(jìn)行可視化展示。論文首先簡要介紹Hadoop平臺，對HDFS（HadoopDistributedFile
4、System，Hadoop分布式文件系統(tǒng)）、MapReduce（Hadoop分布式計算框架）、Hive（Hadoop數(shù)據(jù)倉庫工具）的架構(gòu)、運(yùn)行機(jī)制等進(jìn)行介紹，詳細(xì)介紹GIS-Tools-for-Hadoop模塊組成及作用，然后介紹Hadoop海量數(shù)據(jù)處理平臺搭建方法，最后進(jìn)行出租車GPS數(shù)據(jù)分析和載客熱點(diǎn)區(qū)域可視化工作。在數(shù)據(jù)分析和可視化過程中，需要地圖JSON文件和出租車GPS數(shù)據(jù)文件，配置使用Hadoop地理數(shù)據(jù)處理工具Geoprocessing-Tools-for-Hadoop獲取西安市地圖
5、JSON文件，從Oracle數(shù)據(jù)庫中獲取出租車GPS數(shù)據(jù)文件。將上述兩個數(shù)據(jù)文件上傳到HDFS中，使用EsriGeometryAPI對地圖區(qū)域進(jìn)行等網(wǎng)格劃分，將西安市劃分為多個區(qū)域塊，根據(jù)出租車GPS數(shù)據(jù)的經(jīng)緯度匹配所屬區(qū)域塊，通過兩個MapReduce作業(yè)獲得出租車載客熱點(diǎn)區(qū)域和出租車行程數(shù)量，最后使用Hadoop空間信息分析框架Spatial-Framework-for-Hadoop在Hive中進(jìn)行空間查詢，將熱點(diǎn)區(qū)域展示于ArcGIS軟件。關(guān)鍵詞：Hadoop平臺GIS-Tools-for-
6、Hadoop浮動車數(shù)據(jù)載客熱點(diǎn)iAbstractInthecitypublictransportationtaxi,thebuswillproducethemassivetrackdataeveryday,facedwiththesemassivedata,becausethetraditionalsinglenodecomputingsystem'sprocessingabilityislimited,themassivedataprocessingplatformwhichisbasedont
7、heparallelcomputationpatternemergesasaresult,themassdataprocessingtechnologyHadoopsupportstheoversizeddatafile,Thedataisprocessedandanalyzedbythewayofparallelprocessing.Withtherapiddevelopmentandapplicationofurbanvehiclelocationinformationacquisitiont
8、echnology,floatingcarpositiondatahasbecomeanimportantdatasourceoftrafficstateanalysis.Asanimportantpartofcitytrafficfloatingcar,taxiplaysaveryimportantroleincitytraffic.TaxioperatorskeepalargeamountofGlobalPositioningSystem(GPS)datafortaxis,an
