基于spark平臺的短時交通流預(yù)測研究

《基于spark平臺的短時交通流預(yù)測研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、？，Ｓｏｕ化ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ碩±學(xué)位論文基于Ｓｐａｒｋ平臺的短時交通流預(yù)測研究作者姓名王騰輝學(xué)科專業(yè)通信與信息系統(tǒng)指導(dǎo)教師胡斌杰教授所在學(xué)院電子與信息學(xué)院論文提交日期２０１６年４月■．，ResearchoftheShort-termTrafficFlowPredictionBasedonSparkPlatformADissertationSubmittedfortheDegreeofMasterCandidate：WangTenghuiSupe

2、rvisor：Prof.HuBinjieSouthChinaUniversityofTechnologyGuangzhou,China分類號：Ｕ４％學(xué)校代號：１０５６１學(xué)號：２０１３２０１０８５８６華南理工大學(xué)碩±學(xué)位論文基于Ｓｐａ化平臺的短時交通流預(yù)測研究作者姓名：王騰輝指導(dǎo)教師姓名、職稱：胡斌杰教授申請學(xué)位級別：工學(xué)碩±學(xué)科專業(yè)名稱：通信與信息系統(tǒng)研究方向：現(xiàn)代通信理論與技術(shù)＇論文提交曰期＊：曰論文答辯曰期之口年爭月Ｉ口：么０／谷年＾月曰／《７學(xué)位授予單位：華南理工大學(xué)學(xué)位授予日期：年月日答辯委員會

3、成員：主席．楊委員：＾嫌＾抑＾華南理工大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨立進(jìn)行研究所?。崳?。得的研究成果除了文中特別加，［＾｜標(biāo)注引用的巧容外本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。對本文的研究做出重要貢獻(xiàn)的個人和集體，均已在文中明確方式標(biāo)明。本人完全意識到本聲明的法律后果由本人承擔(dān)。：作者簽名曰期：扣人年／月ｔ曰學(xué)位論文版權(quán)使用授權(quán)書目本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，Ｐ：研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬華南理

4、工大學(xué)。學(xué)校有權(quán)保存并向國家有關(guān)部口或機構(gòu)送交論文的復(fù)印件和電子版，允許學(xué)位論文被查閱（除在保密期內(nèi)的保密論文外）；學(xué)校可公布學(xué)位論文的全部文或部分內(nèi)容，可允許采用影印、縮印或其它復(fù)制手段保存、匯編學(xué)位論。本人電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。＇．．本學(xué)位論文屬于：＇□保密，在年解密后適用本授權(quán)書。不保密，同意在校園網(wǎng)上發(fā)布，供校內(nèi)師生和與學(xué)校有共享協(xié)議的單位瀏覽；同意將本人學(xué)位論文提交中國學(xué)術(shù)期刊（光盤版）電子雜志社全文■出版和編入ＣＮＫ［《中國知識資源＂總庫》，傳播學(xué)位論文的全部或部分內(nèi)容。Ｖ＂（請在

5、Ｗ上相應(yīng)方框內(nèi)打）１文作者簽名：游場＇曰期：如／緣的作９＇．指導(dǎo)教師簽名；日期如申巧抑作者聯(lián)系電話；電子郵箱：？聯(lián)系地址（含郵編）：*摘要隨著城市汽車數(shù)量的急劇增加，城市的交通擁堵問題日益嚴(yán)重，嚴(yán)重影響了人們的日常生活。實時、準(zhǔn)確的交通流預(yù)測可以為交通的管理和疏導(dǎo)提供依據(jù)，從而有效的解決城市的交通擁堵問題。交通流預(yù)測是通過對來自數(shù)據(jù)采集設(shè)備的交通流數(shù)據(jù)進(jìn)行挖掘，找到交通流變化的內(nèi)在規(guī)律，從而預(yù)測出各路段下一時刻的交通流狀況。而隨著數(shù)據(jù)采集技術(shù)的發(fā)展和數(shù)據(jù)采集設(shè)備的廣泛應(yīng)用，城市每天產(chǎn)生的交通數(shù)據(jù)量急劇增加，如何對海量的交

6、通數(shù)據(jù)進(jìn)行有效的處理、分析成為近年來的研究熱點。傳統(tǒng)的基于單臺物理機的數(shù)據(jù)處理模式，由于受到內(nèi)存、磁盤、CPU等因素的限制，無法滿足對海量數(shù)據(jù)的存儲和處理需求。為了解決單機環(huán)境在處理海量數(shù)據(jù)時處理能力的性能瓶頸，本文利用大數(shù)據(jù)計算框架在處理海量數(shù)據(jù)上的優(yōu)勢，提出了一種基于Spark分布式計算平臺的短時交通流量預(yù)測方法，該方法在保證預(yù)測精度的基礎(chǔ)上，有效的提高了算法的計算效率，增強了預(yù)測算法的實用性。本文的主要工作如下：1、利用交通流的時空特性，提出了一種基于時空關(guān)系的交通流特征向量生成方法，實驗結(jié)果表明，基于時空關(guān)系的K近鄰（KNN）預(yù)測模型的預(yù)測精度

7、明顯好于基于時間關(guān)系的KNN預(yù)測模型。2、針對單機環(huán)境下處理海量數(shù)據(jù)時存在的計算性能低、擴展性能差等問題，提出了在Spark平臺上對傳統(tǒng)KNN算法并行化實現(xiàn)的方法，該方法有效的解決了KNN算法近鄰查找過程中搜索歷史數(shù)據(jù)庫效率過低的問題，提高了KNN算法的計算效率，改善了KNN算法的實用性。3、選取美國加州PeMS系統(tǒng)的實際交通流數(shù)據(jù)作為實驗數(shù)據(jù)，以均方根誤差、加速比等作為評價指標(biāo)，在由多個節(jié)點組成的分布式集群中對交通流量進(jìn)行預(yù)測仿真，并對算法的預(yù)測精度和預(yù)測時間進(jìn)行比較。實驗結(jié)果表明，基于Spark平臺的短時交通流預(yù)測，可以在保證預(yù)測精度的前提下，滿足

8、對海量交通數(shù)據(jù)的實時處理要求，并且系統(tǒng)具有良好的擴展性和加速比。關(guān)鍵詞：短時交通流預(yù)測；海量數(shù)