基于學(xué)習(xí)的分布式局部敏感哈希算法研究

《基于學(xué)習(xí)的分布式局部敏感哈希算法研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、分類號：密級０５１１１ＵＤＣ：單位代碼？乂是洛事乂拿全日制應(yīng)用型碩±研究生學(xué)位論文基于學(xué)習(xí)的分布式局部敏感哈希算法研究劉暢指導(dǎo)教師曲雲(yún)錦教授企業(yè)導(dǎo)師馮冰高級工程師申請學(xué)位類別工程碩±工程領(lǐng)域計(jì)算機(jī)技術(shù)學(xué)位授予單位大連海事大學(xué)２０１６年６月分類號密級ＵＤＣ１０１５１單位代碼大連海事大學(xué)工程碩±學(xué)位論文基于學(xué)習(xí)的分布式局部敏感哈希算法研巧（學(xué)位論文形式；應(yīng)用研究）劉暢指導(dǎo)教師曲委続職稱教授企業(yè)導(dǎo)師馮冰職稱商級工程師學(xué)位授予單位大連海事大學(xué)申請學(xué)位

2、級別工程碩±工程領(lǐng)域計(jì)算機(jī)技術(shù)論文完成日期２０１６年６月答辯日期２０化年６月答辯委員會主席Ｌｅａｒｎ－ｌｉｔｉｎｇＢａｓｅｄＤｉｓｔｒｉｂｕｔｅｄＬｏｃａｙＳｅｎｓｉｔｉｖｅＨａｓｈｉｎｇＡ化份ｉｓＳｕｂｍｉｔｔｅｄ化ＤａｌｉａｎＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙＩｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｕｉｒｅｍｅｎｔｓｆｏｒｔｈｅｄｅｒｅｅｏｆｐｑｇＭａｓｔｅｒｏｆＥｎｉｎｅｅｒｉｎｇｇｂｙＣｈａｎＬｉｕｇＣｏｍｕｔｅｒＴｅｃｈｎｏｌｏ（ｐｇｙ）ＴｈｅｓｉｓＳｕｅｒｖｉｓｏｒｒ

3、ＰｒｏｆｅｓｓｏｒＷｅｎｕＱｕｐｙＪＴｕｎｅ２０１６大連海事大學(xué)學(xué)位論文原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)巧聲明本人鄭重聲明：本論文是在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果，撰寫＂＂成碩±學(xué)位論文基于學(xué)習(xí)的分布式局部敏感哈希算法研究。除論文中已經(jīng)注明引用的內(nèi)容外，對論文的研究做出重要貢獻(xiàn)的個人和集體，均己在文中明確方式標(biāo)明。本論文中不包含任何未加明確注明的其他個人或集體己經(jīng)公開發(fā)表或未公開發(fā)表的成果。本聲明的法律責(zé)任由本人承擔(dān)。學(xué)位論文作者簽名；學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者及指導(dǎo)教師完全了解大連海事大學(xué)有關(guān)保留、使用研究生學(xué)位論文的

4、規(guī)定，艮Ｐ：大連海事大學(xué)有權(quán)保留并向國家有關(guān)部口或機(jī)構(gòu)送交學(xué)位論文的復(fù)?。崳娂碗娮影妫试S論文被査閱和借閱。本人授權(quán)大連海事太學(xué)可Ｗ將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，也可采用影印、縮印或掃描等復(fù)制手段保存和匯編學(xué)位論文。同意將本學(xué)位論文收錄到《中國優(yōu)秀博碩±學(xué)位論文全文數(shù)據(jù)庫》（中國學(xué)術(shù)期刊（光盤版》（）電子雜志社）、《中國學(xué)位論文全文數(shù)據(jù)庫中國科學(xué)技術(shù)信息研巧所）等數(shù)據(jù)庫中，并Ｗ電子出版物形式出版發(fā)行和提供信息服務(wù)。保密的論文在解密后遵守此規(guī)定。本學(xué)位論文屬于：保密□在年解密后適用本授權(quán)書。／＂＂不保額方（請?jiān)冢咨戏娇騼?nèi)打Ｖ）論文儲簽

5、導(dǎo)師簽名：日親年０日ｔ月心中文摘要摘要隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)中充斥著各種各樣的海量高維數(shù)據(jù)，在此數(shù)據(jù)中搜索目標(biāo)數(shù)據(jù)也隨之變得耗時和低效。為解決上述問風(fēng)近似近鄰搜索的、、概念及各種算法被陸續(xù)提出，并成為機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘模式識別等多種應(yīng)用中的一類基本算法，而局部敏感哈希算法被證明是解決髙維空間近鄰捜索的最有效算法之一。在處理大數(shù)據(jù)問題上，基于ｋｅｖａｌｕｅ的分布式結(jié)構(gòu)被越來越廣泛的采用，如（ｙ，）經(jīng)典的并行編程框架ＭａｐＲｅｄｕｃｅ、ＴｗｉｔｅｒＳｔｏｒｍ和Ｓｐａｒｋ等。結(jié)合（ｋｅｙ，ｖａｌｕｅ）結(jié)構(gòu)，對經(jīng)典局部敏感哈希算法進(jìn)行分布

6、式化，是近期的研巧熱點(diǎn)。為了保證查詢精度，需要建立大量的哈希表，這無疑將占用不少內(nèi)存空間，尤其是在處理高維數(shù)據(jù)的場合。同化在分布式背景下，由于哈希桶位于不同的節(jié)庶在不同的哈希桶進(jìn)行查。詢就會產(chǎn)生多次網(wǎng)絡(luò)調(diào)用，從而導(dǎo)致大量的網(wǎng)絡(luò)傳輸為了減少內(nèi)存占用和網(wǎng)絡(luò)調(diào)度費(fèi)用，ＬａｅｒｅｄＬＳＨ給出了采用０片個哈希表的分布式局部敏感哈希方案。不過ｙ），研巧中發(fā)現(xiàn)會降低查詢的精度。一ｋｅｖａ本文嘗試設(shè)計(jì)了種將學(xué)習(xí)算法應(yīng)用在基于（ｙｌｕｅ的分布式結(jié)構(gòu)，且在該，）索引基礎(chǔ)上進(jìn)行了基于ＭａｐＲｅｄｕｃｅ的空間近鄰查詢實(shí)現(xiàn)。本文的主要工作如下：（１）ＬＢ－ＬＳＨＥｎｔｒｏＬ細(xì)的分布ｋ

7、ｖａｌｕｅ提出了查詢精度更髙的算法，改進(jìn)了ｅ型。ｐｙ式（ｙ，）模ａｅｒｅｄＬＳＨ機(jī)－巧類似于Ｌｙ制，ＬＢＬＳＨ在采用０１個哈希表的情況下保證了查詢（）精度３ａｄｏｏ－Ｌ細(xì)，大大減少了網(wǎng)絡(luò)傳輸和頻繁的Ｉ／Ｏ。（）在Ｈｐ平臺上實(shí)現(xiàn)了ＬＢ，一些哈希算法大量的實(shí)驗(yàn)結(jié)果顯示，該算法優(yōu)于當(dāng)前所采用的。＞關(guān)１１＾１ｅｄｕｃｅ！巧維＾／＾；局部￡＜８＆＃；ＭａｐＲ英文摘要ＡＢＳＴＲＡＣ