基于 ElasticSearch 的元數(shù)據(jù)搜索與共享平臺-論文.pdf

《基于 ElasticSearch 的元數(shù)據(jù)搜索與共享平臺-論文.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、計(jì)算機(jī)與現(xiàn)代化2015年第2期JISUANjIYUXIANDAIHUA第234期文章編號：1006—2475(2015)02-0117-05基于ElasticSearch的元數(shù)據(jù)搜索與共享平臺姜康，馮鈞，唐志賢，王超(河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇南京211lOO)摘要：隨著水利行業(yè)信息化的發(fā)展，針對海量、多源、異構(gòu)數(shù)據(jù)的共享與發(fā)現(xiàn)成為行業(yè)研究的熱點(diǎn)。本文設(shè)計(jì)與實(shí)現(xiàn)一種基于ElasticSearch的水利元數(shù)據(jù)搜索與共享平臺，提出針對水利異構(gòu)數(shù)據(jù)的解決方案并對海量數(shù)據(jù)建立索引，利用多租戶訪問控制

2、策略，保證用戶索引數(shù)據(jù)的一致性與安全性。通過Rest服務(wù)對索引資源進(jìn)行封裝，提供搜索與多粒度的共享方式。應(yīng)用表明，平臺能夠保證用戶準(zhǔn)確高效地獲得水利行業(yè)數(shù)據(jù)，節(jié)約了水利單位構(gòu)建搜索系統(tǒng)的成本。關(guān)鍵詞：元數(shù)據(jù)檢索；多租戶訪問控制；分布式；RESTful服務(wù)；異構(gòu)數(shù)據(jù)中圖分類號：TP311文獻(xiàn)標(biāo)識碼：Adoi：10．3969／j．issn．1006-2475．2015．02．026AWaterConservancyMetadataSearchingandSharingPlatformBasedonE

3、lasticSearchJIANGKang，F(xiàn)ENGJun，TANGZhi—xian，WANGChao(CollegeofComputerandInformation，HohaiUniversity，Nanjing211100，China)Abstract：Withthedevelopmentofwaterconservancyindustryinformatization，themassive，multi—sourceandheterogeneousdatasharinganddiscover

4、ybecomeahotresearcharea．Thispaperpresentsthedesignandimplementationofametadatasearchplat—fo1"111basedonElasticSearch．putsforwardasolutionofwaterconservancyheterogeneousdataandbuildstheindexonmassiveda．ta．Themulti—tenantaccesscontrolpolicyisusedtoensu

5、retheconsistencyandsecurityofuserdata．TheRestserviceencapsu—lateindextoprovidesearchingandmuhi—granularitysharing．Applicationshowsthattheplatformcanensureusersaccuratelyandefficientlytoobtainthewaterconservancyindustrydata，savethewaterconservancycons

6、tructioncostofunitsearchsystem．Keywords：metadatasearch；multi—tenantaccesscontrolmodel；distributed；RESTfulservice；heterogeneousdata目錄服務(wù)系統(tǒng)已經(jīng)無法滿足海量、高并發(fā)的訪問請0引言求。因此，建立水利數(shù)據(jù)的搜索與共享的云平臺，對隨著物聯(lián)網(wǎng)、云計(jì)算、移動互聯(lián)網(wǎng)和RS技術(shù)在海量、分散、異構(gòu)的水利數(shù)據(jù)進(jìn)行整合，提供高效的查詢水利行業(yè)中的廣泛應(yīng)用，中央、流域以及各地水利單與共享

7、方式，成為水利領(lǐng)域內(nèi)迫切需要解決的問題。位積累了大量分布異構(gòu)獨(dú)立的水利業(yè)務(wù)數(shù)據(jù)，如ElasticSearch是一個支持分布式、多租戶j、何實(shí)現(xiàn)這些數(shù)據(jù)的互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同，成Restful設(shè)計(jì)的開源搜索工具。業(yè)界針對ElasticSearch為水利信息化深入發(fā)展的迫切要求。建立水利領(lǐng)域處理海量業(yè)務(wù)數(shù)據(jù)搜索與數(shù)據(jù)集成進(jìn)行了廣泛的研的數(shù)據(jù)資源搜索與共享平臺是整合信息資源，深度利究與實(shí)踐。王占宏等人"利用ElasticSearch對公安用分散存儲數(shù)據(jù)的有效途徑。目前～些水利單位采系統(tǒng)內(nèi)部的多

8、套系統(tǒng)資源進(jìn)行整合，通過提供統(tǒng)一的用構(gòu)建水利資源目錄服務(wù)系統(tǒng)的方式來支持?jǐn)?shù)據(jù)共查詢?nèi)丝?，提高了系統(tǒng)數(shù)據(jù)檢索的處理能力與查詢效享與發(fā)現(xiàn)4。，然而各單位的目錄服務(wù)系統(tǒng)仍然存在率。JaraA．J．等人使用ElasticSearch構(gòu)建了一個相互獨(dú)立、重復(fù)建設(shè)等問題，無法形成有效的數(shù)據(jù)共彈性擴(kuò)展、易于部署、接口簡單的移動發(fā)現(xiàn)平臺，用戶享。與此同時，隨著水利數(shù)據(jù)的迅速增加，集中式的可以利用該平臺注冊與存儲物聯(lián)網(wǎng)設(shè)備生產(chǎn)的數(shù)據(jù)，收稿日期：2014—10-09基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(6137009