面向saas應(yīng)用基于鍵值對(duì)模式的多租戶索引研究

《面向saas應(yīng)用基于鍵值對(duì)模式的多租戶索引研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、面向SaaS應(yīng)用基于鍵值對(duì)模式的多租戶索引研究面向SaaS應(yīng)用的多租戶數(shù)據(jù)庫(kù)為滿足租戶的數(shù)據(jù)隔離和按需定制的需求，需要提供支持隔離和易于定制的數(shù)據(jù)存儲(chǔ)機(jī)制及索引機(jī)制．基于鍵值對(duì)存儲(chǔ)方式，提出元數(shù)據(jù)驅(qū)動(dòng)的映射表索引模型，該模型根據(jù)租戶定制需求，為租戶業(yè)務(wù)數(shù)據(jù)形成各自的索引元數(shù)據(jù)，通過元數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)了索引數(shù)據(jù)的離及定制效果；給出索引的維護(hù)策略，根據(jù)租戶數(shù)據(jù)訪問請(qǐng)求進(jìn)行索引切片，以逐漸細(xì)化的索引切片作為數(shù)據(jù)訪問的基本單位，快速返回租戶結(jié)果集．實(shí)驗(yàn)結(jié)果表明，該方案在數(shù)據(jù)訪問分布均衡的情況下，使索引維護(hù)及數(shù)據(jù)訪問具有較好的總體性能．1引言在面向SaaS的應(yīng)用中，多租戶數(shù)據(jù)庫(kù)需要提供租

2、戶之間的數(shù)據(jù)隔離及按需定制功能，同時(shí)，還要在性能上讓用戶有比較好的體驗(yàn)．這對(duì)數(shù)據(jù)的存儲(chǔ)和索引機(jī)制提出了挑戰(zhàn)．多租戶數(shù)據(jù)庫(kù)突破了傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)、對(duì)象數(shù)據(jù)庫(kù)的定義，也不同于Hbase這樣面向非結(jié)構(gòu)化數(shù)據(jù)搜索工作的分布式數(shù)據(jù)庫(kù)系統(tǒng)．多租戶數(shù)據(jù)庫(kù)存儲(chǔ)已經(jīng)成為熱點(diǎn)，但是索引方面的研究還比較少，目前只有salesforce給出了稀疏表模式下的數(shù)據(jù)透視表索引以及云數(shù)據(jù)管理基于HBase存儲(chǔ)的多維索引等．稀疏表方式在支持租戶定制方面受DBMS的限制，而HBase存儲(chǔ)主要面向非結(jié)構(gòu)化數(shù)據(jù)處理．本文的研究背景為CRM、HR等系統(tǒng)，以結(jié)構(gòu)化數(shù)據(jù)為主．綜合國(guó)內(nèi)外研究成果，本文采取了鍵值對(duì)模式的存

3、儲(chǔ)方式，該存儲(chǔ)方式能完美地支持租戶定制及數(shù)據(jù)隔離，并且非常適合于描述結(jié)構(gòu)化數(shù)據(jù)，面對(duì)成千上萬(wàn)的租戶，如何實(shí)現(xiàn)索引的定制及索引數(shù)據(jù)的隔離存儲(chǔ)都成了需要解決的問題．在現(xiàn)階段，面向SaaS應(yīng)用的多租戶數(shù)據(jù)管理已經(jīng)成為國(guó)內(nèi)外研究的熱點(diǎn)．文獻(xiàn)[1—2]針對(duì)數(shù)據(jù)安全性、數(shù)據(jù)可擴(kuò)展性等方面提出并分析了一些設(shè)計(jì)模式；文獻(xiàn)[3]提出了SaaS應(yīng)用的體系架構(gòu)，然后提出了基于SaaS模式的企業(yè)公共服務(wù)平臺(tái)的3個(gè)緊密相連的模型——多用戶數(shù)據(jù)模型、元數(shù)據(jù)管理模型和安全服務(wù)模型；文獻(xiàn)[4]探討了數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用在云數(shù)據(jù)中改進(jìn)索引模式以減少無效處理時(shí)間，提高命中率；文獻(xiàn)[5]探討了多租戶數(shù)據(jù)層如何支持多租戶

4、服務(wù)計(jì)算；文獻(xiàn)E6]提出了折疊表方式，并對(duì)各種數(shù)據(jù)管理方式得出了較詳細(xì)的性能數(shù)據(jù)文獻(xiàn)；文獻(xiàn)[7]采用了預(yù)定義字段機(jī)制支持?jǐn)U展，在查詢方面提出了元數(shù)據(jù)驅(qū)動(dòng)、外部搜索引擎、次優(yōu)搜索機(jī)制等理念；文獻(xiàn)[8]提出了如何使用XML來支持?jǐn)?shù)據(jù)定制及驅(qū)動(dòng)ECA模型；文獻(xiàn)[9]更是在2009年的SIGMOD上討論了目前主要的集中多租戶數(shù)據(jù)管理方式，包括稀疏表、擴(kuò)展表、XML、鍵值對(duì)等．該文獻(xiàn)經(jīng)過全面地論證和分析后認(rèn)為，理想的多租戶數(shù)據(jù)庫(kù)尚未出現(xiàn)，還有很多的問題需要研究，本文主要探討了索引方面的關(guān)鍵技術(shù)．傳統(tǒng)的索引方式，在多租戶數(shù)據(jù)庫(kù)模式下，可以按照objectID、columnNAME及va

5、lue建立復(fù)合索引，針對(duì)key_search這種模式，可以迅速定位到某些屬性，并且重組成一個(gè)元組；對(duì)于key_search的范圍查詢，通過key定位到某個(gè)元組，它需要大量的連接才能反回結(jié)果集，存在性能問題；對(duì)于復(fù)合索引里邊的次關(guān)鍵字的查詢，如果想快速查詢，就必須再次創(chuàng)建復(fù)合索引，但存儲(chǔ)空間巨大，否則查詢性能嚴(yán)重不足．Column_store是面向數(shù)據(jù)倉(cāng)庫(kù)的，基本上是以讀為主的應(yīng)用．?dāng)?shù)據(jù)倉(cāng)庫(kù)有著特殊的背景，它由維度和事實(shí)構(gòu)成，維度通常數(shù)量有限，維度的組合雖然多，但是最終形成的方體為稀疏型的．在這種前提下，monetDB數(shù)據(jù)庫(kù)中提出了cracking的策略，在查詢的時(shí)候，建立查

6、詢列的副本，并按照avl樹的思想基于每次查詢動(dòng)態(tài)調(diào)整元組順序，這是查詢驅(qū)動(dòng)的思想．對(duì)于以事務(wù)處理為主的多租戶應(yīng)用，每次更新都要及時(shí)地反應(yīng)出來，這種查詢驅(qū)動(dòng)的方式存在著明顯的缺陷．本文更多地關(guān)注了數(shù)據(jù)庫(kù)更新時(shí)的索引維護(hù)策略．Hbase是一個(gè)類似Bigtable的分布式數(shù)據(jù)庫(kù)，大部分特性和Bigtable一樣，是一個(gè)稀疏的、長(zhǎng)期存儲(chǔ)的、多維度的、排序的映射表．這張表的索引是行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳．每個(gè)值是一個(gè)不解釋的字符數(shù)組，數(shù)據(jù)都是字符串，不支持?jǐn)?shù)據(jù)類型．同一個(gè)關(guān)系里面的每一行數(shù)據(jù)都可以有截然不同的屬性，為動(dòng)態(tài)定制屬性提供了一種手段．Hbase存在的問題有兩點(diǎn)，首先Hba

7、se不是多租戶的，沒有提供隔離機(jī)制；其次，Hbase面向的是非結(jié)構(gòu)化數(shù)據(jù)，每個(gè)值是一個(gè)不解釋的字符數(shù)組，擅長(zhǎng)于關(guān)鍵字搜索，它不可能提供基于某個(gè)屬性組的索引，而結(jié)構(gòu)化數(shù)據(jù)事務(wù)處理需要確切的解釋每個(gè)屬性的含義并對(duì)其進(jìn)行維護(hù)．本文更多地討論了結(jié)構(gòu)化數(shù)據(jù)的索引機(jī)制．稀疏表方式建立了數(shù)據(jù)透視表作為索引，比較有代表性的Salesforce就采取了這種方式．這種索引方式解決了索引列數(shù)據(jù)對(duì)象同質(zhì)的問題，但是他并沒有深入探討透視表與稀疏表的數(shù)據(jù)同步問題，也無法解決透視表數(shù)量暴漲的問題．本文基于鍵值對(duì)存儲(chǔ)模式，分析了現(xiàn)有索引的局限性，