數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)及其緩存管理策略研究

《數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)及其緩存管理策略研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)及其緩存管理簸略研究摘要：最近幾年，商業(yè)智能、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的研究和應(yīng)用已引起了研究人員、開(kāi)發(fā)人員和用戶的普遍注意。它己經(jīng)成為近年來(lái)在計(jì)算機(jī)應(yīng)用領(lǐng)域中發(fā)展最為迅速的幾項(xiàng)新技術(shù)之一。隨著國(guó)內(nèi)信息化建設(shè)程度的日益提高，國(guó)內(nèi)對(duì)商業(yè)智能、數(shù)據(jù)倉(cāng)庫(kù)解決方案的需求日益迫切。目前世界上已經(jīng)出現(xiàn)了許多領(lǐng)先的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品供應(yīng)商，但是這些商業(yè)產(chǎn)品價(jià)格高昂，并不適合國(guó)內(nèi)絕大多數(shù)中小企事業(yè)單位或政府機(jī)關(guān)的使用，且由于其源碼封閉，不利于研究。與此同時(shí)，數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的開(kāi)源項(xiàng)目也得到了迅速的發(fā)展，ETL、OLAP、DataMining等方面均出現(xiàn)了一些優(yōu)秀的開(kāi)源產(chǎn)品。本文便基于開(kāi)源產(chǎn)品對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的架構(gòu)設(shè)計(jì)

2、進(jìn)行了研究。數(shù)據(jù)倉(cāng)庫(kù)有著不同于傳統(tǒng)數(shù)據(jù)庫(kù)的分析處理和超大容量的特點(diǎn)，因此，如何建立一個(gè)高性能的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)正成為當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域研究的熱點(diǎn)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的性能優(yōu)化涉及模式設(shè)計(jì)、并行處理、緩存管理等多個(gè)方面，本文主要對(duì)其中的緩存管理策略進(jìn)行了研究。本文首先介紹了數(shù)據(jù)倉(cāng)庫(kù)的概念及其相關(guān)技術(shù)，討論了數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域商業(yè)產(chǎn)品及開(kāi)源產(chǎn)品的開(kāi)發(fā)現(xiàn)狀。然后提出了一個(gè)基于多層J2EE架構(gòu)的開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，數(shù)據(jù)層為關(guān)系型數(shù)據(jù)庫(kù)MySql，數(shù)據(jù)采集基于CloverETL開(kāi)發(fā)，CILAP引擎基于Mondrian開(kāi)發(fā)，OLAP前端展現(xiàn)基于Jpivot開(kāi)發(fā)，元數(shù)據(jù)管理基于Eclilose插件MondrianSchemaE

3、ditorPlugin開(kāi)發(fā)，考慮到方案無(wú)須EJB支持，J2EE服務(wù)器采用Tomcat。本文對(duì)Mondrian、Jpivot、CloverETL等開(kāi)源工具進(jìn)行了源碼分析，分析了通用緩存管理的相關(guān)策略，重點(diǎn)分析了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)緩存管理的特點(diǎn)，實(shí)現(xiàn)了一種基于LRU替換算法的緩存管理策略，并提出了基于預(yù)先讀算法的改良方案。基于本架構(gòu)設(shè)計(jì)的杭州市勞動(dòng)力市場(chǎng)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)已成功運(yùn)行，實(shí)現(xiàn)了面向杭州市就業(yè)服務(wù)局領(lǐng)導(dǎo)及各級(jí)工作人員的決策支持和報(bào)表查詢。關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)，開(kāi)放源碼，緩存管理數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)及其緩存管理策略研究Abstract：lnrecentyears，researchandapplications

4、inBusiflessIntelligenceandDataWarehousehaveattractedmoreandmoreattentionfromresearchfeIlows，programmersandusers．1thasbecomeoneofthemostrapidly-developednewtechnologiesinthefieldofcomputerapplication。Wlththedevelopmentofthedomesticinformatizationconstruction，theneedsforDataWarehousesolutionshavebeeni

5、nadramaticriseinChina．Now，someleadingprovidersofDataWarehousesolutions，haveemerged．However,thesebusinesssolutions’priceisveryhigh．Therefore，thesesolutionsaregenerallynotagoodchoiceforthesmallormediacorporationsandgovernmentdepartments．Furthermore，theresearchonbusinessproductisnoteasywhilethisprodcut

6、a’codeisnotopen．Meanwhile，inthefieldofdatawarehouse，manyopensourceprojectshaveenjoyedarapiddevelopment．ProvidersIikeETL．OLAPandDataMininghavedoneasuccessfuljob．So．thispaperresearchtheconstructionofDataWarehousebytheopensourcesolution．TheDataWarehousesystemdifferfromthenormaIdatabasesysteminit’sanaly

7、sisabalityandhugecapacity,SO。howtoconstructaDataWarehousesystemwithhighperformanceisnowbecometheresearchhotpoint．TherearemanyfactorswhichareconcernedwiththeDataWarehousesystem，sperformance。suchaeschem