資源描述：
《基于分布式的海量圖片數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、分類號(hào)TP391學(xué)校代碼10590UDC004密級(jí)公開深圳大學(xué)碩士學(xué)位論文基于分布式的海量圖片數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)劉松學(xué)位類別工程碩士專業(yè)學(xué)位專業(yè)名稱計(jì)算機(jī)技術(shù)學(xué)院（系、所）計(jì)算機(jī)與軟件學(xué)院指導(dǎo)教師陳劍勇教授原創(chuàng)性聲明本人鄭重聲明：所呈交的學(xué)位論文基于分布式的海量圖片數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的作品或成果。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本聲明
2、的法律結(jié)果由本人承擔(dān)。論文作者簽名：日期：年月日基于分布式的海量圖片數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)摘要隨著互聯(lián)網(wǎng)的迅速發(fā)展以及信息資源的豐富拓展,各行各業(yè)每天都會(huì)產(chǎn)生海量的原始數(shù)據(jù)。其中以圖片等形式出現(xiàn)的資源迅速增長，因此怎樣來管理和存儲(chǔ)這些信息資源變得越來越困難。在信息呈現(xiàn)爆炸式增長的互聯(lián)網(wǎng)時(shí)代下，傳統(tǒng)的文件存儲(chǔ)方式已不能夠滿足處理時(shí)間和儲(chǔ)存空間的要求。高性能的分布式文件系統(tǒng)則成為相關(guān)領(lǐng)域研究的熱點(diǎn)。本文在分析比較了國內(nèi)外的分布式文件存儲(chǔ)系統(tǒng)之后，選定了FastDFS作為存儲(chǔ)系統(tǒng)。FastDFS是一個(gè)開
3、源的輕量級(jí)分布式文件系統(tǒng)，它解決了大量數(shù)據(jù)存儲(chǔ)和負(fù)載均衡等問題。FastDFS的分組方式和文件命名方式的機(jī)制使得自身具有輕量級(jí)、高擴(kuò)展性和易用性等優(yōu)點(diǎn)。FastDFS是基于開源的分布式文件系統(tǒng)，本文針對(duì)企業(yè)需求量身定制了一款基于分布式的圖片數(shù)據(jù)處理系統(tǒng)。主要做了如下工作：本文的第一個(gè)工作是改進(jìn)了FastDFS分布式文件系統(tǒng)中存儲(chǔ)服務(wù)器同步機(jī)制，由原來的根據(jù)binlog定時(shí)同步更新優(yōu)化為上傳文件的同時(shí)進(jìn)行文件的同步更新。本文的第二個(gè)工作是改進(jìn)了FastDFS分布式文件系統(tǒng)的負(fù)載均衡算法，將考慮因子由總
4、存儲(chǔ)空間變成存儲(chǔ)空間利用率、連接數(shù)和性能三個(gè)因子。實(shí)驗(yàn)在三種情況下進(jìn)行，一種是僅考慮存儲(chǔ)空間利用率的情況，第二種是考慮存儲(chǔ)空間利用率和連接數(shù)的情況，第三種是考慮存儲(chǔ)空間利用率、連接數(shù)和性能的情況。通過實(shí)驗(yàn)結(jié)果對(duì)比三種情況的負(fù)載不均衡度，發(fā)現(xiàn)改進(jìn)后的負(fù)載均衡算法比原算法負(fù)載均衡效果更佳。本文的第三個(gè)工作是將FastDFS應(yīng)用于圖片數(shù)據(jù)處理系統(tǒng)中，使得系統(tǒng)對(duì)海量文件管理更加高效、有效的檢測和消除系統(tǒng)中的重復(fù)數(shù)據(jù)。文章從系統(tǒng)架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)等方面介紹了該圖片數(shù)據(jù)系統(tǒng)。通過模擬實(shí)際環(huán)境測試，該系統(tǒng)能夠很好地
5、滿足圖片數(shù)據(jù)系統(tǒng)對(duì)接受能力、并發(fā)處理能力和實(shí)時(shí)響應(yīng)能力、高擴(kuò)展能力等方面的要求。本文改進(jìn)了FastDFS的同步機(jī)制以及改進(jìn)了FastDFS的負(fù)載均衡算法，并將該分布式文件系統(tǒng)應(yīng)用于圖片數(shù)據(jù)處理系統(tǒng)中。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)單一的FastDFS文件系統(tǒng)，本文設(shè)計(jì)的一系列機(jī)制能更好的滿足企業(yè)在多需求、高應(yīng)用、易擴(kuò)展等方面的需求。I基于分布式的海量圖片數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)關(guān)鍵詞：分布式文件系統(tǒng)；FastDFS；負(fù)載均衡；同步；圖片處理IIBasedonthedistributedmassimaged
6、atastoragesystemintheresearchanddesignAbstractWiththerapiddevelopmentoftheInternetandtherichdevelopmentofinformationresources,allworksoflifewillproduceahugeamountofrawdata,especiallydatarepresentedwiththeformofpictures.Howtomanageandstoreinformationres
7、ourceisbecomingmoreandmoredifficult.UndertheInternetageinwhichinformationgrowsexplosively,thetraditionalwayoffilestorageisnotabletomeetourrequirementsinprocessingtimeandstoragespace.ThestudyofHigh-performancedistributedfilesystemisbecomingaresearchhots
8、pot.Basedontheanalysisandcomparisonofthedistributedfilestoragesystemathomeandabroad,FastDFSisselectedtobethestoragesysteminthisthesis.FastDFSisanopensourcelightweightdistributedfilesystem,whichcansolvetheproblemssuchasdatastorageandload
