網(wǎng)絡(luò)大數(shù)據(jù)現(xiàn)狀與展望

《網(wǎng)絡(luò)大數(shù)據(jù)現(xiàn)狀與展望》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望1引言1.1研究與發(fā)展現(xiàn)狀近年來(lái)，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、三網(wǎng)融合等IT與通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)的快速增長(zhǎng)成了許多行業(yè)共同而對(duì)的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇，因而信息社會(huì)己經(jīng)進(jìn)入了大數(shù)據(jù)(higData)時(shí)代.大數(shù)據(jù)的涌現(xiàn)不僅改變著人們的生活與工作方式、企業(yè)的運(yùn)作模式，甚至還引起科學(xué)研究模式的根本性改變.一般意義上，大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)機(jī)器和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合川.網(wǎng)絡(luò)大數(shù)據(jù)是指“人、機(jī)、物”三元世界在網(wǎng)絡(luò)空間(Cyberspace)中彼此交互與融合所產(chǎn)生并在互聯(lián)

2、網(wǎng)上可獲得的大數(shù)據(jù)，簡(jiǎn)稱(chēng)網(wǎng)絡(luò)數(shù)據(jù).當(dāng)前，網(wǎng)絡(luò)大數(shù)據(jù)在規(guī)模與復(fù)雜度上的快速增長(zhǎng)對(duì)現(xiàn)有IT架構(gòu)的處理和計(jì)算能力提出了挑戰(zhàn).據(jù)著名咨詢公司IDC發(fā)布的研究報(bào)告，2011年網(wǎng)絡(luò)大數(shù)據(jù)總量為1.8ZB，預(yù)計(jì)到2020年，總量將達(dá)到35ZB.IBM將大數(shù)據(jù)的特點(diǎn)總結(jié)為3個(gè)V，即大量化(Volume)、多樣化(Variety)和快速化(Velocity).首先，網(wǎng)絡(luò)空間中數(shù)據(jù)的體量不斷擴(kuò)大，數(shù)據(jù)集合的規(guī)模己經(jīng)從UB}TB到了PB，而網(wǎng)絡(luò)大數(shù)據(jù)甚至以EB和ZB(10z1)等單位來(lái)計(jì)數(shù).IDC的研究報(bào)告稱(chēng)，未來(lái)十年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)

3、倉(cāng)庫(kù)的服務(wù)器的數(shù)量將增加10倍以迎合50倍的大數(shù)據(jù)增長(zhǎng).其次，網(wǎng)絡(luò)大數(shù)據(jù)類(lèi)型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù).在現(xiàn)代互聯(lián)網(wǎng)應(yīng)用中，呈現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長(zhǎng)的特點(diǎn)，至2012年末非結(jié)構(gòu)化數(shù)據(jù)占有比例達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上.這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新技術(shù)的不斷涌現(xiàn)和應(yīng)用.再次，網(wǎng)絡(luò)大數(shù)據(jù)往往呈現(xiàn)出突發(fā)涌現(xiàn)等非線}h}狀態(tài)演變現(xiàn)象，因此難以對(duì)其變化進(jìn)行有效評(píng)估和預(yù)測(cè).另一方而，網(wǎng)絡(luò)大數(shù)據(jù)常常以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時(shí)效性，用戶只有把握好對(duì)數(shù)據(jù)流的掌控才能

4、充分利用這些數(shù)據(jù).近幾年，網(wǎng)絡(luò)大數(shù)據(jù)越來(lái)越顯示出巨大的影響作用，正在改變著人們的工作與生活.2012年11月《時(shí)代》雜志撰文指出奧巴馬總統(tǒng)連任成功背后的秘密，其中的關(guān)鍵是對(duì)過(guò)去兩年來(lái)相關(guān)網(wǎng)絡(luò)數(shù)據(jù)的搜集、分析和挖掘②.目前，eBay的分析平臺(tái)每天處理的數(shù)據(jù)量高達(dá)100PB，超過(guò)了納斯達(dá)克交易所每天的數(shù)據(jù)處理量.為了準(zhǔn)確分析用戶的購(gòu)物行為，eBay定義了超過(guò)500種類(lèi)型的數(shù)據(jù)，對(duì)顧客的行為進(jìn)行跟蹤分析③.2012年的雙十一，中國(guó)互聯(lián)網(wǎng)再次發(fā)生了最大規(guī)模的商業(yè)活動(dòng):淘寶系網(wǎng)站的銷(xiāo)售總額達(dá)到191億元人民幣.淘寶之所以能應(yīng)對(duì)如此巨大的交

5、易量和超高并發(fā)性的分析需求，得益于其對(duì)往年的情況，特別是用戶的消費(fèi)習(xí)慣、搜索習(xí)慣以及瀏覽習(xí)慣等數(shù)據(jù)所進(jìn)行的綜合分析.網(wǎng)絡(luò)大數(shù)據(jù)給學(xué)術(shù)界也同樣帶來(lái)了巨大的挑戰(zhàn)和機(jī)遇.網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)作為信息科學(xué)、社會(huì)科學(xué)、網(wǎng)絡(luò)科學(xué)和系統(tǒng)科學(xué)等相關(guān)領(lǐng)域交叉的新興學(xué)科方向正逐步成為學(xué)術(shù)研究的新熱點(diǎn).近年，Nature》和《Science》等刊物相繼出版專(zhuān)刊來(lái)探討對(duì)大數(shù)據(jù)的研究.2008年《Nature》出版的專(zhuān)刊“BigData"，從互聯(lián)網(wǎng)技術(shù)、網(wǎng)絡(luò)經(jīng)濟(jì)學(xué)、超級(jí)計(jì)算、環(huán)境科學(xué)和生物醫(yī)藥等多個(gè)方而介紹了海量數(shù)據(jù)帶來(lái)的眺戰(zhàn)叫.2011年《Science

6、》推出關(guān)于數(shù)據(jù)處理的專(zhuān)刊`DealingwithData"，討論了數(shù)據(jù)洪流(DataDeluge)所帶來(lái)的機(jī)遇川.特別指出，倘若能夠更有效地組織和使用這些數(shù)據(jù)，人們將得到更多的機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展的巨大推動(dòng)作用.1.2網(wǎng)絡(luò)大數(shù)據(jù)研究的意義總體而言，網(wǎng)絡(luò)大數(shù)據(jù)研究的重要性體現(xiàn)在以下幾個(gè)方而:(1)網(wǎng)絡(luò)大數(shù)據(jù)的研究對(duì)捍衛(wèi)國(guó)家網(wǎng)絡(luò)空間的數(shù)字主權(quán)，維護(hù)社會(huì)穩(wěn)定，推動(dòng)社會(huì)與經(jīng)濟(jì)可持續(xù)發(fā)展有著獨(dú)特的作用.信息化時(shí)代，國(guó)家層而的競(jìng)爭(zhēng)力將部分體現(xiàn)為一國(guó)擁有網(wǎng)絡(luò)大數(shù)據(jù)的規(guī)模、活性以及對(duì)數(shù)據(jù)的解釋與運(yùn)用的能力.國(guó)家在網(wǎng)絡(luò)空間的數(shù)字主權(quán)也將是繼

7、海、陸、空、天四空間之后另一個(gè)大國(guó)博弈的空間.在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域的落后，意味著失守產(chǎn)業(yè)戰(zhàn)略制高點(diǎn)，意味著國(guó)家安全將在網(wǎng)絡(luò)空間出現(xiàn)漏洞.為此，今年3月，美國(guó)政府整合6個(gè)部門(mén)投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”.在該計(jì)劃中，美國(guó)國(guó)家科學(xué)基金會(huì)提出要“形成一個(gè)包括數(shù)學(xué)、統(tǒng)計(jì)基礎(chǔ)和計(jì)算機(jī)算法的獨(dú)特學(xué)科”.該計(jì)劃還強(qiáng)調(diào)，大數(shù)據(jù)技術(shù)事關(guān)美國(guó)的國(guó)家安全，影響科學(xué)研究的步伐，還將引發(fā)教育和學(xué)習(xí)的變革.這意味著網(wǎng)絡(luò)大數(shù)據(jù)的主權(quán)己上升為國(guó)家意志，直接影響國(guó)家和社會(huì)的穩(wěn)定，事關(guān)國(guó)家的戰(zhàn)略安全.(2)網(wǎng)絡(luò)大數(shù)據(jù)是國(guó)民經(jīng)濟(jì)核心產(chǎn)業(yè)信息化升級(jí)的重要推動(dòng)力

8、量.“人、機(jī)、物”三元世界的融合產(chǎn)生了大規(guī)模的數(shù)據(jù)，如何感知、測(cè)量、利用這些網(wǎng)絡(luò)大數(shù)據(jù)成為國(guó)民經(jīng)濟(jì)中許多行業(yè)而臨的共同難題，成為這些行業(yè)數(shù)字化、信息化的障礙和藩籬.如何使不同行業(yè)都能突破這一障礙，關(guān)鍵在于對(duì)網(wǎng)絡(luò)大數(shù)據(jù)基本共性問(wèn)題的解決.譬如，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)