資源描述：
《網(wǎng)絡(luò)大數(shù)據(jù)現(xiàn)狀與展望》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望1引言1.1研究與發(fā)展現(xiàn)狀近年來，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、三網(wǎng)融合等IT與通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)的快速增長成了許多行業(yè)共同而對的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇，因而信息社會己經(jīng)進(jìn)入了大數(shù)據(jù)(higData)時(shí)代.大數(shù)據(jù)的涌現(xiàn)不僅改變著人們的生活與工作方式、企業(yè)的運(yùn)作模式，甚至還引起科學(xué)研究模式的根本性改變.一般意義上，大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)機(jī)器和軟硬件工具對其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合川.網(wǎng)絡(luò)大數(shù)據(jù)是指“人、機(jī)、物”三元世界在網(wǎng)絡(luò)空間(Cyberspace)中彼此交互與融合所產(chǎn)生并在互聯(lián)網(wǎng)上可獲得的大數(shù)據(jù)，簡稱網(wǎng)絡(luò)數(shù)據(jù).當(dāng)前，網(wǎng)絡(luò)大數(shù)據(jù)在規(guī)模與復(fù)雜度
2、上的快速增長對現(xiàn)有IT架構(gòu)的處理和計(jì)算能力提出了挑戰(zhàn).據(jù)著名咨詢公司IDC發(fā)布的研究報(bào)告，2011年網(wǎng)絡(luò)大數(shù)據(jù)總量為1.8ZB，預(yù)計(jì)到2020年，總量將達(dá)到35ZB.IBM將大數(shù)據(jù)的特點(diǎn)總結(jié)為3個(gè)V，即大量化(Volume)、多樣化(Variety)和快速化(Velocity).首先，網(wǎng)絡(luò)空間中數(shù)據(jù)的體量不斷擴(kuò)大，數(shù)據(jù)集合的規(guī)模己經(jīng)從UB}TB到了PB，而網(wǎng)絡(luò)大數(shù)據(jù)甚至以EB和ZB(10z1)等單位來計(jì)數(shù).IDC的研究報(bào)告稱，未來十年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉庫的服務(wù)器的數(shù)量將增加10倍以迎合50倍的大數(shù)據(jù)增長.其次，網(wǎng)絡(luò)大數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù).在
3、現(xiàn)代互聯(lián)網(wǎng)應(yīng)用中，呈現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長的特點(diǎn)，至2012年末非結(jié)構(gòu)化數(shù)據(jù)占有比例達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上.這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動計(jì)算和傳感器等新技術(shù)的不斷涌現(xiàn)和應(yīng)用.再次，網(wǎng)絡(luò)大數(shù)據(jù)往往呈現(xiàn)出突發(fā)涌現(xiàn)等非線}h}狀態(tài)演變現(xiàn)象，因此難以對其變化進(jìn)行有效評估和預(yù)測.另一方而，網(wǎng)絡(luò)大數(shù)據(jù)常常以數(shù)據(jù)流的形式動態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時(shí)效性，用戶只有把握好對數(shù)據(jù)流的掌控才能充分利用這些數(shù)據(jù).近幾年，網(wǎng)絡(luò)大數(shù)據(jù)越來越顯示出巨大的影響作用，正在改變著人們的工作與生活.2012年11月《時(shí)代》雜志撰文指出奧巴馬總統(tǒng)連任成功背后的秘密，其中的關(guān)鍵是對過去兩年來相關(guān)網(wǎng)絡(luò)數(shù)
4、據(jù)的搜集、分析和挖掘②.目前，eBay的分析平臺每天處理的數(shù)據(jù)量高達(dá)100PB，超過了納斯達(dá)克交易所每天的數(shù)據(jù)處理量.為了準(zhǔn)確分析用戶的購物行為，eBay定義了超過500種類型的數(shù)據(jù)，對顧客的行為進(jìn)行跟蹤分析③.2012年的雙十一，中國互聯(lián)網(wǎng)再次發(fā)生了最大規(guī)模的商業(yè)活動:淘寶系網(wǎng)站的銷售總額達(dá)到191億元人民幣.淘寶之所以能應(yīng)對如此巨大的交易量和超高并發(fā)性的分析需求，得益于其對往年的情況，特別是用戶的消費(fèi)習(xí)慣、搜索習(xí)慣以及瀏覽習(xí)慣等數(shù)據(jù)所進(jìn)行的綜合分析.網(wǎng)絡(luò)大數(shù)據(jù)給學(xué)術(shù)界也同樣帶來了巨大的挑戰(zhàn)和機(jī)遇.網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)作為信息科學(xué)、社會科學(xué)、網(wǎng)絡(luò)科學(xué)和系統(tǒng)科學(xué)等相關(guān)領(lǐng)域交叉的新興學(xué)科方向正逐
5、步成為學(xué)術(shù)研究的新熱點(diǎn).近年，Nature》和《Science》等刊物相繼出版?？瘉硖接憣Υ髷?shù)據(jù)的研究.2008年《Nature》出版的專刊“BigData"，從互聯(lián)網(wǎng)技術(shù)、網(wǎng)絡(luò)經(jīng)濟(jì)學(xué)、超級計(jì)算、環(huán)境科學(xué)和生物醫(yī)藥等多個(gè)方而介紹了海量數(shù)據(jù)帶來的眺戰(zhàn)叫.2011年《Science》推出關(guān)于數(shù)據(jù)處理的?？痐DealingwithData"，討論了數(shù)據(jù)洪流(DataDeluge)所帶來的機(jī)遇川.特別指出，倘若能夠更有效地組織和使用這些數(shù)據(jù)，人們將得到更多的機(jī)會發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用.1.2網(wǎng)絡(luò)大數(shù)據(jù)研究的意義總體而言，網(wǎng)絡(luò)大數(shù)據(jù)研究的重要性體現(xiàn)在以下幾個(gè)方而:(1)網(wǎng)絡(luò)大數(shù)據(jù)的研究對
6、捍衛(wèi)國家網(wǎng)絡(luò)空間的數(shù)字主權(quán)，維護(hù)社會穩(wěn)定，推動社會與經(jīng)濟(jì)可持續(xù)發(fā)展有著獨(dú)特的作用.信息化時(shí)代，國家層而的競爭力將部分體現(xiàn)為一國擁有網(wǎng)絡(luò)大數(shù)據(jù)的規(guī)模、活性以及對數(shù)據(jù)的解釋與運(yùn)用的能力.國家在網(wǎng)絡(luò)空間的數(shù)字主權(quán)也將是繼海、陸、空、天四空間之后另一個(gè)大國博弈的空間.在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域的落后，意味著失守產(chǎn)業(yè)戰(zhàn)略制高點(diǎn)，意味著國家安全將在網(wǎng)絡(luò)空間出現(xiàn)漏洞.為此，今年3月，美國政府整合6個(gè)部門投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計(jì)劃”.在該計(jì)劃中，美國國家科學(xué)基金會提出要“形成一個(gè)包括數(shù)學(xué)、統(tǒng)計(jì)基礎(chǔ)和計(jì)算機(jī)算法的獨(dú)特學(xué)科”.該計(jì)劃還強(qiáng)調(diào)，大數(shù)據(jù)技術(shù)事關(guān)美國的國家安全，影響科學(xué)研究的步伐，還將引發(fā)教育和學(xué)習(xí)的
7、變革.這意味著網(wǎng)絡(luò)大數(shù)據(jù)的主權(quán)己上升為國家意志，直接影響國家和社會的穩(wěn)定，事關(guān)國家的戰(zhàn)略安全.(2)網(wǎng)絡(luò)大數(shù)據(jù)是國民經(jīng)濟(jì)核心產(chǎn)業(yè)信息化升級的重要推動力量.“人、機(jī)、物”三元世界的融合產(chǎn)生了大規(guī)模的數(shù)據(jù)，如何感知、測量、利用這些網(wǎng)絡(luò)大數(shù)據(jù)成為國民經(jīng)濟(jì)中許多行業(yè)而臨的共同難題，成為這些行業(yè)數(shù)字化、信息化的障礙和藩籬.如何使不同行業(yè)都能突破這一障礙，關(guān)鍵在于對網(wǎng)絡(luò)大數(shù)據(jù)基本共性問題的解決.譬如，對于非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)
