沈浩老師-大數(shù)據(jù)時代.pdf

《沈浩老師-大數(shù)據(jù)時代.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、演講人：沈浩博士中國傳媒大學(xué)新聞學(xué)院教授中國傳媒大學(xué)調(diào)查統(tǒng)計研究所所長中國傳媒大學(xué)數(shù)據(jù)挖掘研發(fā)中心主任大數(shù)據(jù)時代發(fā)現(xiàn)數(shù)據(jù)應(yīng)用之美——數(shù)據(jù)科學(xué)、網(wǎng)絡(luò)科學(xué)、空間地理、可視化大數(shù)據(jù)時代這是一個令人興奮的時代，也是一個大數(shù)據(jù)的時代，數(shù)據(jù)科學(xué)讓我們越來越多地從數(shù)據(jù)中觀察到人類社會的復(fù)雜行為模式。以數(shù)據(jù)為基礎(chǔ)的技術(shù)決定著人類的未來，但并非是數(shù)據(jù)本身改變了我們的世界，起決定作用的是我們對可用知識的增加?！侗┌l(fā)》正是讓我們思考如何從大數(shù)據(jù)中塑造未來美好世界的正能量。1WhatisBigData?2大數(shù)據(jù)時代AccordingtoWikipedia:BigDataisdefinedas“datasetswho

2、sesizeisbeyondtheabilityofcommonlyusedsoftwaretoolstocapture,manage,andprocessthedatawithinatolerableelapsedtime”大數(shù)據(jù)時代的數(shù)據(jù)量3VolumeVelocity4Variety4V說法?Annualdatacreationinzettabytes(10007bytes)?90%oftheworld’sdatacreatedinthelast2years5大數(shù)據(jù)冰山一角BigData——多帶來不同！1）數(shù)據(jù)來自商業(yè)自動化2）海量記錄g、t、p級3）數(shù)據(jù)維度和字典復(fù)雜4）數(shù)據(jù)呈現(xiàn)時間

3、維度和序列增長5）商業(yè)屬性特征向關(guān)系數(shù)據(jù)轉(zhuǎn)換6）數(shù)據(jù)更新實(shí)時，要求運(yùn)算快速7）支持實(shí)時和在線分析發(fā)現(xiàn)知識的過程！8）數(shù)據(jù)非結(jié)構(gòu)化、半結(jié)構(gòu)化特征明顯9）公開易獲得6一種簡約表達(dá)BigData——IT與數(shù)據(jù)庫架構(gòu)！BigData——大數(shù)據(jù)挖掘！72014年商業(yè)智能領(lǐng)域的十大趨勢數(shù)據(jù)科學(xué)家不復(fù)存在云計算商業(yè)智能成為主流大數(shù)據(jù)終于進(jìn)入云端靈活的商業(yè)智能擴(kuò)大其領(lǐng)導(dǎo)地位預(yù)測性分析嵌入式商業(yè)智能開始興起敘述故事成為一項優(yōu)先事務(wù)移動商業(yè)智能成為主要體驗(yàn)各組織開始認(rèn)真地分析社交數(shù)據(jù)NoSQL成為新的Hadoop多帶來不同…全媒時代信息就是選擇8公開數(shù)據(jù)洞察…非結(jié)構(gòu)化數(shù)據(jù)…9可算計個人…可預(yù)知社會…越來越個性化

4、，意味著越來越社會化統(tǒng)計分析商業(yè)智能數(shù)據(jù)挖掘自然語言處理意見挖掘文本挖掘LBS情感分析數(shù)據(jù)可視化和二維碼NLP語義分析個性化推薦內(nèi)存計算10三大社會科學(xué)理論1.突變理論（catastrophetheory）為人們理解微小作用導(dǎo)致社會突然變化的機(jī)理開拓了道路。2.混沌理論（Chaostheory）復(fù)雜而不斷變化的系統(tǒng)，即使其初始狀態(tài)是詳盡了解的，也會迅速進(jìn)入無法精確預(yù)知的狀態(tài)。3.復(fù)雜性理論（Complexitytheory）在大量元體（agent）各自按照不多的幾條簡單規(guī)則相互作用時，如何從中產(chǎn)生出秩序與穩(wěn)定。數(shù)據(jù)科學(xué)、網(wǎng)絡(luò)科學(xué)、空間地理、可視化11數(shù)據(jù)挖掘、網(wǎng)絡(luò)分析、文本挖掘社會計算聚類與

5、相關(guān)微博抓取文本存儲結(jié)構(gòu)詞性抽取NLP分詞技術(shù)語料庫可視化社會計算自動分類技術(shù)社會網(wǎng)絡(luò)XML預(yù)測與判斷詞云分析去高頻詞規(guī)則與模型復(fù)雜網(wǎng)絡(luò)12洞察力——Insight數(shù)據(jù)挖掘的價值DataMiningTimes麻省理工學(xué)院時代雜志預(yù)測：科技評論預(yù)測:DataMining將未來會改變世界的是21世紀(jì)最熱門十大新興科技中DataMining名五大新興行業(yè)。列前矛。13多帶來不同！?三年前在google搜索，鍵入「DataMining」，可找到1,260,000項查詢結(jié)果?一年前在google搜索，鍵入「DataMining」，可找到4,320,000項查詢結(jié)果?今天在google搜索，鍵入「Dat

6、aMining」，可找到8,710,000項查詢結(jié)果線性思維14創(chuàng)新擴(kuò)散曲線1?Ln???0營銷理論4P——4C——4R客戶打分模型客戶交叉銷售客戶流失模型客戶增量銷售客戶價值模型個性化推薦模型客戶信用模型預(yù)測模型客戶欺詐模型客戶圈模型客戶忠誠模型銷售自動化15構(gòu)想未來的工具????????Time越重大事情越很少發(fā)生——冪律分布??=???16商業(yè)智能——經(jīng)營分析從定性到定量，從屬性到關(guān)系今天關(guān)注：數(shù)據(jù)Data社會影響SocialResearch數(shù)據(jù)科學(xué)、網(wǎng)絡(luò)科學(xué)信息空間地理科學(xué)、可視化技術(shù)Information傳播Communication知識Knowledge17經(jīng)營分析的層次分析報告

7、給你后見之明ReportExcelhindsight統(tǒng)計分析給你先機(jī)Stat.SPSSforesight數(shù)據(jù)挖掘給你洞察力DMClementineinsight數(shù)據(jù)——洞察力數(shù)據(jù)并不是人們最終需要的東西，他們需要的是信息，是對未來發(fā)展的洞察能力。18主動發(fā)布信息挖挖雙色球彩票交易數(shù)據(jù)集原始數(shù)據(jù)集19挖挖雙色球彩票分析數(shù)據(jù)集駭客帝國——矩陣矩陣就是信息20社會網(wǎng)絡(luò)分析關(guān)系的2D呈現(xiàn)關(guān)系——DNA關(guān)系的3D呈現(xiàn)2