探析大數(shù)據(jù)的挑戰(zhàn)和趨勢

《探析大數(shù)據(jù)的挑戰(zhàn)和趨勢》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、探析人數(shù)據(jù)的挑戰(zhàn)和趨勢大數(shù)據(jù)挑戰(zhàn)和機(jī)遇并存，大數(shù)擁在未來兒年的發(fā)展將從前兒年的預(yù)期膨脹階段、炒作階段轉(zhuǎn)入理性發(fā)展階段、落地應(yīng)用階段，大數(shù)據(jù)在未來兒年將逐漸步入理件發(fā)展期。未來的大數(shù)據(jù)發(fā)展依然存在諸多挑戰(zhàn)，但前景依然菲常樂觀。一、大數(shù)據(jù)發(fā)展的挑戰(zhàn)目前大數(shù)據(jù)的發(fā)展依然存在諸多挑戰(zhàn)，包括七大方面的挑戰(zhàn)：業(yè)務(wù)部門沒有清晰的大數(shù)據(jù)需求導(dǎo)致數(shù)據(jù)資產(chǎn)逐漸流失；企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)匝，導(dǎo)致數(shù)據(jù)價(jià)值不能充分挖掘；數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)最差，導(dǎo)致數(shù)據(jù)無法利用;數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)落后,導(dǎo)致不具備大數(shù)據(jù)處理能力;數(shù)據(jù)安全能力和防范意識(shí)差，導(dǎo)致數(shù)據(jù)泄露；人數(shù)據(jù)人才缺乏導(dǎo)致人數(shù)據(jù)工作難以開展；人數(shù)據(jù)越開放越冇價(jià)

2、值，但缺乏人數(shù)據(jù)相關(guān)的政策法規(guī)，導(dǎo)致數(shù)據(jù)開放和隱私Z間難以平衡，也難以更好的開放。（一）業(yè)務(wù)部門沒冇清晰的人數(shù)據(jù)需求很多企業(yè)業(yè)務(wù)部門不了解人數(shù)據(jù)，也不了解人數(shù)據(jù)的應(yīng)用場景和價(jià)值，因此難以捉出大數(shù)據(jù)的準(zhǔn)確需求。由于業(yè)務(wù)部門需求不清晰，大數(shù)據(jù)部門乂是非盈利部門，企業(yè)決策層扌J!心投入比較多的成本，導(dǎo)致了很多企業(yè)在搭建大數(shù)據(jù)部門時(shí)猶豫不決，或者很多企業(yè)都處丁-觀望嘗試的態(tài)度，從根木上彩響了企業(yè)在大數(shù)據(jù)方向的發(fā)展，也阻礙了企業(yè)枳累和挖掘自身的數(shù)據(jù)資產(chǎn)，甚至山于數(shù)據(jù)沒有應(yīng)用場景，刪除很多有價(jià)值歷史數(shù)據(jù)，導(dǎo)致企業(yè)數(shù)據(jù)資產(chǎn)流失。因此，這方面需要大數(shù)據(jù)從業(yè)者和專家一起，推動(dòng)和分享大數(shù)據(jù)應(yīng)用場景，讓更

3、多的業(yè)務(wù)人員了解大數(shù)據(jù)的價(jià)值。（二）企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)重金業(yè)啟動(dòng)大數(shù)據(jù)最重要的挑戰(zhàn)是數(shù)據(jù)的碎片化。徃很多金業(yè)屮尤其是大型的企業(yè)，數(shù)據(jù)常常散落徃不同部門，而且這些數(shù)據(jù)存在不同的數(shù)據(jù)倉庫屮，不同部門的數(shù)據(jù)技術(shù)也有可能不一樣，這導(dǎo)致企業(yè)內(nèi)部自己的數(shù)據(jù)都沒法打通。如果不打通這些數(shù)據(jù)，大數(shù)據(jù)的價(jià)值則非常難挖掘。大數(shù)據(jù)需要不同數(shù)據(jù)的關(guān)聯(lián)和整合才能更好的發(fā)揮理解客戶和理解業(yè)務(wù)的優(yōu)勢。如何將不同部門的數(shù)據(jù)打通，并且實(shí)現(xiàn)技術(shù)和工具共享，才能更好的發(fā)揮企業(yè)大數(shù)據(jù)的價(jià)值。（三）數(shù)據(jù)可川性低，數(shù)據(jù)質(zhì)量差很多中型以及人型企業(yè)，每時(shí)每刻也都在產(chǎn)生人量的數(shù)據(jù)，但很多企業(yè)在人數(shù)據(jù)的預(yù)處理階段很不巫視，導(dǎo)致數(shù)據(jù)處理很

4、不規(guī)范。大數(shù)據(jù)預(yù)處理階段需要抽取數(shù)據(jù)把數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)據(jù)類型，對(duì)數(shù)據(jù)進(jìn)行清洗和去噪，以提収右效的數(shù)據(jù)等操作。其至很多企業(yè)在數(shù)據(jù)的上報(bào)就出現(xiàn)很多不規(guī)范不合理的悄況。以上種種原因，導(dǎo)致企業(yè)的數(shù)據(jù)的可用性差，數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不準(zhǔn)確。而人數(shù)據(jù)的意義不僅僅是要收集規(guī)模龐人的數(shù)據(jù)信息，還冇對(duì)收集到的數(shù)據(jù)進(jìn)行很好的預(yù)處理處理，才冇可能止數(shù)據(jù)分析和數(shù)據(jù)挖掘人員從可用性高的人數(shù)據(jù)中提取有價(jià)值的倍息。Sybase的數(shù)據(jù)農(nóng)明，高質(zhì)量的數(shù)據(jù)的數(shù)據(jù)應(yīng)用可以顯著提升企業(yè)的商業(yè)表現(xiàn)，數(shù)據(jù)可用性提高10%,企業(yè)的業(yè)績至少提升在10%以上。（四）數(shù)據(jù)和關(guān)管理技術(shù)和架構(gòu)技術(shù)架構(gòu)的挑戰(zhàn)包含以下兒方而：1.傳統(tǒng)的數(shù)據(jù)

5、庫部署不能處理TB級(jí)別的數(shù)據(jù)，快速增長的數(shù)據(jù)屋超越了傳統(tǒng)數(shù)據(jù)庫的管理能力。如何構(gòu)建分布式的數(shù)據(jù)倉庫，并可以方便擴(kuò)展大量的服務(wù)器成為很多傳統(tǒng)企業(yè)的挑戰(zhàn)；2.很多企業(yè)采用傳統(tǒng)的數(shù)據(jù)庫技術(shù)，在設(shè)計(jì)的開始就沒冇考慮數(shù)據(jù)類別的多樣性，尤其是對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的兼容；3.傳統(tǒng)企業(yè)的數(shù)據(jù)庫，對(duì)數(shù)據(jù)處理時(shí)間要求不高，這些數(shù)據(jù)的統(tǒng)計(jì)結(jié)果往往滯后一天或兩天才能統(tǒng)計(jì)出來。但犬?dāng)?shù)據(jù)需要實(shí)時(shí)處理數(shù)據(jù)，進(jìn)行分鐘級(jí)英至是秒級(jí)計(jì)算。傳統(tǒng)的數(shù)據(jù)庫架構(gòu)師缺乏實(shí)時(shí)數(shù)據(jù)處理的能力；4.海量的數(shù)據(jù)需要很好的網(wǎng)絡(luò)架構(gòu)，需要強(qiáng)人的數(shù)據(jù)小心來支掠，數(shù)據(jù)中心的運(yùn)維工作也將成為挑戰(zhàn)。如何在保證數(shù)據(jù)穩(wěn)定、支持高并發(fā)的同

6、時(shí)，減少服務(wù)器的低負(fù)載情況，成為海量數(shù)據(jù)中心運(yùn)維的一個(gè)重點(diǎn)工作。（五）數(shù)拯安全網(wǎng)絡(luò)化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會(huì)出現(xiàn)更高明的騙局。如何保證川戶的信息女全成為大數(shù)據(jù)時(shí)代非常重要的課題。在線數(shù)據(jù)越來越多，黑客犯罪的動(dòng)機(jī)比以往都來的強(qiáng)烈，一些知名網(wǎng)站密碼泄薦、系統(tǒng)漏洞導(dǎo)致用戶資料被盜等個(gè)人敏感信息泄饌事件已經(jīng)警醒我們，要加強(qiáng)人數(shù)據(jù)網(wǎng)絡(luò)安全的建設(shè)。另外,大數(shù)據(jù)的不斷増加，對(duì)數(shù)據(jù)存儲(chǔ)的物理安全性耍求會(huì)越來越高，從而對(duì)數(shù)據(jù)的多制本與容災(zāi)機(jī)制也捉出更高的要求。U前很多傳統(tǒng)企業(yè)的數(shù)據(jù)安全令人擔(dān)憂。（六）大數(shù)據(jù)人才缺乏人數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依

7、靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支學(xué)握人數(shù)據(jù)技術(shù)、懂管理、冇大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的大數(shù)據(jù)建設(shè)專業(yè)隊(duì)伍。目前?大數(shù)據(jù)相關(guān)人才的欠缺將阻礙大數(shù)據(jù)市場發(fā)展。據(jù)Gartner預(yù)測，到2015年，全球?qū)⑿?增440）j個(gè)與大數(shù)據(jù)和關(guān)的工作崗位，且會(huì)有25%的纟fl織設(shè)立首席數(shù)據(jù)官職位。大數(shù)據(jù)的相關(guān)職位需耍的是復(fù)合型人才，能夠?qū)?shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和口然語言處理等多方面知識(shí)綜合學(xué)控。未來，大數(shù)據(jù)將會(huì)出現(xiàn)約100力的人才缺口，在各個(gè)行業(yè)大數(shù)據(jù)屮高端人才都會(huì)成