數(shù)據(jù)分析歷程

《數(shù)據(jù)分析歷程》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、數(shù)據(jù)分析歷程目錄數(shù)據(jù)分析計(jì)算11.并發(fā)22.并行32.1概念32.2并發(fā)VS并行43.分布式計(jì)算53.1特點(diǎn)53.2優(yōu)點(diǎn)63.3分布式VS并行73.3.1相似點(diǎn)73.3.2區(qū)別74.集群計(jì)算(ClusterComputing)105.網(wǎng)格計(jì)算（GridComputing）125.1集群計(jì)算與網(wǎng)格計(jì)算的區(qū)別126.云計(jì)算（CloudComputing）156.1云計(jì)算與并行、分布式、網(wǎng)格和集群計(jì)算的區(qū)別151.并發(fā)并發(fā)，在操作系統(tǒng)中，是指一個(gè)時(shí)間段中有幾個(gè)程序都處于已啟動(dòng)運(yùn)行到運(yùn)行完畢之間，且這幾個(gè)程序都是在同一個(gè)處理機(jī)上運(yùn)行，但任一個(gè)時(shí)刻點(diǎn)上只有一個(gè)程序在處理機(jī)上運(yùn)

2、行。在網(wǎng)絡(luò)服務(wù)器上，并發(fā)是指同一時(shí)刻能處理的連接數(shù)，比如，服務(wù)器能建立1000個(gè)TCP連接，即服務(wù)器同時(shí)維護(hù)了1000個(gè)socket，這個(gè)服務(wù)器的并發(fā)量就是1000，但是服務(wù)器可能只有單核或者8核，16核等，總之對(duì)這1000個(gè)socket連接的處理也是分時(shí)來(lái)做的。每個(gè)socket服務(wù)器處理的時(shí)間如果是1s，那么該服務(wù)器1s內(nèi)可以處理完1000個(gè)請(qǐng)求，如果每個(gè)socket處理100ms的話(huà)，那么該服務(wù)器1s內(nèi)可以處理10000個(gè)請(qǐng)求。2.并行并行是指“并排行走”或“同時(shí)實(shí)行或?qū)嵤薄Ｔ诓僮飨到y(tǒng)中是指，一組程序按獨(dú)立異步的速度執(zhí)行，不等于時(shí)間上的重疊（同一個(gè)時(shí)刻發(fā)生)。

3、2.1概念并行計(jì)算或稱(chēng)平行計(jì)算是相對(duì)于串行計(jì)算來(lái)說(shuō)的。并行計(jì)算（ParallelComputing）是指同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程。為執(zhí)行并行計(jì)算，計(jì)算資源應(yīng)包括一臺(tái)配有多處理機(jī)（并行處理）的計(jì)算機(jī)、一個(gè)與網(wǎng)絡(luò)相連的計(jì)算機(jī)專(zhuān)有編號(hào)，或者兩者結(jié)合使用。并行計(jì)算的主要目的是快速解決大型且復(fù)雜的計(jì)算問(wèn)題。并行計(jì)算可以劃分成時(shí)間并行和空間并行。時(shí)間并行即流水線(xiàn)技術(shù)，空間并行使用多個(gè)處理器執(zhí)行并發(fā)計(jì)算，當(dāng)前研究的主要是空間的并行問(wèn)題。以程序和算法設(shè)計(jì)人員的角度看，并行計(jì)算又可分為數(shù)據(jù)并行和任務(wù)并行。數(shù)據(jù)并行把大的任務(wù)化解成若干個(gè)相同的子任務(wù)，處理起來(lái)比任務(wù)并行簡(jiǎn)單

4、。并發(fā)可以理解為服務(wù)器最多維護(hù)多少個(gè)會(huì)話(huà)數(shù)，并行則不一樣，它關(guān)系的是有多少個(gè)會(huì)話(huà)是在同時(shí)進(jìn)行，假如有兩臺(tái)服務(wù)器（進(jìn)程），可能并行的數(shù)量是2，而并發(fā)的數(shù)量是1000。我們還可以對(duì)比下吞吐量和帶寬的概念。2.2并發(fā)VS并行?并發(fā)的實(shí)質(zhì)是一個(gè)物理CPU(也可以多個(gè)物理CPU)在若干道程序之間多路復(fù)用，并發(fā)性是對(duì)有限物理資源強(qiáng)制行使多用戶(hù)共享以提高效率。并行性指兩個(gè)或兩個(gè)以上事件或活動(dòng)在同一時(shí)刻發(fā)生。在多道程序環(huán)境下，并行性使多個(gè)程序同一時(shí)刻可在不同CPU上同時(shí)執(zhí)行。并發(fā)，是在同一個(gè)cpu上同時(shí)（不是真正的同時(shí)，而是看來(lái)是同時(shí)，因?yàn)閏pu要在多個(gè)程序間切換）運(yùn)行多個(gè)程序。并

5、行，是每個(gè)cpu運(yùn)行一個(gè)程序。3.分布式計(jì)算所謂分布式計(jì)算就是在兩個(gè)或多個(gè)軟件互相共享信息，這些軟件既可以在同一臺(tái)計(jì)算機(jī)上運(yùn)行，也可以在通過(guò)網(wǎng)絡(luò)連接起來(lái)的多臺(tái)計(jì)算機(jī)上運(yùn)行。分布式計(jì)算這個(gè)研究領(lǐng)域，主要研究分散系統(tǒng)（Distributedsystem）如何進(jìn)行計(jì)算。分散系統(tǒng)是一組計(jì)算機(jī)，通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)相互鏈接與通信后形成的系統(tǒng)。把需要進(jìn)行大量計(jì)算的工程數(shù)據(jù)分區(qū)成小塊，由多臺(tái)計(jì)算機(jī)分別計(jì)算，在上傳運(yùn)算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學(xué)?！　∧壳俺Ｒ?jiàn)的分布式計(jì)算項(xiàng)目通常使用世界各地上千萬(wàn)志愿者計(jì)算機(jī)的閑置計(jì)算能力，通過(guò)互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)傳輸。如分析計(jì)算蛋白質(zhì)的內(nèi)部結(jié)構(gòu)和

6、相關(guān)藥物的Folding@home項(xiàng)目，該項(xiàng)目結(jié)構(gòu)龐大，需要驚人的計(jì)算量，由一臺(tái)電腦計(jì)算是不可能完成的。即使現(xiàn)在有了計(jì)算能力超強(qiáng)的超級(jí)電腦，但是一些科研機(jī)構(gòu)的經(jīng)費(fèi)卻又十分有限。3.1特點(diǎn)分布式計(jì)算是一門(mén)計(jì)算機(jī)科學(xué)，它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。首先,要發(fā)現(xiàn)一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題。這類(lèi)問(wèn)題一般是跨學(xué)科的、極富挑戰(zhàn)性的、人類(lèi)急待解決的科研課題。其中較為著名的是:1.解決較為復(fù)雜的數(shù)學(xué)問(wèn)題，例如：GIMPS（尋找最大的梅森素?cái)?shù)）。2.

7、研究尋找最為安全的密碼系統(tǒng)，例如：RC-72（密碼破解）。3.生物病理研究，例如：Folding@home（研究蛋白質(zhì)折疊，誤解，聚合及由此引起的相關(guān)疾病）。4.各種各樣疾病的藥物研究，例如：UnitedDevices（尋找對(duì)抗癌癥的有效的藥物）。5.信號(hào)處理，例如：SETI@Home（在家尋找地外文明）。3.2優(yōu)點(diǎn)分布式計(jì)算比起其它算法具有以下幾個(gè)優(yōu)點(diǎn)：1、稀有資源可以共享。2、通過(guò)分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)上平衡計(jì)算負(fù)載。3、可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上。其中，共享稀有資源和平衡負(fù)載是計(jì)算機(jī)分布式計(jì)算的核心思想之一。3.3分布式VS并行3.3.1相似