Google云計(jì)算應(yīng)用場(chǎng)景分析.ppt

《Google云計(jì)算應(yīng)用場(chǎng)景分析.ppt》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、主講人：劉鵬第10章云計(jì)算(3)云計(jì)算云計(jì)算概念Google云計(jì)算并行數(shù)據(jù)處理模型MapReduce分布式鎖服務(wù)Chubby分布式數(shù)據(jù)表BigTableGoogleAppEngineGoogle云計(jì)算應(yīng)用場(chǎng)景分析Google云計(jì)算應(yīng)用場(chǎng)景分析Google云計(jì)算技術(shù)框架應(yīng)用場(chǎng)景分析1：Google網(wǎng)站流量分析應(yīng)用場(chǎng)景分析2：Google搜索Google的云計(jì)算應(yīng)用均依賴(lài)于四個(gè)基礎(chǔ)組件分布式文件存儲(chǔ)，GFS并行數(shù)據(jù)處理模型MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle云計(jì)算應(yīng)用MapReduceB

2、igTableGFSChubbyGoogle云計(jì)算的技術(shù)架構(gòu)Google云計(jì)算的技術(shù)架構(gòu)Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubby組件調(diào)用關(guān)系分析Chubby的作用為GFS提供鎖服務(wù)，選擇Master節(jié)點(diǎn)；記錄Master的相關(guān)描述信息通過(guò)獨(dú)占鎖記錄ChunkServer的活躍情況為BigTable提供鎖服務(wù)，記錄子表元信息（如子表文件信息、子表分配信息、子表服務(wù)器信息）（可能）記錄MapReduce的任務(wù)信息為第三方提供鎖服務(wù)與文件存儲(chǔ)Google云計(jì)算應(yīng)用BigTableGFSMapRed

3、uceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)GFS的作用存儲(chǔ)BigTable的子表文件為第三方應(yīng)用提供大尺寸文件存儲(chǔ)功能文件讀操作流程API與Master通信，獲取文件元信息根據(jù)指定的讀取位置和讀取長(zhǎng)度，API發(fā)起并發(fā)操作，分別從若干ChunkServer上讀取數(shù)據(jù)API組裝所得數(shù)據(jù)，返回結(jié)果Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)BigTable的作用為Google云計(jì)算應(yīng)用（或第三方應(yīng)用）提供數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)功能類(lèi)似于數(shù)據(jù)庫(kù)為應(yīng)用提供簡(jiǎn)單數(shù)據(jù)查詢(xún)功能（不支持聯(lián)

4、合查詢(xún)）為MapReduce提供數(shù)據(jù)源或數(shù)據(jù)結(jié)果存儲(chǔ)Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)BigTable的存儲(chǔ)與服務(wù)請(qǐng)求的響應(yīng)劃分為子表存儲(chǔ)，每個(gè)子表對(duì)應(yīng)一個(gè)子表文件，子表文件存儲(chǔ)于GFS之上BigTable通過(guò)元數(shù)據(jù)組織子表每個(gè)子表都被分配給一個(gè)子表服務(wù)器一個(gè)子表服務(wù)器可同時(shí)分配多個(gè)子表子表服務(wù)器負(fù)責(zé)對(duì)外提供服務(wù)，響應(yīng)查詢(xún)請(qǐng)求Tablet1:,rootbigtabletablet1,……Tablet2:<

5、startRowKey2,endRowKey2>,rootbigtabletablet2,……Tablet3:,rootbigtabletablet3,……Tablet4:,rootbigtabletablet4,……Google云計(jì)算的技術(shù)架構(gòu)MapReduce的作用對(duì)BigTable中的數(shù)據(jù)進(jìn)行并行計(jì)算處理（如統(tǒng)計(jì)、歸類(lèi)等）使用BigTable或GFS存儲(chǔ)計(jì)算結(jié)果Google云計(jì)算應(yīng)用BigTableGFSMa

6、pReduceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)應(yīng)用場(chǎng)景分析1——Google網(wǎng)站流量分析GoogleAnalytics免費(fèi)的企業(yè)級(jí)網(wǎng)絡(luò)分析解決方案幫助企業(yè)了解網(wǎng)站流量和營(yíng)銷(xiāo)效果能以靈活的方式（各類(lèi)報(bào)表）查看并分析流量數(shù)據(jù)應(yīng)用場(chǎng)景分析1——Google網(wǎng)站流量分析基本功能統(tǒng)計(jì)網(wǎng)站的基本數(shù)據(jù)，包括會(huì)話(huà)、綜合瀏覽量、點(diǎn)擊量和字節(jié)流量等等分析網(wǎng)站頁(yè)面關(guān)注度，幫助企業(yè)調(diào)整或增刪頁(yè)面分析用戶(hù)瀏覽路徑，優(yōu)化頁(yè)面布局分析用戶(hù)訪(fǎng)問(wèn)來(lái)源鏈接，提高廣告投資回報(bào)分析用戶(hù)訪(fǎng)問(wèn)環(huán)境（如OS和Explorer），幫助美化頁(yè)面應(yīng)用場(chǎng)景分析1—

7、—Google網(wǎng)站流量分析應(yīng)用的特征海量數(shù)據(jù)需要存儲(chǔ)海量的用戶(hù)行為數(shù)據(jù)（如點(diǎn)擊時(shí)間、位置等）海量用戶(hù)需要為任意多的網(wǎng)站提供流量分析技術(shù)路線(xiàn)使用BigTable存儲(chǔ)和檢索數(shù)據(jù)，使用MapReduce統(tǒng)計(jì)數(shù)據(jù)應(yīng)用場(chǎng)景分析1——Google網(wǎng)站流量分析BigTable中的表設(shè)計(jì)原始點(diǎn)擊數(shù)據(jù)表行鍵：點(diǎn)擊時(shí)間列鍵：網(wǎng)站URL、網(wǎng)站名稱(chēng)、用戶(hù)IP地址、來(lái)源URL、目標(biāo)URL……目前尺寸約200TB200910101210112009101012101220091010121013URL標(biāo)題IP地址來(lái)源URL目標(biāo)URL應(yīng)用場(chǎng)景分析1—

8、—Google網(wǎng)站流量分析BigTable中的表設(shè)計(jì)統(tǒng)計(jì)數(shù)據(jù)表行鍵：網(wǎng)站URL（倒排）列鍵：點(diǎn)擊次數(shù)（如記錄最近一個(gè)月每日的訪(fǎng)問(wèn)次數(shù)等）、頁(yè)面關(guān)注度（如記錄網(wǎng)站頁(yè)面的訪(fǎng)問(wèn)比率）、來(lái)源網(wǎng)站（如記錄TOP10）、目標(biāo)網(wǎng)站（如記錄TOP10）…每個(gè)列中記錄的內(nèi)容是字符串，Analytics在查詢(xún)