PPT：支付寶背后大數(shù)據(jù)技術——DataLab、Higo

《PPT：支付寶背后大數(shù)據(jù)技術——DataLab、Higo》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。

1、注：本PPT來源于2013年11月第三屆Oracle技術嘉年華，由支付寶DW/BI高級架構師周衛(wèi)林貢獻。我們預計目前支付寶的大數(shù)據(jù)技術已經(jīng)上升到了一個新的臺階，但是我們?nèi)匀幌氚堰@個PPT分享出來，讓大家了解一下，一個風靡全球的支付系統(tǒng)背后到底使用了什么樣的大數(shù)據(jù)技術，以及支付寶大數(shù)據(jù)技術的實踐，給新入場的朋友們作為參考。正文如下：支付寶之所以備受大家的喜愛，更重要的是支付寶的安全機制和使用便捷性。但是，業(yè)界并不僅僅有支付寶一家支付產(chǎn)品，如今微信也已經(jīng)推出了微支付。周衛(wèi)林表示，支付寶的安全性機制要比微信高，比如大家在一個會場開會，通過后臺的數(shù)據(jù)分析，基于這個位置的交易

2、被認為是熟人之間的交易，不需要特別的驗證，背后有強大的技術支撐。比如，在小區(qū)中，基于小區(qū)的地理位置信息，人與人之間的交易認為是家人之間的交易。目前，支付寶平臺每年的數(shù)據(jù)的增長量超過以往所有年份數(shù)據(jù)累加之和還要多。不同的業(yè)務階段，導致不同的數(shù)據(jù)訴求，業(yè)務模式在最開始的時候負責度比較高，隨著業(yè)務的增長對于創(chuàng)新的要求比較高。數(shù)據(jù)訴求分析當前業(yè)務階段的特點：1、“能一眼看得見的山頭不多了”，面臨創(chuàng)新壓力；2、“生孩子容易，養(yǎng)孩子難”，如何做好精細化運營。當前數(shù)據(jù)訴求的特點：1、主要用戶不再是管理層(需求固定)，而是一線同學(需求不固定)；2、實現(xiàn)手段，不能僅是報表(T+1天

3、)，數(shù)據(jù)需要對接生產(chǎn)系統(tǒng)(T+1秒)。當前的主要矛盾：無法快速響應日常需求1、數(shù)據(jù)分析師/ETL工程師滿足不了日益旺盛的數(shù)據(jù)需求，成為資源瓶頸；2、精細化運營帶來數(shù)據(jù)粒度下降，業(yè)務發(fā)展帶來數(shù)據(jù)指數(shù)增長，傳統(tǒng)方案無法應對；3、缺乏數(shù)據(jù)化運營的業(yè)務支撐平臺。傳統(tǒng)BI產(chǎn)品存在的幾個問題：1、對大數(shù)據(jù)支持不夠：億級數(shù)據(jù)的Ad-hoc，玩不了;2、有學習成本：比較專業(yè)，分析師也需要培訓才能較好使用;3、License貴：依據(jù)賬號數(shù)收費，無法大面積開放;4、需要二次開發(fā)：無法直接給一線人員使用，一般要二次封裝，而且基本無技術支持。思路：人人都會用的大數(shù)據(jù)分析工具工具讓數(shù)據(jù)的使用

4、更簡單，人人會使用數(shù)據(jù)，才是數(shù)據(jù)化運營的基礎。數(shù)據(jù)邏輯如果不通過可視化的效果很難展現(xiàn)出來支付寶結合用戶的使用習慣，自己開發(fā)一套工具，通過工具解決瓶頸的問題。如何讓工具讓數(shù)據(jù)使用更簡單。站在內(nèi)部角度看到工具的迫切需求，主要是因為數(shù)據(jù)越來越多，傳統(tǒng)的工具支撐需求有很大的難度。HiGo特性介紹演示環(huán)境說明：數(shù)據(jù)量：18億條記錄，60個字段，占用空間1.4T機器量：3臺，96G內(nèi)存，2TSATA磁盤，6核*2CPU分40個shard，每個shard4600萬條記錄任意條件的統(tǒng)計匯總：求浙江和廣東省4鉆店鋪和5鉆店鋪的店鋪數(shù)，申請貸款金額總和和申請貸款的筆數(shù)總和”任意條件的多

5、維度分組統(tǒng)計：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請貸款總金額、申請貸款的筆數(shù)任意條件的多維度分組統(tǒng)計，含countdistinct：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請貸款的用戶數(shù)Casewhen：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請金額在100W以上的大額貸款的總額，以及所有貸款總額(包括小額)下面是詳細的PPT介紹：域名新聞http://www.73.tt/yumingxinwen/wvoprt57d