鴻星爾克sap大數(shù)據(jù)快速輸出-強(qiáng)晟

《鴻星爾克sap大數(shù)據(jù)快速輸出-強(qiáng)晟》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、SAP系統(tǒng)大數(shù)據(jù)快速輸出“信息結(jié)構(gòu)”+“數(shù)據(jù)壓縮”應(yīng)用強(qiáng)晟2015-01-31Page2海量數(shù)據(jù)終端零售數(shù)據(jù)>1億/年表名數(shù)據(jù)量LIPS188,055,377MSEG589,961,021VBRP141,244,573BSEG675,083,578MARD88,121,876SAPIS-R零售行業(yè)解決方案2011年上線至今Page3多維查詢組織工廠分公司城市店鋪產(chǎn)品款式性別單品時間年度季節(jié)節(jié)慶營銷地點類別店鋪類型是否自收銀是否新渠道品牌大類小類Page4效率的困惑大數(shù)據(jù)多維度數(shù)據(jù)輸出怎么辦？1秒10秒1分鐘，10分鐘BI的適用范圍：宏觀、非實時業(yè)務(wù)用戶要求：明細(xì)、實時P

2、age5解決方案業(yè)務(wù)系統(tǒng)大數(shù)據(jù)輸出信息結(jié)構(gòu)：解決實時匯總問題簇數(shù)據(jù)庫：解決高效讀取問題M+N篩選算法：解決快速展現(xiàn)問題InfoStructureDataClusterM+NAlgorithmSAP為解決OLTP系統(tǒng)數(shù)據(jù)整合和實時展現(xiàn)的需要，特別在系統(tǒng)中植入了“信息結(jié)構(gòu)”技術(shù)。實現(xiàn)SAP業(yè)務(wù)數(shù)據(jù)的實時存儲和簡單整合。依據(jù)事先確定的數(shù)據(jù)整合邏輯和數(shù)據(jù)匯集粒度。Page6信息結(jié)構(gòu)-實現(xiàn)原理創(chuàng)建步驟：保存業(yè)務(wù)數(shù)據(jù)時，同步按預(yù)設(shè)指標(biāo)匯總至信息結(jié)構(gòu)表。Page7信息結(jié)構(gòu)-運(yùn)行邏輯表頭行項目原始業(yè)務(wù)數(shù)據(jù)信息結(jié)構(gòu)指標(biāo)庫∑數(shù)據(jù)庫優(yōu)勢：實時性好自定義指標(biāo)粒度數(shù)據(jù)存儲在業(yè)務(wù)系統(tǒng)注意：使用信息

3、結(jié)構(gòu)會降低業(yè)務(wù)數(shù)據(jù)保存時的性能，須適度使用信息結(jié)構(gòu)表數(shù)據(jù)量過大時，查詢速度同樣會變慢，將它轉(zhuǎn)換為簇數(shù)據(jù)庫存儲，加速讀取；關(guān)鍵字為邏輯條件，數(shù)據(jù)簇為邏輯數(shù)據(jù)，則：數(shù)據(jù)邏輯與物理存儲保存一致;下圖：簇數(shù)據(jù)庫；右圖：數(shù)據(jù)簇Page8簇數(shù)據(jù)庫-實現(xiàn)原理歷史數(shù)據(jù)合并壓縮存儲，讀取時批量取出Page9簇數(shù)據(jù)庫-運(yùn)行邏輯時間組織產(chǎn)品營銷數(shù)據(jù)12345678信息結(jié)構(gòu)數(shù)據(jù)期間組織12345678…ABAP運(yùn)行時環(huán)境時間組織產(chǎn)品營銷數(shù)據(jù)123Page10M+N篩選算法-業(yè)務(wù)目標(biāo)下圖為查詢目標(biāo)（示例）使用簇技術(shù)后，提升了數(shù)據(jù)庫讀取速度，降低了數(shù)據(jù)庫負(fù)荷，把數(shù)據(jù)處理壓力全部放在應(yīng)用程序。兩次循

4、環(huán)的時間復(fù)雜度：O(M×N÷2)循環(huán)加二分法讀取的時間復(fù)雜度：O(N×log2N)+O(M×log2N)Page11M+N篩選算法-算法設(shè)計算法示意圖兩表分別排序的時間復(fù)雜度：O(N×log2N)+O(M×log2M)索引自增篩選的時間復(fù)雜度：O(M+N)注意：本算法依賴于ABAP標(biāo)準(zhǔn)排序的高性能，（標(biāo)準(zhǔn)排序時600萬條數(shù)據(jù)僅需1~2秒）如使自行編寫排序算法，需重新評估。Page12M+N篩選算法-流程圖M+N篩選---計算過程如下圖：Page13應(yīng)用效果數(shù)據(jù)現(xiàn)狀：數(shù)據(jù)結(jié)構(gòu)MSEGMARDLIPSBSEGVBRPAFS系統(tǒng)14,737,948287,3855,027,0

5、3511,111,2215,246,982ISR系統(tǒng)589,961,02188,121,876188,055,377675,083,578141,244,573輸出效果：輸出報表信息系統(tǒng)期間數(shù)據(jù)條目消耗時間“進(jìn)銷存”（ZK08）AFS1年420萬11s“進(jìn)銷存”（ZK08）ISR1年3000萬23s店鋪“進(jìn)銷存”（ZK09）ISR0.5年1600萬78s店鋪銷售明細(xì)輸出（ZBW01）ISR1年2000萬40s區(qū)域銷售明細(xì)輸出（ZBW11）ISR1年2000萬38sPage14數(shù)據(jù)核對Page15實際舉例