海量金融票據(jù)影像文件輕松管

《海量金融票據(jù)影像文件輕松管》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、海量金融票據(jù)影像文件輕松管一、金融票據(jù)影像業(yè)務(wù)發(fā)展金融行業(yè)在業(yè)務(wù)運(yùn)營(yíng)中會(huì)產(chǎn)生大量紙制憑證，傳統(tǒng)的業(yè)務(wù)處理方式存在著憑證保存成本高,手工錄入、翻閱，效率低,無(wú)法進(jìn)行歷史交易統(tǒng)計(jì)和關(guān)聯(lián)交易分析等種種不便。隨著金融電子化、流程銀行及集中作業(yè)中心等理念的深入推廣，許多金融機(jī)構(gòu)建設(shè)了票據(jù)影像集中管理平臺(tái)。這是一個(gè)集檔案錄入、圖像處理、智能識(shí)別、數(shù)據(jù)核對(duì)、統(tǒng)計(jì)分析、海量存儲(chǔ)、精確查詢于一體的計(jì)算機(jī)輔助管理系統(tǒng)。此平臺(tái)為其它業(yè)務(wù)系統(tǒng)提供影像管理方面的業(yè)務(wù)支持，極大地提高了工作效率，降低銀行自身的生產(chǎn)運(yùn)營(yíng)成本和管理成本，同時(shí)提高客戶和員工的滿意度。二、海量票據(jù)影像數(shù)據(jù)

2、的管理難題IDC研究表明，金融行業(yè)未來(lái)80%的數(shù)據(jù)主要呈現(xiàn)為影像、照片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。從2010年到2020年，非結(jié)構(gòu)化數(shù)據(jù)將以44倍的發(fā)展速度迅猛增長(zhǎng)。票據(jù)影像數(shù)據(jù)為銀行業(yè)務(wù)流程中產(chǎn)生的掃描文件、照片等業(yè)務(wù)憑證，隨著業(yè)務(wù)的發(fā)展，總體數(shù)據(jù)量增長(zhǎng)迅速。由于票據(jù)影像數(shù)據(jù)與傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)有很大的不同，我們有必要深入了解一下票據(jù)影像數(shù)據(jù)的特點(diǎn)：?文件?。浩睋?jù)影像文件一般經(jīng)過(guò)壓縮后，每個(gè)文件大小約在幾十K至幾百K之間，多見(jiàn)的是100K左右的文件?數(shù)量大：文件數(shù)目眾多，依據(jù)銀行的規(guī)模與上線的時(shí)間不同，單套系統(tǒng)中往往會(huì)存放數(shù)千萬(wàn)至數(shù)億的文件數(shù)?空間占用

3、大：依據(jù)銀行的規(guī)模與上線的時(shí)間，單套票據(jù)影像系統(tǒng)占用的存儲(chǔ)空間為數(shù)T至數(shù)百T的存儲(chǔ)空間?調(diào)閱頻率與生成時(shí)間有關(guān)：一般來(lái)講，票據(jù)影像文件90%-95%的調(diào)閱發(fā)生在3個(gè)月以內(nèi)，一年或三年后的票據(jù)影像數(shù)據(jù)調(diào)閱的可能性非常低總體上講，銀行票據(jù)影像系統(tǒng)的數(shù)據(jù)特點(diǎn)是一個(gè)典型的“海量小文件”場(chǎng)景。從監(jiān)管上講，在銀行業(yè)務(wù)流程過(guò)程中產(chǎn)生的數(shù)據(jù)是交易的重要憑據(jù)，應(yīng)當(dāng)長(zhǎng)期保存；系統(tǒng)要對(duì)生產(chǎn)系統(tǒng)中的票據(jù)影像文件進(jìn)行備份，保證生產(chǎn)系統(tǒng)數(shù)據(jù)損壞后能夠快速恢復(fù)；對(duì)業(yè)務(wù)發(fā)生達(dá)到一定時(shí)間，訪問(wèn)概率低的票據(jù)影像數(shù)據(jù)應(yīng)當(dāng)實(shí)現(xiàn)歸檔，以降低對(duì)生產(chǎn)存儲(chǔ)的占用；當(dāng)業(yè)務(wù)需要時(shí)，譬如在司法場(chǎng)景下、客戶

4、投訴、業(yè)務(wù)調(diào)取場(chǎng)景下，能夠迅速地查詢到已經(jīng)歸檔的票據(jù)影像文件。然而，票據(jù)影像系統(tǒng)數(shù)據(jù)的文件小、數(shù)目多、總量大的特點(diǎn)，使得數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)保護(hù)存在諸多技術(shù)難點(diǎn)：?備份時(shí)間長(zhǎng):針對(duì)文件系統(tǒng)進(jìn)行數(shù)據(jù)保護(hù)時(shí)，首先需要對(duì)全部文件進(jìn)行掃描，當(dāng)文件數(shù)量過(guò)多時(shí)，掃描時(shí)間會(huì)非常長(zhǎng)。其次，需要逐一定位文件，拷貝文件，當(dāng)文件海量時(shí)，備份時(shí)間也會(huì)非常長(zhǎng)。這使得客戶在指定的備份窗口內(nèi)，無(wú)法實(shí)現(xiàn)數(shù)據(jù)備份?離線保存后文件調(diào)閱麻煩:如果將長(zhǎng)期不用的文件離線保存至光盤(pán)或磁帶，需要人工操作。調(diào)閱時(shí)，必須遵守一系列業(yè)務(wù)流程進(jìn)行。如由業(yè)務(wù)發(fā)起調(diào)閱請(qǐng)求，科技人員受理，找到相應(yīng)的介質(zhì)，并將離線介質(zhì)

5、回遷至生產(chǎn)存儲(chǔ)進(jìn)行查詢，查詢后還需要進(jìn)行刪除?數(shù)量逐年增加:隨著銀行業(yè)務(wù)的拓展、網(wǎng)點(diǎn)數(shù)目不斷的增加、上線時(shí)間的變長(zhǎng)，數(shù)據(jù)量成顯著上升的趨勢(shì)。這導(dǎo)致生產(chǎn)系統(tǒng)容量需求不斷增加，需要不斷的擴(kuò)容以某城城市商業(yè)銀行為例，其票據(jù)影像系統(tǒng)上線3年，文件總數(shù)目達(dá)8000萬(wàn)，數(shù)據(jù)總量已達(dá)10TB，且以每年2~3TB的速度增長(zhǎng)。大量的票據(jù)文件很快消耗了主存儲(chǔ)系統(tǒng)的空間，面臨著對(duì)昂貴主存擴(kuò)容的壓力。更為嚴(yán)峻的是，業(yè)界目前主流的數(shù)據(jù)保護(hù)方案，都沒(méi)有充分考慮到票據(jù)影像“海量小文件”的特點(diǎn)，只能管理約百萬(wàn)級(jí)的文件，備份速度在每小時(shí)幾十GB，10TB的數(shù)據(jù)備份需要數(shù)周時(shí)間。但實(shí)際環(huán)

6、境中，是不可能有這么長(zhǎng)的備份窗口。因此，所有票據(jù)影像文件根本無(wú)法完成備份。近幾年，我國(guó)有上百家銀行逐漸建設(shè)了自己的票據(jù)影像系統(tǒng)，由于票據(jù)影像數(shù)據(jù)管理的技術(shù)難點(diǎn)，幾乎都沒(méi)有實(shí)現(xiàn)數(shù)據(jù)保護(hù)，系統(tǒng)長(zhǎng)期處于高風(fēng)險(xiǎn)運(yùn)行狀態(tài),一旦生產(chǎn)系統(tǒng)出現(xiàn)故障，后果不堪設(shè)想。針對(duì)票據(jù)影像的業(yè)務(wù)特點(diǎn)，我們認(rèn)為在票據(jù)影像數(shù)據(jù)管理上需要滿足以下需求：?票據(jù)影像數(shù)據(jù)是交易中的重要憑證，必須滿足監(jiān)管部門(mén)對(duì)系統(tǒng)可靠性及數(shù)據(jù)保護(hù)的監(jiān)管要求，實(shí)現(xiàn)千萬(wàn)級(jí)數(shù)據(jù)文件在給定的時(shí)間窗口內(nèi)實(shí)現(xiàn)備份是基本要求?對(duì)于已經(jīng)歸檔的票據(jù)影像文件需要調(diào)閱的情況下，在一堆歸檔磁帶或光盤(pán)中人工搜索文件工作量是無(wú)法想象的，必

7、須提供“自動(dòng)化”的、快速的歸檔文件調(diào)閱手段?長(zhǎng)期不用的票據(jù)影像文件需要從高端生產(chǎn)存儲(chǔ)遷移到成本更低的近線存儲(chǔ)，減少高端存儲(chǔ)的擴(kuò)容費(fèi)用;數(shù)據(jù)的備份與恢復(fù)、歸檔與調(diào)閱、數(shù)據(jù)校驗(yàn)等數(shù)據(jù)管理操作需要實(shí)現(xiàn)“自動(dòng)化”，降低運(yùn)行與維護(hù)的難度，減少人力投入一、華為票據(jù)影像數(shù)據(jù)管理解決之道1.設(shè)計(jì)理念票據(jù)影像文件數(shù)據(jù)管理所存在的問(wèn)題不是一個(gè)簡(jiǎn)簡(jiǎn)單單的提高備份性能的問(wèn)題。備份性能再高，也不能趕上票據(jù)影像數(shù)據(jù)增長(zhǎng)的速度，不能滿足票據(jù)影像管理的需求，管理“海量小文件”要建立相應(yīng)的管理理念，通過(guò)系列的技術(shù)組合來(lái)實(shí)現(xiàn)。在采用備份手段進(jìn)行數(shù)據(jù)保護(hù)時(shí)，首先需要控制備份量，也就是控制生

8、產(chǎn)存儲(chǔ)的數(shù)據(jù)量，將“海量小文件場(chǎng)景”轉(zhuǎn)化為“大量小文件場(chǎng)景”。票據(jù)影像文件主要在生成后的一段時(shí)