來(lái)源:鑫智獎(jiǎng)·2025第七屆金融數(shù)據(jù)智能優(yōu)秀解決方案評(píng)選
獲獎(jiǎng)單位:瑞數(shù)信息
榮獲獎(jiǎng)項(xiàng):專家推薦TOP10優(yōu)秀解決方案、數(shù)據(jù)治理與數(shù)據(jù)平臺(tái)創(chuàng)新優(yōu)秀解決方案
一、解決方案簡(jiǎn)介
本方案針對(duì)銀行業(yè)在嚴(yán)格的監(jiān)管要求之下,需要長(zhǎng)期保存交易記錄、客戶信息及其他關(guān)鍵數(shù)據(jù)的情境,利用備份數(shù)據(jù)的分鐘級(jí)掛載恢復(fù)能力,實(shí)現(xiàn)邏輯表的自動(dòng)化抽取,并以通用格式將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)湖中,以供長(zhǎng)期歷史保留。長(zhǎng)期歸檔的數(shù)據(jù)能夠在未來(lái)20年甚至更長(zhǎng)時(shí)間內(nèi)直接查看或使用,而無(wú)需依賴原始數(shù)據(jù)來(lái)源的數(shù)據(jù)庫(kù)類型或當(dāng)時(shí)歸檔的備份系統(tǒng)。
二、應(yīng)用場(chǎng)景痛點(diǎn)簡(jiǎn)介
當(dāng)前,銀行核心交易型分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)歸檔方式通常采用備份歸檔至磁帶的方式進(jìn)行長(zhǎng)期保留。其主要流程包括:通過(guò)數(shù)據(jù)庫(kù)自帶的備份工具將分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)備份至NAS(網(wǎng)絡(luò)附屬存儲(chǔ)),再通過(guò)第三方備份系統(tǒng)將NAS中的全量數(shù)據(jù)備份至物理磁帶庫(kù)。然而,這種方式存在諸多問(wèn)題和挑戰(zhàn):
全量全庫(kù)歸檔時(shí)間長(zhǎng):分布式數(shù)據(jù)庫(kù)數(shù)據(jù)量越大,歸檔整個(gè)數(shù)據(jù)庫(kù)需要耗費(fèi)大量時(shí)間。
磁帶資源消耗大:需要大量的物理磁帶進(jìn)行數(shù)據(jù)存儲(chǔ)。
訪問(wèn)歸檔數(shù)據(jù)復(fù)雜且效率低:20年后如需訪問(wèn)歸檔數(shù)據(jù),必須依賴原有備份系統(tǒng),并將數(shù)據(jù)恢復(fù)至原有分布式數(shù)據(jù)庫(kù)才能使用,操作復(fù)雜且效率低下。
磁帶介質(zhì)更新?lián)Q代快:磁帶技術(shù)的快速更新?lián)Q代導(dǎo)致運(yùn)維成本高。
保存環(huán)境要求高:磁帶對(duì)保存環(huán)境有較高要求,增加了管理難度。
長(zhǎng)期歸檔數(shù)據(jù)恢復(fù)失敗風(fēng)險(xiǎn):長(zhǎng)期保存的磁帶數(shù)據(jù)存在恢復(fù)失敗的風(fēng)險(xiǎn)。
使用和合規(guī)檢測(cè)難度大:對(duì)歸檔數(shù)據(jù)的使用和合規(guī)檢測(cè)帶來(lái)一定的難度和風(fēng)險(xiǎn)。
為解決這些問(wèn)題,瑞數(shù)信息提出了分布式數(shù)據(jù)庫(kù)表級(jí)去平臺(tái)化歸檔解決方案,其核心目標(biāo)是滿足長(zhǎng)期歸檔數(shù)據(jù)的使用和合規(guī)要求,將歸檔數(shù)據(jù)以通用格式存儲(chǔ)在分布式數(shù)據(jù)湖中,無(wú)需依賴特定的分布式數(shù)據(jù)庫(kù)或備份系統(tǒng),能夠在任何時(shí)間直接查看和使用,同時(shí)通過(guò)表級(jí)歸檔和自動(dòng)化流程優(yōu)化提高歸檔效率,降低人工運(yùn)維及存儲(chǔ)成本,減少磁帶資源依賴,增強(qiáng)數(shù)據(jù)的可用性和合規(guī)性,為長(zhǎng)期數(shù)據(jù)保留提供可靠保障。
三、解決方案亮點(diǎn)介紹
1.分布式數(shù)據(jù)庫(kù)備份特點(diǎn)
①快速備份
分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)量大且分散于不同節(jié)點(diǎn),若運(yùn)用傳統(tǒng)周期性備份法,不但耗時(shí)久,還會(huì)給生產(chǎn)造成極大影響。而分布式數(shù)據(jù)庫(kù)備份歸檔解決方案則可有效應(yīng)對(duì)這一難題,它采用一次全備份、永久增量合成的方式,既能大幅提升備份效率,又能減少網(wǎng)絡(luò)以及客戶端服務(wù)器的資源消耗,切實(shí)解決分布式數(shù)據(jù)庫(kù)因數(shù)據(jù)量大導(dǎo)致備份效率低下的問(wèn)題。
②快速恢復(fù)
備份數(shù)據(jù)會(huì)以原始數(shù)據(jù)格式存儲(chǔ)于備份存儲(chǔ)池內(nèi),并借助快照技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的虛擬化管理。在此基礎(chǔ)上,備份數(shù)據(jù)以基于時(shí)間點(diǎn)的快照副本形式,直接掛載至目標(biāo)服務(wù)器。可實(shí)現(xiàn)基于任意時(shí)間點(diǎn)的分鐘級(jí)快速恢復(fù),能夠迅速解決邏輯故障,為業(yè)務(wù)連續(xù)性提供堅(jiān)實(shí)保障。
③全局事務(wù)一致性恢復(fù)
分布式數(shù)據(jù)庫(kù)備份,需滿足全局事務(wù)一致性保護(hù)要求,分布式數(shù)據(jù)庫(kù)備份歸檔解決方案內(nèi)置數(shù)據(jù)一致性校驗(yàn)機(jī)制,確保分布式數(shù)據(jù)庫(kù)備份的一致性,通過(guò)收集全局事務(wù)日志和數(shù)據(jù)庫(kù)層日志進(jìn)行計(jì)算和處理,實(shí)現(xiàn)基于任意時(shí)間全局事務(wù)一致性恢復(fù)能力。
2.歸檔數(shù)據(jù)去平臺(tái)化特點(diǎn)
①表級(jí)數(shù)據(jù)精準(zhǔn)歸檔
針對(duì)分布式數(shù)據(jù)庫(kù)數(shù)據(jù)量龐大的特點(diǎn),創(chuàng)新采用表級(jí)精準(zhǔn)歸檔策略,突破傳統(tǒng)全庫(kù)歸檔模式的局限性。支持基于業(yè)務(wù)重要程度、數(shù)據(jù)訪問(wèn)頻率、合規(guī)要求等制定靈活的歸檔策略,實(shí)現(xiàn)按邏輯表精細(xì)化歸檔。
②歸檔數(shù)據(jù)去平臺(tái)化
將歸檔數(shù)據(jù)以通用格式存儲(chǔ)在分布式數(shù)據(jù)湖中,歷史歸檔數(shù)據(jù)無(wú)需依賴原有分布式數(shù)據(jù)庫(kù)系統(tǒng)、無(wú)需依賴原始備份系統(tǒng)進(jìn)行恢復(fù),確保數(shù)據(jù)在任何時(shí)間都能直接查看和使用,提升數(shù)據(jù)的獨(dú)立性和可用性。
3.提升效率、降低成本
①提升數(shù)據(jù)歸檔效率
數(shù)據(jù)備份和表級(jí)歸檔方式,在備份方式上面不僅可以降低周期性全量備份帶來(lái)的備份時(shí)間長(zhǎng)、資源消耗大的問(wèn)題,還能減少對(duì)生產(chǎn)系統(tǒng)的資源占用影響。同時(shí)根據(jù)表級(jí)歸檔策略,減少日常歸檔的數(shù)據(jù)量,加快數(shù)據(jù)歸檔的效率。
②降低長(zhǎng)期存儲(chǔ)成本與風(fēng)險(xiǎn)
定制化表級(jí)歸檔方式,可降低對(duì)歸檔存儲(chǔ)空間的消耗,通過(guò)創(chuàng)新使用分布式數(shù)據(jù)湖存儲(chǔ)架構(gòu),不僅滿足數(shù)據(jù)歸檔的可靠性,同時(shí)也顯著降低對(duì)傳統(tǒng)磁帶存儲(chǔ)的依賴,避免磁帶介質(zhì)更新?lián)Q代帶來(lái)的高額運(yùn)維成本和數(shù)據(jù)恢復(fù)風(fēng)險(xiǎn)。
瑞數(shù)信息為銀行數(shù)據(jù)管理搭建以下能力:
1.數(shù)據(jù)生命周期管理能力
通過(guò)建立完整的數(shù)據(jù)歸檔框架,實(shí)現(xiàn)按表粒度的精準(zhǔn)歸檔管理,確保數(shù)據(jù)在整個(gè)生命周期中的可追溯性和完整性。方案支持定制化的歸檔策略,建立數(shù)據(jù)質(zhì)量控制機(jī)制,保證歸檔過(guò)程中的數(shù)據(jù)一致性,并通過(guò)全面的合規(guī)審計(jì)體系,滿足監(jiān)管要求。
2.技術(shù)架構(gòu)能力
采用現(xiàn)代化分布式架構(gòu),構(gòu)建高性能、可擴(kuò)展的數(shù)據(jù)處理體系。通過(guò)數(shù)據(jù)湖技術(shù)實(shí)現(xiàn)統(tǒng)一存儲(chǔ),支持多種數(shù)據(jù)格式和處理模式。去平臺(tái)化設(shè)計(jì)確保數(shù)據(jù)可在不同系統(tǒng)間靈活遷移和訪問(wèn),突破傳統(tǒng)架構(gòu)局限,提供更高效的數(shù)據(jù)服務(wù)能力。
3.運(yùn)維管理能力
打造智能化運(yùn)維體系,實(shí)現(xiàn)歸檔流程的自動(dòng)化管理。通過(guò)監(jiān)控預(yù)警機(jī)制,及時(shí)發(fā)現(xiàn)和處理潛在問(wèn)題。建立完善的運(yùn)維管理流程,優(yōu)化資源配置,提高系統(tǒng)穩(wěn)定性和可靠性,降低人工干預(yù)需求。
4.數(shù)據(jù)服務(wù)能力
提供靈活多樣的數(shù)據(jù)訪問(wèn)接口,支持實(shí)時(shí)查詢和歷史數(shù)據(jù)快速檢索。通過(guò)標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)層,滿足不同業(yè)務(wù)場(chǎng)景的數(shù)據(jù)需求。支持多維度數(shù)據(jù)分析,為業(yè)務(wù)決策提供數(shù)據(jù)支持,提升數(shù)據(jù)價(jià)值。
5.風(fēng)險(xiǎn)控制能力
構(gòu)建全方位的數(shù)據(jù)安全防護(hù)體系,包括訪問(wèn)控制、加密保護(hù)、審計(jì)跟蹤等機(jī)制。建立細(xì)粒度的權(quán)限管理,確保數(shù)據(jù)訪問(wèn)的安全性。通過(guò)合規(guī)檢查和風(fēng)險(xiǎn)評(píng)估,防范數(shù)據(jù)安全風(fēng)險(xiǎn),保護(hù)銀行核心數(shù)據(jù)資產(chǎn)。
6.成本優(yōu)化能力
通過(guò)智能化管理和資源優(yōu)化,顯著降低存儲(chǔ)成本和運(yùn)維投入。減少對(duì)傳統(tǒng)磁帶存儲(chǔ)的依賴,優(yōu)化人力資源配置,提高運(yùn)營(yíng)效率。通過(guò)總擁有成本(TCO)的系統(tǒng)性管理,實(shí)現(xiàn)長(zhǎng)期成本收益的最優(yōu)平衡。
這六大能力的有機(jī)結(jié)合,為銀行構(gòu)建了一個(gè)高效、安全、經(jīng)濟(jì)的長(zhǎng)期數(shù)據(jù)管理體系,有效解決了傳統(tǒng)歸檔方案面臨的各種挑戰(zhàn),為銀行數(shù)字化轉(zhuǎn)型提供堅(jiān)實(shí)支撐。該方案不僅滿足當(dāng)前業(yè)務(wù)需求,還具備面向未來(lái)的可擴(kuò)展性,能夠持續(xù)適應(yīng)銀行業(yè)務(wù)發(fā)展和技術(shù)演進(jìn)的需要。
四、金融行業(yè)客戶名單
某股份制商業(yè)銀行。
五、客戶評(píng)價(jià)
該股份制商業(yè)銀行數(shù)據(jù)中心評(píng)價(jià):
瑞數(shù)分布式數(shù)據(jù)庫(kù)表級(jí)去平臺(tái)化歸檔解決方案創(chuàng)新性地解決了銀行長(zhǎng)期困擾的數(shù)據(jù)歸檔難題。方案不僅在技術(shù)層面實(shí)現(xiàn)突破,通過(guò)表級(jí)精準(zhǔn)歸檔和去平臺(tái)化設(shè)計(jì)顯著提升了效率,還從根本上解決了傳統(tǒng)磁帶歸檔方式帶來(lái)的各種痛點(diǎn)。實(shí)施后,數(shù)據(jù)調(diào)用更便捷、存儲(chǔ)成本大幅降低、運(yùn)維更簡(jiǎn)單,完全滿足了監(jiān)管合規(guī)要求。特別值得稱贊的是,方案的長(zhǎng)期價(jià)值突出,為銀行未來(lái)的數(shù)據(jù)治理奠定了堅(jiān)實(shí)基礎(chǔ)。總體而言,這是一個(gè)技術(shù)先進(jìn)、實(shí)用性強(qiáng)、具有顯著投資回報(bào)的創(chuàng)新解決方案。
更多金融科技案例和金融數(shù)據(jù)智能優(yōu)秀解決方案,請(qǐng)?jiān)跀?shù)字金融創(chuàng)新知識(shí)服務(wù)平臺(tái)-金科創(chuàng)新社案例庫(kù)、選型庫(kù)查看。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.