中國金融行業正走在發展的關鍵節點。
一方面,我國數字經濟與實體經濟加速融合,健全金融服務體系、提供多元金融服務成為大勢所趨;另一方面,市場需求的快速變化和外部環境的錯綜復雜,驅動著金融行業技術棧、決策邏輯、服務模式全面走向重塑。
這一切都需仰仗金融行業自身的數字化轉型。如果說數字化轉型是金融機構在數字經濟時代的“立柱架梁”,那么數據庫則是必不可少的“頂梁柱”。金融機構數據庫架構建設的成功與否,不僅關系著數據要素價值的發揮,更是未來積厚成勢的關鍵。
尤其以銀行為例,如今銀行的數據庫應用普遍具有體量大、覆蓋廣、節奏緊、變革快等特點,數字化轉型后,新數據庫建設既要兼顧高性能、高可靠,又要確保上線快、上手快。
近期,中國農業銀行以超級網銀項目為切入,基于華為GaussDB + OceanStor Dorado全閃存構建起雙集群容災體系,將傳統商業數據庫向采用存算分離架構的中國數據庫遷移,為我國金融機構的數字化轉型提供了一條可行之路。
01
數據庫再次走向存算分離
“合久必分、分久必合”是中國金融機構數據庫架構演進的真實寫照。
最早,大型金融機構采用大型機來解決核心交易場景對性能和可靠性的訴求,數據庫與計算、存儲緊耦合,存算一體架構在核心交易場景中發揮關鍵作用;但隨著商用數據庫、小型機、高端存儲的發展,經典的IOE架構出現,既滿足核心業務性能、可靠性需求,又填補大型機擴展性和靈活性差的弱點,使得數據庫架構走向存算分離,并成為千行百業廣泛、長期使用的經典架構。
2013年前后,互聯網技術和云計算的飛速發展,使線上數據量、用戶量急劇增加,像雙十一、春運搶票等場景給數據庫性能與擴展性帶來前所未有的挑戰, 以X86服務器為基礎的“存算一體”分布式數據庫在互聯網金融快速崛起。
但當傳統金融行業開始嘗新“存算一體”分布式數據庫時,卻發現“橘生淮北則為枳”,因為傳統金融行業并無像互聯網那樣的突發海量業務壓力,卻對數據庫長久可靠和易用易維有更高訴求。于是,金融行業數據庫再一次整體向“存算分離”演進。
可以說,業務需求變化一直在推動數據庫架構在金融領域的演進。目前來看,金融機構數據庫架構再次向存算分離演進已是大勢所趨。那么,“存算分離”的數據庫架構為何再次成為金融機構的首選方案呢?
首先,金融機構的數據庫覆蓋了核心交易、互金類APP、分析類應用、辦公等等上百個業務系統,其峰值性能要求一般不高于1w TPS,仍在傳統數據庫能力所及范圍內,遠遠低于互聯網行業動輒數十萬TPS的業務壓力;但對業務長期穩定運行、數據安全可靠存儲卻有極高要求。
在金融機構業務場景逐漸向國產數據庫遷移的趨勢下,采用存算一體架構的數據庫很難滿足金融機構核心業務場景對高可靠、長期穩定運行的要求。此外,互聯網廠商大都投入數千人進行分布式數據庫建設和運維,而傳統金融機構IT運維團隊人員大都在一百人以下,很難應對分布式數據庫頻繁出現且極其復雜的運維難題。
其次,金融機構數字化轉型步入深水區,包括數據庫在內的技術棧轉型既需要減少改造工作量和提升資源利用率,也需要實現快速迭代和滿足不斷涌現的業務需求,更需要匹配未來的管理和運維模式。
以傳統數據庫向存算一體分布式數據庫改造為例,由于全部采用性能與可靠性較低的服務器和本地盤,數據庫必須進行復雜的分庫分表,需要耗費大量的時間和人力在單元化修正、事務一致性保證和串并邏輯修正等工作上,且仍難做到完美改造,并對后期的開發帶來潛在困難。因此,數據庫采用存算分離成熟架構,并采用高水平的中國專業存儲成為成本更低、周期更短、更可信任的改造方式。
第三,不容忽視的事實是,分布式系統如今涵蓋了金融機構幾乎所有現代業務系統,但近年來頻發的分布式系統故障引起業務全面宕機事件,不得不讓眾多金融機構反思如何構建起完善的業務保護體系。
基于存算分離架構,數據庫可以建設可靠的跨集群容災機制,給分布式系統的安全性上了一道雙保險。如今,工行、農行等大行陸續建設數據庫存算分離+雙集群容災體系,這無疑是一個信號,數據庫存算分離+雙集群容災正在成為金融行業新核心數據庫建設的標準模式。
02
雙集群容災,為金融數字化保駕護航
分布式數據庫的雙集群容災如今正在發展成金融行業的標配。
相比于傳統分布式數據庫采用單集群拉遠的方式,雙集群容災可以防范集群故障導致的全局失效。
所謂雙集群容災,即一個系統由兩個分布式集群承載,兩個集群互為冗余的一種容災方式。一旦分布式集群遭遇故障,災備集群可以快速接替其工作,保證周邊系統可以繼續正常訪問,業務可以正常運行,也留出充裕的時間讓運維人員恢復故障集群。對于銀行關鍵業務系統而言,其雙集群容災需實現同城單數據中心或單個數據庫集群故障時,備集群切換RPO=0,RTO分鐘級。
雙集群容災原理與架構非常簡單,實現卻很困難。其技術難點在于,如何確保主備集群間故障完全隔離,同時滿足數據完全一致。業界眾多解決方案均只能實現前者,而無法保障數據一致性,因此無法滿足金融核心類應用的訴求。
針對雙集群容災,華為OceanData分布式數據庫存儲解決方案的實現方式是,數據庫采用存算分離架構,并將Redo Log流寫入OceanStor閃存存儲,利用專業存儲強大的同步復制功能將日志復制到遠端容災數據中心的存儲當中;同時,遠端數據中心通過日志實時回放,保證了備數據庫與主庫的數據一致。這一方案將數據同步傳輸的機制下沉到專業存儲側完成,因此數據庫生產集群和容災集群可以從數據面到管理面完全隔離,進而很好地應對管理節點或存儲故障導致整個集群發生癱瘓。
為什么通過存算分離可以做到這一點?其根本在于,專業存儲強大的雙活/同步復制能力,在兩個集群間構建了一條非常穩定、安全的數據傳輸“管道”。過去由數據庫層處理的網絡質量感知、路由切換、處理數據重傳和排序等工作,全部下沉到專業存儲去做,數據庫僅需關注本集群內的交易處理即可;而OceanStor閃存存儲不僅能夠高效、穩定的處理數據同步,還具備波分設備與存儲設備聯動的SOCC技術,可在毫秒級時間內感知到復制鏈路劣化,并在兩秒內完成鏈路倒換,避免因鏈路抖動導致金融前端業務交易失敗。
據了解,目前華為OceanData分布式數據庫存儲解決方案已經為包括工行、農行在內的國內大型金融機構建立起數據庫存算分離+雙集群容災方案,廣泛服務于信貸系統、超級網銀等銀行核心系統。
隨著金融機構走向體驗場景化、服務生態化、運營數字化、產品個性化、業務敏捷化,國內金融機構核心業務的數據庫遷移與改造將成為智慧金融建設的關鍵,而數據庫存算分離+雙集群容災方案正在成為金融新核心的建設標準。農行超級網銀項目的快速上線,也表明在快速變化的市場需求面前,數據庫架構走向存算分離是必然;利用好先進的中國專業存儲,將大大減少數據庫遷移的困難,全面提速智慧金融建設進度。
BREAK AWAY
01
02
03
04
05
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.