近年來,電信網絡詐騙給人民財產安全和社會穩定帶來了巨大的隱患,防范形式越發嚴峻,僅2023年,國家反詐中心下發的資金預警指令多達940余萬條,緊急止付3288億元。2016年起,相關部門陸續出臺了一系列法律法規,堅決遏制電信網絡詐騙的高發蔓延勢頭。
基于以上背景,貴州銀行于2020年8月啟動基于動態特征與全場景的高性能反欺詐平臺建設,并于2022年3月完成包含統一數據接入、策略配置、指標配置、函數配置等功能投產;2023年4月完成與反洗錢、運管平臺等系統對接,并引入關聯網絡。該平臺以低代碼、高性能、高可靠、安全性為設計要素,通過對接公安廳、柜面、客服等,實現警銀聯動,構建全場景的反欺詐業務閉環。
貴州銀行信息科技部總經理 韓凌中
解決的主要問題及創新點
1. 解決的問題
反電信網絡詐騙面臨諸多挑戰:一是欺詐手段變化快、技術對抗激烈,銀行防控成本高;二是專業團伙作案手段高明,傳統反詐手段難以識別;三是傳統反詐手段偏事后,缺少實時防控手段;四是犯罪分子將詐騙行為隱藏在海量正常行為中,詐騙行為特征弱;五是欺詐手段變化快,模型和策略的優化迭代速度跟不上欺詐手段變化;六是采用一刀切的管控手段,會引起大量客戶投訴;七是總行、分行、支行,以及各部門、各系統之間的聯動性不強,難以形成聯合防控形勢;八是缺少統一的防控平臺,無法形成全面的風險視圖。
2. 主要創新點
(1)利用大數據、AI、知識圖譜挖掘潛在特征。根據客戶、賬戶數據和與之交易關聯的設備數據、流水數據等,分析出客戶的設備、交易行為習慣等特征,構建客戶、賬戶等特征寬表,借助已有的好壞樣本數據,采用機器學習分類和聚類方法挖掘欺詐客戶存在的潛在特征后,沉淀成規則供反欺詐系統使用。通過全行的交易數據,識別交易對手、設備、聯系人等,將數據進行關聯,構建出點和邊的關系,形成圖譜網絡,應用一定的算法篩選詐騙團伙,與反欺詐系統聯動,及時控制風險團伙交易。
(2)設計實現了高效的動態特征數據存儲模型。通過將數據指標拆分為計算維度(主屬性)、計算字段、時間分片三個維度,快速構建指標的三維存儲結構。計算維度一般與客戶相關,如客戶賬號、客戶IP、客戶手機號等。計算字段是根據計算方法需要計算的數據,如金額、時間等,時間分片按小時、按天、按周、按月等。通過多維度的數據存儲模型,結合連續的時間分片,實現高效的指標數據存儲模型。
(3)設計實現了基于滑動窗口的高性能動態特征計算引擎。考慮到Spark streaming和Flink分別為微批處理模式和分桶處理模式,沒有一個完整的查詢方案,無法滿足風控的場景要求,自主設計了基于滑動窗口的計算機制。基于指標數據存儲模型中的時間分區,在指標定義時固定計算窗口,基于Redis的高性能和時間序列技術,采用Redis原生支持的Lua腳本和有效的時間分片實現指標的高性能計算和查詢。
(4)設計實現了高效的規則解析執行引擎。傳統規則引擎需要將XML配置文件解析編譯成字節碼文件,如果規則過多,會造成大量占用方法區內存引起的性能問題。為解決上述問題,我行設計了基于原生函數實現的規則解析和執行引擎。通過將所有規則表達式拆解為變量和函數,對規則引擎進行了高度抽象,直接調用原生函數,擯棄了多余環節,避免多余資源消耗。規則策略不需經過代碼預編譯,對方法區內存的資源占用不會隨規則策略數量增長而增長,從而實現規則的高效執行。
(5)設計實現了名單服務的多層級業務降級機制。反欺詐平臺是基于規則引擎構建的,所有的判斷決策都依賴于規則引擎執行策略,名單服務也依賴執行策略。為保證業務連續性,并保障基礎安全,名單服務實現了兩層高可用設計邏輯。一是在系統內部,設計實現了繞過規則引擎,直接通過API網關獨立調用名單服務進行判斷邏輯,確保名單服務持續可用。二是在核心系統設計實現了名單兜底機制。每日日終反欺詐平臺的名單數據會推送到核心系統,核心系統自動入庫。當反欺詐平臺整體不可用時,打開核心系統的名單兜底開關,所有動賬交易在執行時均能保證在名單中該拒則拒。
(6)設計實現了關鍵組件的多級容災機制。針對ES、MongoDB、Redis等關鍵組件,除了借助金融云平臺PaaS層提供的多副本和主從切換機制,在同城中心單獨申請了資源對等的一套組件資源,在應用層實現組件探活,制定了嚴格的基礎組件異常失敗檢測和集群切換集中仲裁判斷,實現應用層的關鍵組件高可用。
(7)設計實現了服務的多中心多活機制。所有服務基于Docker部署,通過金融云平臺和微服務平臺,快速實現應用的擴縮容。除此之外,在數據中心之間,構建了跨中心應用網關,當本中心不可用時,能夠借助交易的跨中心路由能力,將本中心業務請求轉發到同城數據中心執行后返回,保障業務連續性。
(8)設計實現了策略實驗室、灰度發布、冠軍挑戰等多種策略迭代機制。策略實驗室支持策略的快速可視化驗證,包括單筆交易、多筆交易驗證,也支持線上實時數據和歷史數據驗證,選擇過去一段時間的數據作用到新的策略上,快速驗證策略效果。與傳統意義的灰度發布有所不同,我行設計的灰度發布作用于新上線的策略規則上,若設置為灰度模式,則策略會產生命中情況和結果,但不會實質性對交易產生阻斷、預警等,用于評估新上線策略的效果。
(9)建立了交易報文的自動映射機制,實現應用系統的快速接入。全行服務交易通過企業服務總線進行服務治理,企業服務總線直接將交易事件轉發到反欺詐系統。在接口治理下,企業服務總線可以將原始報文轉換為反欺詐需要的報文,通過字段配置實現報文自動映射和交易系統的快速接入。
(10)實現了全流程的可視化防控策略配置。實現全流程策略的可視化配置和敏捷迭代支持。通過“拖拉拽”的方式完成復雜的策略配置工作,實現策略從數據對接、數據加工、數據配置、決策結果的全流程向導式配置和規范化管理。同時,通過策略的灰度發布、冠軍挑戰、策略實驗室等模式,完成新策略的測試、驗證和發布,為策略迭代提供了敏捷支持。
(11)實現了全路徑交易的回溯。交易鏈路全量記錄,通過倒排索引技術,快速檢索相關數據,實現全渠道的鏈路數據分析。全量篩選抽象設計策略與策略執行結果,數據結構上保持一致,記錄具體的變量id、指標id、數據服務id,以及相關變量的具體值,通過大數據可視化技術,可視化還原模型執行情況,包括執行的策略,當時的變量值、指標值,名單是否命中,策略是否命中,命中后執行的動作,返回的風險等級和風險處置建議等回溯策略執行詳情。
案例主要建設內容
本項目整體構建了事前、事中、事后的全場景防控體系(如圖1所示)。事前,根據人工分析,部署開戶準入策略,結合名單策略,實現開戶前自動風險探測。事中,通過構建的事中交易防控策略和事中交易AI模型,結合名單策略,將傳統專家規則和AI模型進行結合,筑好事中欺詐防火墻;同時,針對區域差異和模型衰減問題,針對性制定監控和訓練策略。事后通過關聯圖譜和AI模型,構建賬戶風險預警、賬戶分類分級體系和反洗錢評級模型,風險客戶或賬戶形成名單供反欺詐事前、事中防控。
圖1 反欺詐平臺系統架構
系統功能層面,提供了低代碼、高性能、高可靠、強安全等能力。一是在低代碼層面,實現了從字段管理、字段映射、數據接入、指標定義、策略執行、全交易鏈路追蹤的可視化。二是在高性能層面,從零設計了基于Redis的動態特征存儲模型,并設計實現了基于滑動窗口的動態特征計算模型,高度抽象了一系列原生函數,避免使用Drools類似框架帶來的性能開銷。三是在高可靠方面,采用雙中心雙活架構部署,并對云平臺的關鍵組件設計了應用層的容災方案,對關鍵的名單服務做了多層級業務降級設計。四是在安全性方面,從防篡改、審計日志、權限管理等方面實現全系統的安全管理。
(1)充分利用機器學習和知識圖譜技術,推動電信網絡詐騙防范工作從事后向事前和事中轉變。機器學習體系共分為四層,原始數據層、結構化數據層、特征挖掘層、業務模型層。在原始數據層,主要是將各個業務系統流轉、公安下發、外部請求的數據無損耗地進行存儲;在結構化數據層,主要進行原始數據Json解析、時間序列串聯、根據業務需求串聯系統數據等,這一層主要運用到的技術是HIVE、Spark等數據批處理引擎;在特征挖掘層,以結構化數據為基礎,通過機器學習特征工程技術加業務經驗等方法,將數據處理為適合輸入模型的形式,這個部分所使用到的技術是獨熱編碼、啞變量、詞嵌入、數據交叉等,作為模型輸入的特征,這個部分決定了模型效果的上限;在業務模型層,根據對業務的理解選取合適的算法,對特征x到標簽y的映射關系進行建模,主要用到的技術是邏輯回歸、集成樹(包括Xgboost、Light GBM等)、關聯網絡、圖卷積網絡等。本系統中運用機器學習技術建立了賬戶風險評級模型、事中交易模型、開戶評分模型、關聯圖譜、特征挖掘流程等。
(2)高效的動態特征數據存儲模型設計實現。將數據指標拆分為計算維度(主屬性)、計算字段、時間分片三個維度,快速構建指標的三維存儲結構。以“近3個小時客戶賬號入賬總金額”這個指標為例,時間范圍為過去3個小時,計算精度按照小時分區,在指標存儲時,每小時存儲一個匯總的入賬總金額,最終每一個立體塊中,存儲每個小時內單個賬戶的匯總入賬金額,為后面的高性能計算提供支撐,如圖2所示。
圖2 數據存儲模型
(3)基于滑動窗口的高性能動態特征計算引擎設計?;跁r間窗口移動的動態特征數據快速處理技術,實現數據驅動結果動態更新,系統時鐘驅動結果按時變化,時間窗口自動設置即刻計算,時間單位計算精度按需調整。采用增量計算方式實現普通統計、求和、求關聯、求平均、歷史指標、最大值、最小值、標準差、四階中心距,頻次排行、連續統計等算法。如圖3所示,尾號101的卡號在T3時刻的近3小時交易總金額為700元,在T3時刻的近3小時交易總金額變化為800元,只需要基于滑動窗口前移1個小時計算即可。使用高性能分布式緩存,實現高可用、高性能、高可擴展性,設計多維數據存儲結構,提升存儲和檢索效率。通過將數據指標拆分為時間維度、計算字段、計算維度、計算方法幾個部分,快速實現計算指標的配置。已經定義配置了1113個實時指標,作用于多個反詐規則策略和反詐模型。
圖3 滑動窗口計算引擎設計
(4)高效的規則解析執行引擎設計。傳統計算引擎使用XML配置存儲規則信息,再通過規則引擎解析XML形成代碼,導致系統運行指標隨規則增加而逐漸下降,影響系統性能,如Drools引擎。我行反欺詐平臺擯棄了傳統的開源規則引擎,對規則執行結構進行了專項優化,擯棄了多余環節,實現了一系列原生函數,避免多余資源消耗。規則策略不需經過代碼預編譯,對內存等資源占用不會隨規則策略數量增長而增長,從而實現規則的高效執行。以規則引擎為基礎,擴展設計出規則關聯的字段、函數、風險類型、指標、數據服務等可視化配置轉換功能,并支持灰度模式、冠軍挑戰等能力,還創新提出策略實驗室功能,做到在線驗證。在此基礎上可以使用人工分析特征,配置事中交易防控策略。
(5)應用層雙活設計。我行數據中心分布在觀山湖區和貴安新區,兩中心應用采取雙活模式,同時對外提供服務。反欺詐平臺在我行觀山湖數據中心和貴安數據中心采取雙活部署,通過我行企業服務總線的邊緣網關自動實現跨中心路由。關鍵組件方面,均使用金融云平臺提供的PaaS能力,Redis采用五主五從設計,Kafka采用三副本機制,MongoDB采用多副本集群設計,ES采用三副本機制,TDSQL采用一主三從模式部署。上述主節點在觀山湖,部分備節點在貴安。此外,在貴安數據中心有全套反欺詐數據庫環境,平時為備份狀態,在云平臺提供的PaaS能力無法保障情況下,可快速切換到貴安數據庫提供服務。
(6)關鍵組件的多級容災設計。針對ES、MongoDB、Redis等關鍵組件,除了借助金融云平臺PaaS層提供的容災能力外,在反欺詐應用層面也做了容災設計。在同城中心單獨申請了資源對等的一套組件資源,在應用層實現組件探活,制定了嚴格的單節點失敗條件和集群切換判斷條件,實現應用的關鍵組件高可用(如圖4所示)。
圖4 關鍵組件的應用層容災設計
(7)基于名單服務的多層級業務降級設計。反欺詐平臺是基于規則引擎構建的,所有的判斷決策都依賴于規則引擎,名單服務也是如此。為保證名單服務的高可用,有兩層高可用設計邏輯。一是在系統內部,設計實現了繞過規則引擎,直接通過API網關獨立調用名單服務的判斷邏輯,實現名單服務的高可用。二是在核心系統,設計實現了名單兜底機制。每日日終反欺詐平臺的名單數據會推送到核心系統,核心系統自動入庫。當反欺詐平臺整體不可用時,打開核心系統的名單兜底開關,所有動賬交易在執行時均能保證該拒則拒。
(8)全流程可視化防控策略配置和全路徑交易追蹤。系統從字段接入、指標定義到規則上線全部使用可視化配置實現,操作習慣以用戶體驗為核心,實現零成本使用。在交易回溯方面,支持查詢系統的風控引擎風險識別日志,及時了解業務系統的風險情況和定位風險源頭及數據回放,查看策略的執行結果,并支持通過各類查詢條件組合進行篩選。支持可視化的策略優化功能,系統有策略實驗室,可支持將配置的規則進行試驗,包括線上實時數據、線上歷史數據、自定義數據(多筆)和自定義(單筆),對規則正確性進行試驗。系統策略的灰度模式可將一定比例的流量接入新規則,避免大多數客戶因為新規則而受到影響。系統策略可設定多個冠軍挑戰者模式策略,對比多個策略的執行情況,最終將流量切入運行最好的策略中。可以對傳統開發流程進行裁剪、線上開發、線上測試,將敏捷能力發揮到極致。
案例效果
一是形成了全場景業務聯動的聯防聯控機制。以事前、事中防控為主,事后反哺事前事中的模型迭代模式。實現總分支行聯動,警銀協助機制,并聯動客服、柜面、司法查控、疑似涉詐賬戶防范系統、反洗錢、運營管理等。事前結合名單和已經發現的風險特征,建立賬戶開戶準入策略,對高風險賬戶阻斷開戶,中風險客戶渠道或者限額管控,防范風險的同時做到應開盡開,保障人民用卡方便。事中以大規模動態特征實時計算為變量基礎,使用專家策略和AI模型,結合名單策略實時攔截風險交易。事后以反洗錢和運營管理為基礎,使用機器學習模型迭代,使用關聯網絡挖掘團伙,建立反洗錢評級和賬戶分類分級機制,并建立賬戶風險預警模型,產出的風險名單用于事前和事中交易識別。總分支聯動方面,總行運營管理部建立了總分總聯動的機制,制定具體的反詐聯動管理辦法,保障日常運營順暢。警銀協助機制,總行安全管理部聯動省公安廳對接反詐需求,落實反詐要求,分行安全管理對接地方反詐中心,落實地方反詐要求,可以做到及時凍結涉詐賬戶和被害人賬戶。系統聯動方面,對接全行24個交易渠道系統,制定差異化防控策略模型,內聯運營管理平臺和反洗錢等,外聯司法查控和疑似涉詐賬戶防范系統等。
二是建立了模型策略效果穩定體系。電詐手段層出不窮,被模型和策略捕捉到的特征變化很快,導致對應的策略命中比例和模型特征貢獻度也在不斷動態變化,反饋到業務上就是模型和策略的效果不斷波動,如不加以制止,最終就會成為犯罪的突破口。我行從基礎數據、定時監控、特征洞察、模型/策略等方面進行優化,分層舉措保證模型/策略的穩定性。
三是建立了基于風險與價值維度的賬戶分類分級機制。賬戶風險評級模型包含交易金額、交易行為異常、資金流動方式、交易時間、交易集中度、交易頻率等八個風險評判維度,利用規則引擎的評分卡方式實現全行賬戶可信、普通、關注、可疑和風險五個賬戶等級的劃分;客戶價值模型包含行為、守約、身份、貢獻、征信、資產六個價值評判維度,對全行賬戶進行動態計算,把全行賬戶劃分為高價值、中高機制、中低價值、低價值和無價值五個等級;通過賬戶風險評級模型結果與客戶價值模型結果的融合運算,做到風險與價值的平衡。
四是建立了所見即所得的策略模型開發模式。以精準反詐為核心價值,以快速上線為目標,支撐業務人員通過可視化界面實現反欺詐策略的快速上線,通過策略實驗室能力保障策略上線質量,改變了需求分析、設計、開發、測試、上線的瀑布式需求實現流程,轉變為所見即所得、所配即所見的敏態開發模式。將原由技術人員主導的瀑布開發模式轉變為業務主導的自主配置、上線模式,使原來至少需要3~4周的防控需求縮短到1天內實現,開發效率平均提升20倍。且需求越復雜,成本節約越明顯。
總結
貴州銀行反欺詐平臺緊緊圍繞國家和監管要求,以“守好群眾錢袋子、提升用戶滿意度”為建設初衷,推動貴州銀行防范電信網絡詐騙從事后預警向事中攔截和事前預防轉變。項目以“理數據、優模型、建平臺、強管控”為目標,最終形成涉案銀行賬戶數量與客戶投訴數量“雙雙下降”的良好形勢,為貴州銀行防范電信網絡詐騙工作提供了企業級支撐。
項目從低代碼、高性能、高可靠、強安全等方面,打造了一個具備全面優勢的反欺詐平臺。在低代碼方面,從報文接入、變量配置、規則配置和上線,到全路徑交易鏈路追蹤、數據分析,全面實現可視化,打造了極致的用戶體驗。在高性能方面,設計實現了高效的數據存儲模型、高性能的指標計算引擎和規則執行引擎,規則引擎除了支持常規的冠軍挑戰外,創新性地提出策略實驗室、灰度發布等模式,支持規則策略的快速迭代和驗證。在高可靠方面,除了云平臺提供的PaaS層組件高可用外,針對ES、MongoDB、Redis等核心組件,實現了應用層高可用設計,并對監管強要求的名單服務具備應用內服務降級和全行級服務降級能力。在安全性方面,通過代碼掃描、MAC校驗、TOKEN認證、SSL、秘鑰交換、字段脫敏、安全水印、權限控制、日志審計等手段實現從代碼開發到系統運營全鏈路安全管控能力。
項目上線以來,通過賬戶治理、模型優化、強化聯動等手段,實現“去存量、控新增”的目標。建立了事前賬戶準入模型、事中交易AI模型、事中交易防控策略、賬戶分類分級體系、賬戶關聯網絡模型等,結合貴州本地特色,制定差異化防控策略,并形成警銀聯動、總分聯動機制,構建事前預警、事中對抗、事后分析與解控的防范電信網絡詐騙閉環。2023年,貴州銀行涉案賬戶降幅達到46.58%,客服投訴量下降22.73%,實現涉案卡和客戶投訴雙降目標。
(此文刊發于《金融電子化》2025年2月下半月刊)
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.