4月29日，在2024中關村論壇“中關村國際技術交易大會-第八屆中國網信產業前鋒匯”網絡安全產業論壇上，螞蟻集團首席技術安全官韋韜進行主題演講，提出推動行業AI的變革從“引擎”走向“整車”，并提出了“DKCF大模型應用可信框架”。

韋韜認為，大模型是一個智力引擎，在不同場景下需要不同的智力引擎。此外，大模型在實際應用中光有引擎也不夠，大模型落地要解決安全可信問題，從而構造一輛輛配套的“整車”才能在產業應用中真正跑起來。DKCF框架將會為大模型這個“智力引擎”配上行業應用所必須的安全“底盤”、協同“電控”、知識“電池”及數據鏈路駛向問題解答的“道路”，形成完整可信智能體。在這樣的框架推動下，將會有越來越多的專業行業迎來智力變革。據了解，DKCF是螞蟻集團在實踐中總結出來的AI原生可信應用框架。

以下內容整理自韋韜的現場分享：

各位領導、各位老師、各位專家，非常榮幸借此機會給大家介紹螞蟻集團在大模型可信應用方面的一些工作。

大模型出來以后，但凡是個科技場一定會談這件事情，但是又能看到整體上目前還存在割裂的一面：AI在各種新聞和論文里已經無所不能，但在諸多行業應用領域，AI目前依然停留在“磚家”水平，只能落在某一個環節，且還存在各種各樣的問題。AI對產業的提升作用，遠沒有達到理想的狀態。更糟糕的是，目前在醫學等專業領域使用AI時，已經有一些專家提出明確質疑：“聰明的AI只能幫些小忙，笨的AI會捅大簍子”。這里究竟是AI將再次辜負大家的希望，還是說目前行業在應用大模型時方式方法上也需要進行突破？

螞蟻集團一直非常堅定的在擁抱AI，也在金融、醫療、安全等專業領域的應用方面做了很多的實踐和嘗試。我們確信AI會給世界帶來巨大改變，但后繼要做的大量工作，遠遠不止是局限在GPT大模型自身的事情，而是需要在行業AI應用的整體框架上做更全面更扎實的工作，才能真正走向對行業發展有重大推動力的行業人工智能時代。

首先，回到本源來思考：GPT給大模型帶來的本質變化是什么？AI究竟是智能、本能還是智力？

前些年我和行業內很多專家認為，我們在做的AI是技能而不是智力，包括當時的深度學習、AlphaGo在內都只是一種特定“技能”，并沒有產生通用智力。而GPT出來以后人類首次制造出了高階通用的“智力”，這是一個真正的巨大的變化。現在計算機做的事情不再是人類手把手教它的事情，不是我們編在電路里面、編在程序里面的事情，而是它自己能學習、掌握、舉一反三、融會貫通，是真正產生了智力。

這代表著人類第一次制造出了“智力引擎”，這件事情就像當年瓦特造出蒸汽機一樣。蒸汽機是一個“動力引擎”，而這次造出來一個“智力引擎”，這是一個巨大飛躍。

GPT大模型有三個高階通用“智力”能力：

1、歸納內化。它學習的信息大到一定量之后，就能夠“頓悟”成為內化知識。

2、知識概念。抽象知識概念去匹配、去應用、去驗證，不再需要去寫智能表達式。這是知識把握的能力。

3、多步推理。從單步到多步開放推理，技能到智力的質變。就象我們在學校里做幾何題，添了一條輔助線就會把問題變得簡單。多步推理能把復雜問題變成一步步簡單的問題，這是智力非常核心的能力。

但有了“智力”并不意味著就天然成為各行業的“專家”，GPT大模型真正在行業應用時依然會面臨嚴峻的挑戰：

比如，推理核驗與殘差。GPT目前還未解決幻覺問題，其應用在聊天對話、幫助做文摘可以，但用在行業應用方面，還是很容易出現“表演傾向”胡說八道的情況，這在做專業決策時是萬萬不行的。專業決策要進行關鍵驗證，特別是在做決策時要能指出“信息不足”或意識到“能力不足”而不是胡亂給出一個結論。這是目前GPT大模型推理核驗的一個巨大問題。

這背后在本源上有幾個嚴重的問題：

首先是專業知識工程。如今的大模型是由通用知識來訓練而成，而專業知識庫難以通過通用信息獲得，需大量專家參與。專業概念把握正確與否，是“專家”和“磚家”的一個顯著區別。

其次是反饋循環效率。反饋是現代控制系統的核心機制。GPT架構的反饋循環效率非常低，GPT大模型的SFT、RLHF等迭代代價相當大，難以高效內化場景知識的變更。這也是GPT在行業應用面臨的一個嚴重問題。

最后是萬用能力及信息匯聚單點。隨著GPT能力不斷的提升，業界有著巨大的沖動把各種信息（RAG）和各種工具（Tool）都接入到大模型上。但是當前的大模型應用系統本質上是缺乏基本的安全范式思考和設計的。假如大模型被突破，其接入的各種工具、系統、信息都會面臨嚴重的安全威脅。這也是需要行業共同思考和應對的挑戰。

我們把大模型的能力及需要改進的問題想清楚后，再去看GPT智力引擎在行業應用發展的大方向，就比較清晰了。GPT大模型它是一個智力引擎，但就像一種發動機無法適配所有車型一樣，大模型的性能和成本也有巨大差別，在不同場景下需要不同的智力引擎。此外，解決行業專業問題，也不是光有引擎就行，我們需要構造一輛輛配套的“整車”才能真正跑起來。

不同規模的GPT大模型，大小從幾十億、到幾百億、到幾千億差異很大，它們作為“智力引擎”在通用智力維度上也有很大區別，包括核心的邏輯能力、數學能力、知識面廣度和深度、工具調用能力等。同時，它們的性能和成本也有巨大差別，所以在不同的應用場景下需要不同的智力引擎。將這些引擎用在各個行業場景時，還面臨著如下幾方面的關鍵挑戰。

首先是智力推理。蒸汽機的作用是推動火車往前跑，智力引擎就是做推理。但純黑盒化推理決策是有嚴峻風險的，沒有可靠約束的情況下，很容易“跑飛”。具體而言包括，不知道適用的范圍(表演型人格)；不知道故障的發生(神經病癥)；不知道風險的來臨(偏執型人格)，深黑盒AI技術很難在微觀機制層面進行有效解釋。如何把決策過程白盒化，使其可解釋？這在以前的深度學習階段可能是件極其艱難的事，但是大模型出現后帶來了一定的轉機。

打個比方，以前在深度學習階段的AI還是嬰兒狀態，我們無法讓嬰兒解釋自己想要干什么。但是現在GPT已經成長為一個少年，它可以自己給自己的推理決策作出解釋。即其作出的決策是GPT大模型自己可解構、可解釋的。隨著能力的增強，它還會逐漸成長為中學生、大學生，把自己的推理解釋的更清楚、更完備。推理過程自解構，并能進行分拆驗證，這是推理層面白盒化是能做的事情。即使在今天我們也很難通過給大腦拍CT來解釋大腦的復雜決策細節。但是可以在宏觀規則層面，對復雜推理決策進行解釋，這是整個智力層面推理白盒化要做的事情。但要保障這個過程的可靠性，則需要專業知識工程提供詳細的知識供給，以對解釋分拆進行專業性驗證，同時需要協同機制來進行高性能核驗，并需要反饋機制基于殘差識別進行數據供給等工作的聯動。

知識供給：概念的準確與否，是“專家”和“磚家”的基本界限。知識供給需要專業知識工程。建設行業的高質量數據集只是第一步，后面還需要把數據集匯聚成領域知識圖譜，保障它的準確性、完備性和可計算性，并做相關的驗證。行業在這一方面有不少探索，比如把大模型和知識圖譜結合，來增強大模型的專業知識供給。比如螞蟻集團最近和知識圖譜社區共同發布開源的OpenSPG（語義增強可編程知識圖譜），能很好的來支撐大模型做行業的專業知識圖譜。在這個過程中，專業知識圖譜的構建也將和以前有巨大的區別，大模型在歸納總結上發揮巨大的作用，但重要的是要和專家做知識對齊。

智力協同：大模型在行業應用時未來的趨勢一定不是單一引擎。特別是復雜任務場景，它不是靠一個智能體就能解決問題，必然需要多個智能體協同交流。多個智能體之間的任務規劃、編排、協同越來越重要。其中規劃部分是第一個核心，多步規劃本身是一個巨大的智力和專業雙重挑戰。目前在實踐上，專家參與的基于專業知識工程提供的SOP（標準操作流程）來做規劃是最佳實踐；未來規劃Agent技術逐步成熟后，可以與專家知識一起迭代，形成最佳規劃的持續迭代優化。無論哪種方法，在將一個復雜任務經過規劃分拆成更小規模的子任務后，多智能體協同都能顯著提升大模型在行業應用的效能。

核驗與反饋：學過計算機的人都知道，NP問題檢驗是比較簡單的，但是推理是相當復雜的。所以在核驗時，復雜度是遠小于多步推理的，這樣就可以利用更高性能、更低成本的大模型，來做完成核驗這一工作。這對大模型在各個行業中的應用也十分重要。現在的通用大模型在缺乏核驗時，專業領域多步推理“跑飛”的概率很大，甚至會超過30%。而反饋對于大模型而言也是重要的一環，反饋是現代控制系統的核心機制。如前面所說，現階段大模型自身的反饋機制，還是非常低效的，GPT大模型的SFT、RLHF等迭代代價相當大，難以高效內化場景知識的變更。對于實時任務來說，很難起到應有作用，所以在數據反饋、人工反饋、知識反饋上都需要做全新的設計。特別是對今天信息鏈路供給嚴重不足的很多專業場景，“信息不足”的推理研判結果要驅動數據供給，才能夠形成一個完整的業務閉環。

智力成為匯聚性單點：大模型在接入各種各樣的能力、各種各樣的信息成為一個龐大系統的匯聚單點以后，如果自身沒有安全保障、易于被攻擊者控制時，會造成災難性后果。但在當前，Agent協同體系普遍缺乏原生安全范式設計的認知。

首先，訪問控制策略上應遵循OVTP可溯范式（Operator-Voucher-Traceable Paradigm）。大模型應用系統在安全策略層應當遵循OVTP可溯范式，即大模型對所有工具或外部信息的訪問控制都應基于該訪問的操作者鏈路（Operator）和憑證鏈路(Voucher)的端到端信息來決策，而不是直接使用大模型自身的身份。不幸，這在今天業界是常態，大模型的工具調用和信息調用目前普遍缺乏身份和憑據透傳,容易導致大量身份混淆攻擊和信息泄露的嚴重安全風險。更嚴重的是，今天大模型會學習很多信息。當一個信息被大模型內化之后，如何讓大模型區分哪些東西可以講只能對誰講，哪些東西不能講，仍然未得到很好地解決。所以對于行業大模型的應用，建議敏感信息不要讓大模型去學習，而是在實際應用中通過RAG外掛對接，在RAG訪問是做符合OVTP范式的訪問控制。

其次，訪問控制機制上應遵循NbSP零越范式（Non-bypassable Security Paradigm）。零越范式是一個更基礎技術要求，即應當確保關鍵安全檢查點不可被繞過，所有繞過的行為皆為非法。零越范式NbSP是網絡空間安全保障的一個必要條件，而且是其他網絡安全基本屬性，如機密性、完整性、可用性等的更基本更底層的一個安全范式。NbSP范式是決定網絡空間分層分區設計與實現的一個本源范式，其范圍也是跨維度的。今天的大模型應用系統這個挑戰非常嚴峻。因為大模型平臺自身相當復雜，同時還在不停的接入越來越多、各種各樣的工具系統，在AI平臺、應用框架、第三方庫等等位置都可能引入嚴重安全漏洞，或者有密鑰泄露，這些都將導致訪問控制點被繞過。今天能夠看到已經陸續出現了不少安全事件，包括OpenAI、HuggingFace等都受到攻擊。更嚴重的是，GPT大模型主體上是一個對話式的API，GPT大模型本身無法區分哪些輸入是系統的指令，哪些輸入是用戶的數據。這樣就產生了一個我們稱之為ChatInjection的巨大的攻擊面，類似于大家耳熟能詳的SQLInjection，但邊界更加模糊，更加難以防范。最近很多大模型相關的攻擊，比如大模型越獄，Prompt竊取，工具命令植入等等，本質上都是這個類型的攻擊。需要業界在ChatInjection安全方面有更系統化的機制去防范。

可以見到當大模型成為萬用能力、萬用信息接入點后，它的應用規模系統是非常龐大而復雜的，變更非?？焖伲脗鹘y的防御體系已難以滿足需求，需要一種既融合又解耦的新安全機制來保障整體系統的安全。螞蟻集團在這方面也有一些探索，我們正在基于安全平行切面做可信的智能防御體系，構建面向Agent的原生安全底盤，來為大模型應用系統提供OVTP/NbSP等原生安全范式的完整和持續保障。

最后，智力實踐的上限是數據。數據決定了問題可解的上限。缺乏數據的時候，大模型傾向于胡說八道，最終行業問題的解決依賴于關鍵數據能否按需獲得。這在大模型“智力引擎”出現之前，數據供給問題不是很突出，因為總可以有人去手工對接。當大模型越來越廣泛的應用的時候，數據供給問題也越來越迫切。

DKCF大模型應用可信框架：總結一下，在專業領域問題空間中，大模型是智力“引擎”，專業知識庫是智力“電池”，協同反饋是“電控”，安全為“底盤”，而數據鏈路為駛向問題解答的“道路”，整體構成了完整可信智能體。這也是我今天想跟大家分享的DKCF大模型應用可信框架。

具體而言，引擎（GPT大模型）需要匹配領域場景，特別是成本和性能限制；電池（專業知識Knowledge）可以是純電的（大模型內置），也可以是增程的（外置知識圖譜，通過RAG對接）；道路（數據鏈路Data）必須要是通達的，否則會導致車禍（大模型胡說八道給出錯誤解答）；智能電控一方面需要處理好各個部件間的工作協同(Collabration)，另一方面需要將道路的情況（特別是數據不足）進行及時反饋(Feedback)；而安全需要成為智能系統的內生能力，不僅僅是保險帶和氣囊這樣的獨立部件，更要在底盤設計實現時就要保障好安全性。

我們認為行業AI的變革需要從“引擎”走向“整車”。GPT大模型在行業里首次實現了“人造智力引擎”，但光有智力“引擎”遠遠不夠，如果只用這個引擎就會發現，聰明的AI只幫小忙，而笨的AI捅大簍子。我們需要DKCF這樣的可信框架，推動行業大模型安全可信，從而助力大模型應用變革，推動越來越多的專業行業迎來智力革命。

謝謝大家！