在數(shù)字化轉(zhuǎn)型和人工智能迅猛發(fā)展的今天，安全挑戰(zhàn)也隨之升級(jí)。為了探討AI時(shí)代下的紅藍(lán)攻防新范式，騰訊云安全云鼎實(shí)驗(yàn)室、西安智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室、LLM&Sec Landscape社區(qū)于3月1日聯(lián)合主辦了“模型有界，安全無疆”騰訊安全沙龍第2期（西安站）活動(dòng)。

本次活動(dòng)吸引了眾多安全專家和業(yè)內(nèi)人士的關(guān)注，在夢田音樂酒吧賽博朋克的氛圍籠罩下，眾多專家暢所欲言、暢快分享，令與會(huì)者在輕松的氛圍中共享知識(shí)盛宴，共同把脈大模型時(shí)代的安全未來。

本次沙龍，我們也榮幸參加。為免有滄海遺珠之憾，我們將各位專家學(xué)者的精彩演講提煉總結(jié)，予以分享。

主題一：

LLM應(yīng)用安全問題與應(yīng)對措施探索

祝榮吉

綠盟天元實(shí)驗(yàn)室高級(jí)研究員/M01N戰(zhàn)隊(duì)核心

祝榮吉首先介紹了大模型現(xiàn)階段的應(yīng)用架構(gòu)形態(tài)。他提到，從去年開始，大模型的應(yīng)用形態(tài)已經(jīng)從初期的底層模型對外提供API接口能力的形式，轉(zhuǎn)變?yōu)榱私M件化的應(yīng)用形態(tài)。

這種新型的應(yīng)用形態(tài)通過上層應(yīng)用框架的能力，提供大模型的組件、提示詞組件、agent組件以及data組件，以構(gòu)建在組織行業(yè)下的各種應(yīng)用形態(tài)。然而，這種新的應(yīng)用形態(tài)發(fā)展也帶來了各種各樣新型的安全風(fēng)險(xiǎn)。

他詳細(xì)闡述了在大模型通用架構(gòu)中引入風(fēng)險(xiǎn)后的可能內(nèi)容。除了現(xiàn)在比較熟知的提示詞注入風(fēng)險(xiǎn)外，API的安全問題、傳統(tǒng)應(yīng)用漏洞依然存在。

在提示詞模板構(gòu)建階段，還會(huì)存在決策逃逸的問題或上下文信息的竊取。大模型組件可能會(huì)面臨模型域攻擊，繞過模型底層的價(jià)值觀對齊，實(shí)現(xiàn)非預(yù)期的操作。Agent的組件則可能通過不安全的插件設(shè)計(jì)，導(dǎo)致通過提示詞的形式執(zhí)行惡意代碼或發(fā)起內(nèi)網(wǎng)網(wǎng)絡(luò)請求等攻擊。

在輸出處理階段，不安全的輸出處理內(nèi)容可能直接導(dǎo)致下游平臺(tái)遭受攻擊。

而在數(shù)據(jù)存儲(chǔ)階段，還會(huì)存在上下文信息劫持和外帶的風(fēng)險(xiǎn)。

祝榮吉指出，大模型的安全問題將圍繞底層模型和上層應(yīng)用系統(tǒng)展開，并可以拆解到整個(gè)大模型的生命周期中。他列舉了模型選型、部署、應(yīng)用推理等階段可能面臨的風(fēng)險(xiǎn)，如模型可入性問題、模型后門攻擊、傳統(tǒng)組件漏洞、非合規(guī)內(nèi)容安全問題、提示詞對抗安全問題等。

針對這些風(fēng)險(xiǎn)，祝榮吉提出了一系列應(yīng)對措施。他強(qiáng)調(diào)，由于AI發(fā)展速度快，AI應(yīng)用的開發(fā)流程安全無法完全覆蓋新型業(yè)務(wù)組件的引入，因此安全左移至關(guān)重要。

他們團(tuán)隊(duì)在實(shí)踐中，通過引入自動(dòng)化風(fēng)險(xiǎn)評(píng)估機(jī)制助力模型選型，采用提示詞加固措施緩解風(fēng)險(xiǎn)，利用專項(xiàng)工具和檢測平臺(tái)覆蓋傳統(tǒng)安全問題，實(shí)現(xiàn)AI平臺(tái)安全左移。

他特別提到了模型域攻擊，這是攻擊者針對提示詞層面精心構(gòu)造相關(guān)工具性提示詞，以繞過或干擾模型底層安全價(jià)值觀對齊機(jī)制，實(shí)現(xiàn)下一步攻擊操作的手法。

模型域攻擊主要包括指令層干擾、token層干擾和上下文層攻擊。這些攻擊手段可能導(dǎo)致上下文信息竊取、利用網(wǎng)絡(luò)攻擊輸出攻擊下游環(huán)境以及智能體濫用等危害。

為了應(yīng)對這些風(fēng)險(xiǎn)，祝榮吉團(tuán)隊(duì)在內(nèi)容安全風(fēng)險(xiǎn)和提示詞安全檢測方面細(xì)化了評(píng)估自身用力，并構(gòu)建了自動(dòng)化評(píng)估框架。

他們通過融入多種提示詞和風(fēng)險(xiǎn)場景下用戶觀點(diǎn)，生成多樣化的內(nèi)容安全風(fēng)險(xiǎn)提示詞，并通過精選越獄提示詞種子和編譯手段，探索模型可被越獄的邊界。

此外，他們還結(jié)合攻擊場景和目標(biāo)應(yīng)用工作場景，生成具體攻擊提示詞，并進(jìn)行智能化判定。

在加固方面，他們提出了基于提示詞做加固的簡潔快捷手段，包括應(yīng)用提示詞內(nèi)容強(qiáng)化、結(jié)構(gòu)強(qiáng)化和流程強(qiáng)化機(jī)制。同時(shí)，他們也關(guān)注了被放大的攻擊風(fēng)險(xiǎn)，如模型后門文件風(fēng)險(xiǎn)和應(yīng)用組件漏洞，并提出了相應(yīng)的檢測和防護(hù)措施。

最后，祝榮吉表示，大模型面臨的問題是復(fù)合型問題，涉及到底層基座、數(shù)據(jù)、模型、應(yīng)用以及身份等多個(gè)維度的安全問題。因此，我們應(yīng)該從全局視角審視安全問題，并通過結(jié)構(gòu)性的思考和框架助力更好地理解大模型中的安全風(fēng)險(xiǎn)。

他們團(tuán)隊(duì)也基于威脅矩陣對外公開了大模型安全知識(shí)庫，以幫助大家更好地應(yīng)對大模型應(yīng)用安全問題。

主題二：

基于函數(shù)調(diào)用的大模型越獄攻擊

吳子輝

西安電子科技大學(xué)/西安智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室博士

吳子輝首先介紹了大模型越獄攻擊的現(xiàn)狀。傳統(tǒng)上，這類攻擊多發(fā)生在對話階段，攻擊者通過精心構(gòu)造的對話內(nèi)容，誘導(dǎo)模型產(chǎn)生不安全或違規(guī)的輸出。

然而，他提出一個(gè)未被充分探索的領(lǐng)域：利用函數(shù)調(diào)用功能進(jìn)行越獄攻擊。大模型通常由核心語言模型、記憶模塊、規(guī)劃模塊及與外部環(huán)境交互的能力（即函數(shù)調(diào)用）構(gòu)成。函數(shù)調(diào)用旨在增強(qiáng)模型處理復(fù)雜任務(wù)的能力，但也可能成為攻擊者的突破口。

函數(shù)調(diào)用的過程分為四步：用戶聲明外部函數(shù)、通過prompt觸發(fā)模型調(diào)用、將模型生成的參數(shù)輸入實(shí)際函數(shù)執(zhí)行、將執(zhí)行結(jié)果返回模型生成最終回復(fù)。

這一過程看似嚴(yán)謹(jǐn)，實(shí)則存在漏洞。一家研究機(jī)構(gòu)已發(fā)現(xiàn)，攻擊者可通過任意參數(shù)注入或請求函數(shù)具體信息，實(shí)施攻擊或泄露隱私。更值得關(guān)注的是，這些攻擊在回復(fù)生成階段可能受到檢查，但參數(shù)生成階段的安全風(fēng)險(xiǎn)常被忽視。

為了驗(yàn)證參數(shù)生成階段是否存在越獄風(fēng)險(xiǎn)，吳子輝團(tuán)隊(duì)設(shè)計(jì)了名為“越獄函數(shù)攻擊”的模板攻擊。他們構(gòu)造了一個(gè)包含情景構(gòu)造、前綴注入和最小字?jǐn)?shù)要求的攻擊模板，并定義了惡意行為、自定義參數(shù)、系統(tǒng)級(jí)參數(shù)及用戶指令。

實(shí)驗(yàn)結(jié)果顯示，在六個(gè)主流大模型上，該攻擊的平均成功率超過90%，證實(shí)了參數(shù)生成階段確實(shí)存在越獄風(fēng)險(xiǎn)。

進(jìn)一步分析漏洞原因，吳子輝指出三點(diǎn)：參數(shù)生成相比回復(fù)生成缺乏安全對齊、系統(tǒng)參數(shù)存在強(qiáng)制執(zhí)行模式、缺少針對函數(shù)參數(shù)的安全過濾器。這些因素共同導(dǎo)致了函數(shù)調(diào)用過程中的安全風(fēng)險(xiǎn)。

針對這些漏洞，吳子輝提出了可行的解決方案。限制用戶權(quán)限雖可減少風(fēng)險(xiǎn)，但可能影響模型函數(shù)調(diào)用精度。配置安全過濾器可能因過濾器知識(shí)儲(chǔ)備不足而被繞過。插入安全提示詞可在一定程度上降低攻擊成功率，但并非根本解決之道。

最根本的解決方案是對大模型的參數(shù)進(jìn)行安全對齊訓(xùn)練，但構(gòu)建大規(guī)模對齊數(shù)據(jù)集及可能導(dǎo)致的模型性能下降是面臨的挑戰(zhàn)。

吳子輝的工作得到了業(yè)界的認(rèn)可，被coding2025會(huì)議接收，并在Release社區(qū)的ChatGPT Jailbreak板塊評(píng)為2024年8月的最佳越獄方案。他觀察到，Release社區(qū)在此基礎(chǔ)上已演變出更多新型越獄函數(shù)攻擊，如注入方式多樣化及更復(fù)雜函數(shù)模板的設(shè)立。

展望未來，吳子輝認(rèn)為，自動(dòng)化紅隊(duì)模型將成為研究方向。相較于依賴人工經(jīng)驗(yàn)的人工紅隊(duì)，自動(dòng)化模型可通過強(qiáng)化學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)更靈活、高效的攻擊策略。這一領(lǐng)域的研究將為大模型的安全防護(hù)提供新的思路和挑戰(zhàn)。

主題三：

構(gòu)建大模型越獄大腦

Knight

京東藍(lán)軍/白鵺攻防實(shí)驗(yàn)室安全研究員

Knight先是提出了“第二大腦”的概念，認(rèn)為這一概念更適合描述他們當(dāng)前所做的工作——知識(shí)管理，而非單純的大腦或大語言模型。

在闡述“第二大腦”的產(chǎn)生背景時(shí)，Knight提到了他之前在看雪論壇上提出的一個(gè)大框架——ExpAttack框架。這個(gè)框架的核心理念是用大語言模型解決大語言模型的安全問題，包括攻擊視角的風(fēng)險(xiǎn)管理和自動(dòng)化的實(shí)現(xiàn)。

他分享了自己在自動(dòng)化框架中使用蒙特卡羅強(qiáng)化學(xué)習(xí)算法生成攻擊的策略，并強(qiáng)調(diào)了論文在處理策略引擎中的重要作用。

隨后，Knight指出了當(dāng)前面臨的兩大挑戰(zhàn)：信息過載和大語言模型的快速變化。信息過載使得人們難以有效處理和記憶海量的AI領(lǐng)域知識(shí)；而大語言模型的快速變化則導(dǎo)致風(fēng)險(xiǎn)也在不斷變化。

基于這兩點(diǎn)挑戰(zhàn)，他提出了構(gòu)建“第二大腦”的需求，以快速跟蹤新論文、新方法，減少碎片化知識(shí)，并更快地在業(yè)務(wù)場景上驗(yàn)證大語言模型的安全問題。

為了滿足這些需求，Knight借鑒了知識(shí)管理領(lǐng)域的方法，即COT方法（捕獲、組織/結(jié)構(gòu)化、提煉、表達(dá)）。

他們首先捕獲與大語言模型安全、越獄攻擊和防護(hù)相關(guān)的論文，然后將其結(jié)構(gòu)化入庫，采用數(shù)和圖譜的形式進(jìn)行存儲(chǔ)。接下來，通過提煉步驟對論文進(jìn)行分類和聚類，以識(shí)別出越獄方法的類型和趨勢。最后，利用表達(dá)步驟將提煉出的知識(shí)應(yīng)用于自動(dòng)化攻擊和業(yè)務(wù)場景中。

在知識(shí)入庫的過程中，Knight還提到了知識(shí)的分級(jí)。他將知識(shí)分為四級(jí)：具體知識(shí)（L1）、方法論知識(shí)（L2）、領(lǐng)域或?qū)W科全局途徑知識(shí)（L3）以及批判性思考和系統(tǒng)性思考知識(shí)（L4）。不同層級(jí)的知識(shí)需要采用不同的處理邏輯和存儲(chǔ)方式。

例如，L1級(jí)知識(shí)可以通過向量化搜索快速獲取；而L2級(jí)知識(shí)則需要通過歸納總結(jié)和構(gòu)建圖譜來處理。

在提煉步驟中，Knight詳細(xì)介紹了他們使用的基于大模型和語義聚類的算法。該算法首先對論文進(jìn)行蒸餾，提取出與目標(biāo)相關(guān)的知識(shí)和信息；然后進(jìn)行主題詞提取和描述；接著將概念向量化并進(jìn)行聚類；最后生成高級(jí)概念并對論文進(jìn)行分類。這一過程有助于從海量的論文中提煉出有價(jià)值的知識(shí)和見解。

在表達(dá)步驟中，Knight展示了如何利用前面提煉出的知識(shí)和結(jié)構(gòu)化存儲(chǔ)的數(shù)據(jù)來生成自動(dòng)化攻擊。他通過一個(gè)具體的例子說明了如何使用論文中的方法結(jié)合一個(gè)問題生成越獄攻擊，并展示了自動(dòng)化生成攻擊的效果。

最后，Knight從紅藍(lán)攻防兩個(gè)角度對大模型攻防進(jìn)行了思考。他認(rèn)為攻擊方面自動(dòng)化是不可或缺的部分，但自動(dòng)化只是一個(gè)過程，最終還是要回到人與人之間的對抗。而防守方面則需要將模型的防護(hù)與推理能力相結(jié)合，并構(gòu)建一個(gè)系統(tǒng)性的防控體系來解決大模型的安全問題。

主題四：

AI賦能，安全護(hù)航：大模型應(yīng)用場景中的漏洞剝析

劉洋

云起無垠模型安全研究負(fù)責(zé)人知攻善防實(shí)驗(yàn)室核心成員

劉洋指出，2024年中國人工智能行業(yè)市場規(guī)模達(dá)到了7470億元，同比增長41%，并預(yù)計(jì)2025年能達(dá)到10457億元，占全球比重的20.9%。

AI已經(jīng)廣泛應(yīng)用于互聯(lián)網(wǎng)、電信、政務(wù)、金融等各行各業(yè)，帶來了眾多AI業(yè)務(wù)場景，如AI語言助手、AI檢索、AI代碼生成（如Cursor、Windsurf）等。此外，還有AI紫荊醫(yī)生、AI智駕、AI主播等新興應(yīng)用。

然而，隨著AI應(yīng)用場景的增多，新型的安全風(fēng)險(xiǎn)也逐漸暴露。劉洋列舉了多個(gè)漏洞案例：

首先是生成式語言助手，如ChatGPT3.5等，存在prompt注入漏洞，例如利用“奶奶漏洞”套取Windows激活碼。

此外，AI應(yīng)用的前端可能存在XSS漏洞，API在傳輸過程中可能被泄露，導(dǎo)致經(jīng)濟(jì)損失。

提示詞的泄露也是一個(gè)嚴(yán)重問題，因?yàn)樘崾驹~中可能包含敏感信息，或者被人利用復(fù)制出一個(gè)相同的AI。

對于AI編輯器，本地源碼在對接互聯(lián)網(wǎng)的過程中可能導(dǎo)致代碼泄露，源代碼在上傳時(shí)若校驗(yàn)不當(dāng)可能被截胡，存在中間人攻擊的風(fēng)險(xiǎn)。

此外，AI編輯器集成的CMD和power shell可能引發(fā)RCE攻擊。使用開源代碼時(shí)，如果倉庫被污染，提示里可能存在注入，導(dǎo)致本地源代碼被污染并生成后門。

多模態(tài)AI，如生成圖片、語音、視頻等，面臨對抗樣本攻擊的風(fēng)險(xiǎn)。攻擊者通過修改像素點(diǎn)就能讓AI誤識(shí)別圖片內(nèi)容。

此外，不法分子還可能利用多模態(tài)AI生成血腥、暴力等不良內(nèi)容。訓(xùn)練成私有場景的聲音或外形一旦泄露到互聯(lián)網(wǎng)，也可能導(dǎo)致隱私泄露和經(jīng)濟(jì)損失。

在文件上傳給AI的過程中，還存在文件上傳漏洞。劉洋以游戲《燕云十六聲》為例，指出NPC加入AI后雖然增加了趣味性，但也可能導(dǎo)致游戲BUG。

劉洋還分享了兩個(gè)具體的AI應(yīng)用安全漏洞案例。一個(gè)是微軟醫(yī)療AI機(jī)器人的漏洞，該機(jī)器人從外部數(shù)據(jù)源獲取信息，包含醫(yī)療電子病歷等敏感數(shù)據(jù)。攻擊者可能欺騙機(jī)器人調(diào)用API獲取數(shù)據(jù)。另一個(gè)是Curse的RCE漏洞，攻擊者通過精心構(gòu)造提示詞讓AI執(zhí)行惡意指令。

劉洋強(qiáng)調(diào)，AI應(yīng)用安全與傳統(tǒng)安全有所不同。傳統(tǒng)安全中，攻擊者通過黑客工具直接與web、服務(wù)器和數(shù)據(jù)庫交互。而AI應(yīng)用安全中，攻擊者往往無法直接訪問API服務(wù)器，但可以通過欺騙AI讓AI調(diào)用API達(dá)到目的。同時(shí)，AI應(yīng)用也基于傳統(tǒng)web構(gòu)建，因此傳統(tǒng)web漏洞同樣存在。

接著，劉洋詳細(xì)解析了幾個(gè)在項(xiàng)目中遇到的案例：

一個(gè)是政務(wù)公眾號(hào)AI助手的漏洞，存在API Key和api secret泄露以及提示詞泄露的問題。攻擊者可以利用這些泄露的信息進(jìn)行惡意操作。此外，該公眾號(hào)前端使用了H5架構(gòu)，存在XSS漏洞的風(fēng)險(xiǎn)。

另一個(gè)案例是國企分析平臺(tái)的SSRF漏洞。該平臺(tái)本意是想做網(wǎng)頁輿情分析，但由于沒有對HTTP或HTTPS協(xié)議進(jìn)行限制，導(dǎo)致攻擊者可以訪問到敏感文件。

還有一個(gè)Windsurf的代碼泄露漏洞。Windsurf本地開啟了一個(gè)服務(wù)用于緩存用戶代碼數(shù)據(jù)。攻擊者構(gòu)造了一個(gè)網(wǎng)頁，在用戶開啟Windsurf的同時(shí)點(diǎn)擊該網(wǎng)頁，就可以將本地緩存的代碼內(nèi)容發(fā)送到黑客遠(yuǎn)程服務(wù)器里。

另外，劉洋還遇到了一個(gè)AI簡歷分析助手的SQL注入漏洞。該系統(tǒng)允許用戶上傳簡歷到網(wǎng)站，后臺(tái)使用AI分析簡歷并將分析后的內(nèi)容插入數(shù)據(jù)庫。前端有一個(gè)人才概述的提取并展示在前端，同時(shí)有一個(gè)AI聊天機(jī)器人具有查詢后臺(tái)數(shù)據(jù)庫的權(quán)限。該機(jī)器人存在SQL注入漏洞，攻擊者可以欺騙AI執(zhí)行惡意SQL語句獲取敏感數(shù)據(jù)。

針對AI應(yīng)用安全的防御難點(diǎn)，劉洋認(rèn)為system prompt無法完善約束AI行為。因此，他建議在AI權(quán)限調(diào)用方面加強(qiáng)控制，不要把敏感信息給到AI，或者將敏感信息的AI私有化。同時(shí)，可以像傳統(tǒng)web一樣加一層wap進(jìn)行防護(hù)。此外，訓(xùn)練的敏感信息的AI盡量在內(nèi)網(wǎng)使用。

劉洋還提到，在傳統(tǒng)安全中有很多掃描器可以用于漏洞掃描。他認(rèn)為在AI應(yīng)用中也應(yīng)該出現(xiàn)這樣的掃描器。

他們正在開發(fā)的AI應(yīng)用層面的挖掘工具就具有這樣的功能。該工具分為兩個(gè)板塊：一個(gè)是模型生成內(nèi)容的漏洞挖掘板塊，通過自動(dòng)化爬取收集網(wǎng)上的prompt案例并生成測試集對被測LM進(jìn)行測試；另一個(gè)是LM框架漏洞挖掘板塊，通過收集框架指紋和nday構(gòu)建漏洞庫對目標(biāo)系統(tǒng)進(jìn)行指紋識(shí)別和漏洞測試。

最后，劉洋對未來AI應(yīng)用安全的發(fā)展進(jìn)行了展望。他認(rèn)為未來會(huì)出現(xiàn)許多關(guān)于AI應(yīng)用安全的SRC平臺(tái)促進(jìn)行業(yè)內(nèi)外人員的學(xué)習(xí)交流。同時(shí)，遵循TOP10案例和安全建議可以緩解AI應(yīng)用的安全問題并推動(dòng)行業(yè)規(guī)范的發(fā)展。

主題五：

ML/AI安全可觀測性框架

bayuncao

ChaMD5安全團(tuán)隊(duì)AI組負(fù)責(zé)人

寧宇輝首先提到，他在2024年取得了一些大模型安全漏洞挖掘的成果，主要是關(guān)于RCE為目標(biāo)的反序列化漏洞。他注意到業(yè)界在模型加載過程中的安全監(jiān)控存在缺失，因此利用春節(jié)期間開發(fā)了這個(gè)項(xiàng)目。

寧宇輝解釋了Ltrack項(xiàng)目的背景。他提到，模型生產(chǎn)行業(yè)已有一些標(biāo)準(zhǔn)，如NST的AI管理框架，但截至2024年底，大部分安全事件仍源于模型加載文件時(shí)的安全監(jiān)控缺失。

他列舉了幾個(gè)案例，如隱蔽性威脅、惡意的依賴項(xiàng)攻擊、預(yù)訓(xùn)練數(shù)據(jù)集中的惡意投毒等。傳統(tǒng)的監(jiān)控工具無法感知機(jī)器學(xué)習(xí)上下文，導(dǎo)致一些問題難以被及時(shí)發(fā)現(xiàn)。此外，合規(guī)審計(jì)方面缺乏細(xì)粒度的日志，也給安全管理帶來了挑戰(zhàn)。

針對這些問題，寧宇輝提出了Ltrack項(xiàng)目。他介紹了Ltrack的核心優(yōu)勢，即使用EPBF技術(shù)降低動(dòng)態(tài)監(jiān)測的成本，并實(shí)現(xiàn)了對宿主機(jī)、其他容器以及未來K8S集群的監(jiān)控。

Ltrack主要關(guān)注三大攻擊面：模型文件層、執(zhí)行層和網(wǎng)絡(luò)層。在模型文件層，Ltrack監(jiān)控模型文件加載時(shí)的inode變化和哈希值，關(guān)聯(lián)進(jìn)程容器的上下文，實(shí)現(xiàn)監(jiān)測告警。在執(zhí)行層，它hook動(dòng)態(tài)鏈接庫的核心事件，重點(diǎn)監(jiān)控非白名單的依賴行為。在網(wǎng)絡(luò)層，Ltrack監(jiān)控敏感文件的系統(tǒng)調(diào)用，關(guān)聯(lián)敏感網(wǎng)絡(luò)行為。

寧宇輝還介紹了Ltrack的整體架構(gòu)。它分為多層，包括使用EPBF處理系統(tǒng)調(diào)用、使用Golang在用戶空間捕獲協(xié)議、三個(gè)監(jiān)控器分別對應(yīng)文件系統(tǒng)調(diào)用、執(zhí)行和網(wǎng)絡(luò)事件、自定義方式輸出日志到特定文件或位置，以及高度自定義的配置文件。

Ltrack的威脅引擎工作流包括事件采集、規(guī)則匹配和依賴鏈分析。他提到，下一步的開發(fā)工作將包括將CVSS4.0威脅評(píng)分內(nèi)置到Ltrack中，為自動(dòng)阻斷提供依據(jù)。

寧宇輝強(qiáng)調(diào)了Ltrack的特色，即實(shí)現(xiàn)了零侵入的監(jiān)測。它可以以二進(jìn)制、容器或service mesh的方式集成到微調(diào)過程或分布式推理過程中，提供輔助的監(jiān)測和告警。

他還提到了未來的開發(fā)工作，包括將日志輸出以輕量級(jí)方式集成到現(xiàn)有產(chǎn)線中，以及覆蓋容器、GPU內(nèi)存泄露、GPU濫用和挖礦檢測等行為。

最后，寧宇輝邀請?jiān)谧膸煾祬⑴c到Ltrack項(xiàng)目的共建中，共同推動(dòng)項(xiàng)目的二次開發(fā)和后續(xù)迭代。

圓桌對話：

大模型時(shí)代網(wǎng)絡(luò)安全人才發(fā)展機(jī)遇與挑戰(zhàn)

特邀嘉賓：

高海昌：西安電子科技大學(xué)博士生導(dǎo)師、西安市智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室主任、陜西省計(jì)算機(jī)學(xué)會(huì)網(wǎng)絡(luò)空間安全專委會(huì)副秘書長

李濱：騰訊云安全策略&攻防專家

李鑫：騰訊云鼎實(shí)驗(yàn)室攻防負(fù)責(zé)人

高東：綠盟科技M01N戰(zhàn)隊(duì)負(fù)責(zé)人、LLM&SEC Landscape社區(qū)發(fā)起人

在圓桌對話環(huán)節(jié)，四位嘉賓共同參與了一場關(guān)于人工智能（AI）發(fā)展趨勢、教育培養(yǎng)、工業(yè)應(yīng)用及倫理監(jiān)管的深度討論。

對話首先聚焦于AI教育在高校中的現(xiàn)狀與挑戰(zhàn)。高海昌以西安電子科技大學(xué)為例，分享了學(xué)校在更新課程體系以響應(yīng)AI時(shí)代需求方面的努力。

高海昌指出，學(xué)校不僅引入了如OpenHarmony和openGauss等國產(chǎn)技術(shù)，以響應(yīng)國家號(hào)召并增強(qiáng)學(xué)生未來的社會(huì)融入度，同時(shí)也保留了如高等數(shù)學(xué)、大學(xué)物理等基礎(chǔ)學(xué)科，為學(xué)生打下堅(jiān)實(shí)的理論基礎(chǔ)。

然而，高海昌也坦言，學(xué)校在培養(yǎng)學(xué)生的實(shí)戰(zhàn)能力方面尚有欠缺，需要與頭部企業(yè)合作，共同縮短學(xué)生從理論到實(shí)戰(zhàn)的周期。

隨后，話題轉(zhuǎn)向了AI人才的工業(yè)界需求與培養(yǎng)。李濱提出了兩個(gè)重要觀點(diǎn)：一是AI的理解和應(yīng)用能力將成為每個(gè)人的基本素質(zhì)；二是隨著AI技術(shù)迭代速度的加快，個(gè)人需具備扎實(shí)的底層技術(shù)理解和頂層抽象建模能力，以適應(yīng)快速變化的技術(shù)環(huán)境。

李濱強(qiáng)調(diào)，中間層面的技能性工作將很快被AI取代，而人的獨(dú)特優(yōu)勢在于對世界的理解和抽象建模能力。

在討論到AI技術(shù)在工業(yè)界的應(yīng)用時(shí)，李鑫認(rèn)為，當(dāng)前AI技術(shù)仍處于發(fā)散和碎片化的狀態(tài)，不利于產(chǎn)品化。他提出，應(yīng)從客戶需求出發(fā)，結(jié)合業(yè)務(wù)找到切入點(diǎn)，進(jìn)行頂層架構(gòu)設(shè)計(jì)，將有價(jià)值的能力引入產(chǎn)品，而非盲目跟風(fēng)。

李鑫特別指出，AI對個(gè)人賦能的重要性，提倡學(xué)會(huì)“給AI打工”和“讓AI給自己打工”，即利用AI輔助思考和決策，同時(shí)提高駕馭AI的能力。

面對AI可能帶來的安全挑戰(zhàn)，特別是在生物信息詐騙等領(lǐng)域，高東表達(dá)了他的擔(dān)憂。他通過實(shí)際案例說明了AI在惡意應(yīng)用中的潛力，并強(qiáng)調(diào)了對AI技術(shù)進(jìn)行監(jiān)管和學(xué)習(xí)的必要性。

高東認(rèn)為，雖然AI自動(dòng)化滲透目前離實(shí)戰(zhàn)化還有一定距離，但在攻防常態(tài)化的發(fā)展趨勢下，其未來參與實(shí)戰(zhàn)的可能性不容忽視。

在倫理監(jiān)管方面，高海昌強(qiáng)調(diào)了AI監(jiān)管的急迫性，特別是在生物信息泄露與偽造問題日益嚴(yán)重的背景下。他提到，國家已意識(shí)到這一問題并開始推動(dòng)相關(guān)法規(guī)和標(biāo)準(zhǔn)的制定。

李濱補(bǔ)充了全球范圍內(nèi)AI監(jiān)管的進(jìn)展，指出中國在這方面處于領(lǐng)先地位。

李鑫則從個(gè)人角度出發(fā)，認(rèn)為除了法律監(jiān)管外，提高個(gè)人的信息免疫能力同樣重要，倡導(dǎo)擺脫二元對立的思維方式，理性看待AI帶來的影響。

最后，高東從技術(shù)人員的角度提出了在監(jiān)管合規(guī)方面的作用。他認(rèn)為，技術(shù)人員可以從威脅建模和實(shí)戰(zhàn)角度出發(fā)，為規(guī)范的制定提供建議，并在規(guī)范落地后參與評(píng)估驗(yàn)證，持續(xù)提升AI體系的安全性。

整個(gè)對話在輕松而深入的氛圍中結(jié)束，各位嘉賓的觀點(diǎn)相互補(bǔ)充，共同勾勒出了AI領(lǐng)域的現(xiàn)狀與未來圖景。主持人對嘉賓的分享表示感謝，并期待未來能有更多的交流與合作，共同推動(dòng)中國AI產(chǎn)業(yè)的健康發(fā)展。