99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

他們說:AI時代的安全問題,要“以模治模”

0
分享至



文/陳鋒

編輯/子夜

2025年以來,DeepSeek火爆出圈的連鎖反應下,全球范圍內,大模型賽道的主流敘事已經悄然生變。

從互聯網大廠到初創AI公司,行業一邊進入新一輪技術競賽,另一邊,從to C到to B,大模型在應用側的落地進程也在驟然加速,不少業內人士都將2025年稱為AI應用爆發元年。

但像任何一項新技術背后存在的兩面性那樣,大模型技術火熱之下,即將迎來的AI應用爆發潮,也在滋生潛在的網絡安全隱患。

比如,根據騰訊云洞察,DeepSeek出圈以來,疑似仿冒DeepSeek的域名呈現爆炸式增長,春節前后,其累計觀察到疑似仿冒DeepSeek的網站超過2萬個;其還監測到,有大量仿冒站點,通過社交平臺引流C端用戶,指向虛擬幣平臺和色情網站。

與此同時,也有部分黑灰產,通過偽造提供DeepSeek本地部署和提供行業解決方案,對企業實施釣魚攻擊。

這種態勢下,如何及時洞察到AI時代下最新的網安攻防態勢、挖掘出更多的網安風險、探索出當下AI賦能網安建設的思路和路徑,變得尤為重要。

連線Insight日前參與了騰訊云安全云鼎實驗室主辦的一場“模型有界,安全無疆”大模型安全學術沙龍。我們注意到,這次研討會,就是一個觀察AI時代網安攻防新范式、從攻防實踐中抽離出網安建設新思路的窗口。



圖源騰訊安全官方微信公眾號

1、網安攻防新態勢:大模型引發新的潛在安全風險

去年年底,福布斯發布的“2025年AI十大預測”中,作者Rob Toews在其中一項預測中提到:

第一起真正的AI安全事故將會發生。

“或許,某個AI模型可能試圖悄悄地在另一個服務器上創建自己的副本以確保自身存續;或許,某個AI模型可能會得出結論,為了最好地推進自己被賦予的目標,它需要隱瞞自己能力的真實范圍,故意降低性能評估以避開更為嚴格的審查......”他如此寫道。

事實上,當前階段,大模型能力的快速進化所帶來的潛在安全風險,早已不止于大模型自身的“策略性欺騙”“偽裝對齊”。

比如針對當下火熱的AI智能體,3月13日,美國網絡安全公司Symantec通過一項測試指出,AI智能體已突破了傳統工具功能限制,可輕松協助黑客發起釣魚攻擊。

此外,OpenAI早在2023年底曝出的“奶奶漏洞”(即用戶通過包裝話術,可以騙過ChatGPT輸出不該輸出的內容)、我們上文提到的仿冒DeepSeek域名及網站、不法分子通過深偽技術進行詐騙等,都是網絡安全嚴峻態勢的寫照。

這背后實則是,一方面,大模型技術的加速迭代,引入了大量全新、復雜的風險與威脅。



Freebuf在《2024全球AI網絡安全產品洞察報告》中提到,AI大模型存在的安全風險主要分為三類,分別是訓練數據的安全風險、大模型本身的安全風險和外部攻擊風險。

具體來看,包括數據泄露及數據投毒等大模型在訓練數據中的安全風險、海綿攻擊、武器化模型等外部網絡攻擊與風險等。

與此同時,大模型的兩面性也決定了,某種程度上,借助大模型,黑灰產與網絡犯罪的攻擊門檻也可能會降低。

比如攻擊者通過AI大模型高效生成欺詐內容、快速挖掘潛在漏洞并提煉其中的共性缺陷提升攻擊效率、基于大模型的邏輯推理和策略規劃能力制定更復雜攻擊策略、針對已有漏洞向不同目標批量發起攻擊。

另一方面,大模型在更多應用、業務場景的落地過程中,網安風險也在加劇。

沙龍上,綠盟天元實驗室高級研究員、M01N戰隊核心成員祝榮吉就總結,未來的大模型安全風險,可以分為兩個比較大的方面:

一方面,AI與應用結合過程中,會產生新型風險,比如內容安全風險、提示詞對抗風險等;另一方面,AI與傳統應用結合過程中,也會把一些傳統的安全問題放大,比如由于AI技術的快速迭代,現有AI應用的開發流程、安全建設流程無法完全覆蓋相關新型業務組件的引入等。



綠盟天元實驗室高級安全研究員、M01N戰隊核心成員祝榮吉,圖源騰訊安全官方微信公眾號

云起無垠模型安全研究負責人、知攻善防實驗室核心成員劉洋也進一步提到,隨著AI應用場景越來越多落地,新型的安全風險也在加速暴露出來。

像ChatGPT的“奶奶漏洞”、AI架設到前端小程序以及App過程中潛在的API泄露風險、AI編輯器使用過程中,源代碼上傳途中的代碼被“截胡”、中間人攻擊等風險、文件上傳到AI應用過程中的漏洞等。

除此之外,基于函數調用的大模型越獄攻擊等等安全風險,也在持續暴露出來。

2、新態勢下的網安建設:“以模治模”,用AI對抗AI

上述態勢下,擺在產業界的一個關鍵在于:

在卷大模型技術、卷應用之外,也要卷安全。

騰訊云主辦的這次研討會上,一直活躍在網安攻防實戰一線的嘉賓們,也重點分享了他們在現階段,通過引入AI大模型技術和能力,強化網安建設的思考和建設經驗。

京東藍軍-白鵺攻防實驗室的安全研究員Knight認為,大模型安全需要系統性方法來解決,模型側與系統側的緊密合作至關重要。基于ExpAttack框架,其提出了構建“大模型越獄第二大腦”的創新思路,旨在通過大模型技術來解決大模型的安全難題。



京東藍軍-白鵺攻防實驗室安全研究院Knight,圖源騰訊安全官方微信公眾號

具體來看,Knight提出了“大模型越獄的CODE構建法”,通過捕獲、結構化、提煉、表達四個環節,構建起了一個能夠高效處理知識的“第二大腦”。

據了解,該方法利用向量數據庫、圖數據庫等技術,分層次對大模型越獄相關的論文進行分析、存儲,再通過LLOOM for jailbreak算法,對277篇大模型攻擊方向的進行聚類,最后再通過存儲的數據提取進行基于論文方法的自動化越獄攻擊生成。

再比如,針對主流大模型在函數調用參數生成階段可能存在的漏洞隱患,西安電子科技大學博士、西安智能系統安全重點實驗室成員吳子輝提到,該類型的漏洞根源,在于參數生成階段缺乏安全對齊機制,且系統級強制執行模式繞過模型自主決策。

基于此,其團隊提出了參數安全過濾、提示詞防御及安全對齊訓練三層解決方案,目前相關成果已被頂級會議接收,并觸發了Reddit社區新型攻擊變種演化。

此外,祝榮吉也提到,在此前的一次攻防實戰演習中,其團隊在防御系統中融入了三種比較核心的防護機制手段,從應用提示詞內容強化、結構強化、流程強化這三個方面,提升了防護效果。

從上述嘉賓們的分享來看,不難發現,面向AI時代的網安建設,如何用AI來對抗AI,正成為一項關鍵命題。

連線Insight也注意到,目前從產業界來看,“以模治模”也正加速成為新共識。

其中,作為最具代表性的安全廠商之一,騰訊云也在加速布局。

比如,DeepSeek等AI大模型帶來應用熱潮以及大模型開源潮后,很多企業為了獲得更好的響應速度、更高的數據安全性,以及在特定任務上更好的表現等考慮,私有化部署成了很多企業應用大模型的首選方式。

然而,大模型本地化部署過程中,AI工具更容易暴露在公網環境中,引入了潛在的安全隱患。

為了幫助企業及時洞察、應對這些風險,騰訊云安全中心可以依托全面資產掃描、實時漏洞檢測、云資源風險檢查、體檢報告生成這四項體檢能力,幫助企業及時發現AI風險,保護自身數據和算力資源,進而保障業務的穩定運行。



暴露面掃描配置示意圖,圖源騰訊安全官方微信公眾號

目前,騰訊云安全中心支持一鍵同步云上資產,支持添加云外資產,事實/定期對資產進行全端口掃描、服務識別、指紋測繪、漏洞掃描、暴露路徑管理(CLB、安全組等配置識別)。

再從整體來看,基于過往多年在自身業務安全建設上的攻防實踐經驗,騰訊云如今自上而下都構建起了縱深防御體系,沉淀出了一套具備可復制性的、云原生的高安全等級架構,通過服務器硬件安全優化、可信計算技術與供應鏈安全保證云基礎設施安全等多機制,來保障云基礎設施一體化安全。

另一方面,在產品維度,騰訊云安全則是整合構建了“4+N”體系,為所有私有云、公有云、混合云等不同形態客戶提供全面的產品供給。

長遠來看,AI時代的網絡安全建設仍然處于探索初期,但在用“AI對抗AI”的新共識下,像騰訊云這樣的硬核玩家,正腳踏實地死磕技術,幫助更多客戶、中小企業筑牢安全防線。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
色即是空?文班深夜現身東京夜店玩耍了一個半小時

色即是空?文班深夜現身東京夜店玩耍了一個半小時

直播吧
2025-07-06 17:30:18
湖人換青春?球迷出“4換2+首輪簽互換”方案,艾頓來了還不夠?

湖人換青春?球迷出“4換2+首輪簽互換”方案,艾頓來了還不夠?

賽場破曉
2025-07-05 21:20:27
南航機長刺同事后身亡留遺書,妻子哭訴,業內揭晉升黑幕

南航機長刺同事后身亡留遺書,妻子哭訴,業內揭晉升黑幕

文雅筆墨
2025-07-05 14:49:04
朱茵一家游西安!黃貫中老人味十足,頭發花白背佝僂,女兒很像他

朱茵一家游西安!黃貫中老人味十足,頭發花白背佝僂,女兒很像他

娛圈小愚
2025-07-04 09:41:43
“最牛星二代”廖凡,出道25年從不拼爹,妻子是周星馳的黃金搭檔

“最牛星二代”廖凡,出道25年從不拼爹,妻子是周星馳的黃金搭檔

溫讀史
2025-07-01 10:31:14
總冠軍?單場44分殺神+史密斯、卡佩拉就位 火箭新死亡五小誕生

總冠軍?單場44分殺神+史密斯、卡佩拉就位 火箭新死亡五小誕生

埃文凱爾
2025-07-07 00:20:53
離了大譜,豐田RAV4竟干翻Model Y,逆襲全球銷冠

離了大譜,豐田RAV4竟干翻Model Y,逆襲全球銷冠

小李子體育
2025-07-06 15:05:45
Stein:掘金仍堅持與國王交易,并要求瓦蘭執行合同擔任約基奇替補

Stein:掘金仍堅持與國王交易,并要求瓦蘭執行合同擔任約基奇替補

雷速體育
2025-07-06 12:23:37
羅嘉良兒子顏值被噴「浪費基因」!17位男神星二代「長殘」引熱議

羅嘉良兒子顏值被噴「浪費基因」!17位男神星二代「長殘」引熱議

和斌斌一起看劇
2025-06-06 06:20:03
杜某枝公開表達熱愛祖國,張獻春疑似針對回應,提出了兩個疑問

杜某枝公開表達熱愛祖國,張獻春疑似針對回應,提出了兩個疑問

黑哥講現代史
2025-07-07 01:53:28
別再討論李夢回歸了,這是一個偽命題,她與女籃已是漸行漸遠了

別再討論李夢回歸了,這是一個偽命題,她與女籃已是漸行漸遠了

英雄稚氣
2025-07-04 21:45:04
臺灣到底何時解放?原來李敖早就預言了,說得很精準

臺灣到底何時解放?原來李敖早就預言了,說得很精準

老謝談史
2025-07-06 07:03:08
新郎接親被堵在門外2小時,給錢也不讓進,他的舉動讓女方懵了

新郎接親被堵在門外2小時,給錢也不讓進,他的舉動讓女方懵了

櫻桃講堂
2025-06-26 15:25:28
天水一幼兒園幼兒血鉛異常:初判三色棗發糕、玉米腸卷或添加劑超標,曾現周二食譜中

天水一幼兒園幼兒血鉛異常:初判三色棗發糕、玉米腸卷或添加劑超標,曾現周二食譜中

紅星新聞
2025-07-06 11:55:56
烏克蘭又成功地失去了一個州,盧甘斯克州已經被俄羅斯全面控制!

烏克蘭又成功地失去了一個州,盧甘斯克州已經被俄羅斯全面控制!

阿龍聊軍事
2025-07-04 21:35:18
61歲營銷天才再出山,賺完老人錢,這次手伸向00后,又狠賺100億

61歲營銷天才再出山,賺完老人錢,這次手伸向00后,又狠賺100億

不寫散文詩
2025-06-17 11:44:55
新型養老方式開始流行:比養老院省錢,比找保姆靠譜,不拖累子女

新型養老方式開始流行:比養老院省錢,比找保姆靠譜,不拖累子女

青眼財經
2025-07-06 17:51:54
中國內斗最狠的省:長期存在雙省會,曾被分成兩個省

中國內斗最狠的省:長期存在雙省會,曾被分成兩個省

最愛歷史
2025-06-03 17:42:10
研究發現:經常吃面放醋的人,過不了多長時間,血管或有3個改變

研究發現:經常吃面放醋的人,過不了多長時間,血管或有3個改變

荷蘭豆愛健康
2025-07-04 12:06:12
大局已定!下半年天津將全面爆發!拆遷、市內免稅店、加工資、盒馬···全是大好事!

大局已定!下半年天津將全面爆發!拆遷、市內免稅店、加工資、盒馬···全是大好事!

天津人
2025-07-06 20:10:22
2025-07-07 03:08:49
連線Insight incentive-icons
連線Insight
產業升級創新者的聚集地。
1449文章數 1481關注度
往期回顧 全部

科技要聞

小米YU7首批交付,雷軍現身為車主開車門

頭條要聞

業內分析師:美國全面禁止中國無人機只是"時間問題"

頭條要聞

業內分析師:美國全面禁止中國無人機只是"時間問題"

體育要聞

陳登星法國扣籃大賽奪冠!高舉國旗慶祝

娛樂要聞

35歲鹿晗暴瘦到認不出 傳和關曉彤分手

財經要聞

馬斯克宣布:美國黨成立了!

汽車要聞

阿斯頓·馬丁跑車陣容將齊聚2025古德伍德速度節

態度原創

房產
教育
數碼
時尚
公開課

房產要聞

湖畔微醺夜,與全球大生活家共赴世界莊園理想生活之約

教育要聞

2026qs排名完整名單發布后,會被中國學生擠滿的英國大學!

數碼要聞

聯想小新 AI 平板 Pro GT 亮相:豎向鏡組設計、配手寫筆配件

夏天穿衣別發愁,多試試牛仔單品和連衣裙,簡單大方又減齡

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 永泰县| 岳西县| 海城市| 泰兴市| 平凉市| 苍山县| 连南| 青冈县| 龙川县| 遂昌县| 榆社县| 英超| 永济市| 镇安县| 北碚区| 科尔| 左权县| 洛宁县| 子长县| 宁都县| 遵义县| 奉贤区| 马山县| 金塔县| 达尔| 汽车| 行唐县| 桐城市| 汪清县| 岳西县| 南昌市| 婺源县| 邓州市| 台江县| 安康市| 乌海市| 宝兴县| 诸暨市| 交城县| 文安县| 汉阴县|