99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

他們說:AI時代的安全問題,要“以模治模”

0
分享至



文/陳鋒

編輯/子夜

2025年以來,DeepSeek火爆出圈的連鎖反應下,全球范圍內,大模型賽道的主流敘事已經悄然生變。

從互聯網大廠到初創AI公司,行業一邊進入新一輪技術競賽,另一邊,從to C到to B,大模型在應用側的落地進程也在驟然加速,不少業內人士都將2025年稱為AI應用爆發元年。

但像任何一項新技術背后存在的兩面性那樣,大模型技術火熱之下,即將迎來的AI應用爆發潮,也在滋生潛在的網絡安全隱患。

比如,根據騰訊云洞察,DeepSeek出圈以來,疑似仿冒DeepSeek的域名呈現爆炸式增長,春節前后,其累計觀察到疑似仿冒DeepSeek的網站超過2萬個;其還監測到,有大量仿冒站點,通過社交平臺引流C端用戶,指向虛擬幣平臺和色情網站。

與此同時,也有部分黑灰產,通過偽造提供DeepSeek本地部署和提供行業解決方案,對企業實施釣魚攻擊。

這種態勢下,如何及時洞察到AI時代下最新的網安攻防態勢、挖掘出更多的網安風險、探索出當下AI賦能網安建設的思路和路徑,變得尤為重要。

連線Insight日前參與了騰訊云安全云鼎實驗室主辦的一場“模型有界,安全無疆”大模型安全學術沙龍。我們注意到,這次研討會,就是一個觀察AI時代網安攻防新范式、從攻防實踐中抽離出網安建設新思路的窗口。



圖源騰訊安全官方微信公眾號

1、網安攻防新態勢:大模型引發新的潛在安全風險

去年年底,福布斯發布的“2025年AI十大預測”中,作者Rob Toews在其中一項預測中提到:

第一起真正的AI安全事故將會發生。

“或許,某個AI模型可能試圖悄悄地在另一個服務器上創建自己的副本以確保自身存續;或許,某個AI模型可能會得出結論,為了最好地推進自己被賦予的目標,它需要隱瞞自己能力的真實范圍,故意降低性能評估以避開更為嚴格的審查......”他如此寫道。

事實上,當前階段,大模型能力的快速進化所帶來的潛在安全風險,早已不止于大模型自身的“策略性欺騙”“偽裝對齊”。

比如針對當下火熱的AI智能體,3月13日,美國網絡安全公司Symantec通過一項測試指出,AI智能體已突破了傳統工具功能限制,可輕松協助黑客發起釣魚攻擊。

此外,OpenAI早在2023年底曝出的“奶奶漏洞”(即用戶通過包裝話術,可以騙過ChatGPT輸出不該輸出的內容)、我們上文提到的仿冒DeepSeek域名及網站、不法分子通過深偽技術進行詐騙等,都是網絡安全嚴峻態勢的寫照。

這背后實則是,一方面,大模型技術的加速迭代,引入了大量全新、復雜的風險與威脅。



Freebuf在《2024全球AI網絡安全產品洞察報告》中提到,AI大模型存在的安全風險主要分為三類,分別是訓練數據的安全風險、大模型本身的安全風險和外部攻擊風險。

具體來看,包括數據泄露及數據投毒等大模型在訓練數據中的安全風險、海綿攻擊、武器化模型等外部網絡攻擊與風險等。

與此同時,大模型的兩面性也決定了,某種程度上,借助大模型,黑灰產與網絡犯罪的攻擊門檻也可能會降低。

比如攻擊者通過AI大模型高效生成欺詐內容、快速挖掘潛在漏洞并提煉其中的共性缺陷提升攻擊效率、基于大模型的邏輯推理和策略規劃能力制定更復雜攻擊策略、針對已有漏洞向不同目標批量發起攻擊。

另一方面,大模型在更多應用、業務場景的落地過程中,網安風險也在加劇。

沙龍上,綠盟天元實驗室高級研究員、M01N戰隊核心成員祝榮吉就總結,未來的大模型安全風險,可以分為兩個比較大的方面:

一方面,AI與應用結合過程中,會產生新型風險,比如內容安全風險、提示詞對抗風險等;另一方面,AI與傳統應用結合過程中,也會把一些傳統的安全問題放大,比如由于AI技術的快速迭代,現有AI應用的開發流程、安全建設流程無法完全覆蓋相關新型業務組件的引入等。



綠盟天元實驗室高級安全研究員、M01N戰隊核心成員祝榮吉,圖源騰訊安全官方微信公眾號

云起無垠模型安全研究負責人、知攻善防實驗室核心成員劉洋也進一步提到,隨著AI應用場景越來越多落地,新型的安全風險也在加速暴露出來。

像ChatGPT的“奶奶漏洞”、AI架設到前端小程序以及App過程中潛在的API泄露風險、AI編輯器使用過程中,源代碼上傳途中的代碼被“截胡”、中間人攻擊等風險、文件上傳到AI應用過程中的漏洞等。

除此之外,基于函數調用的大模型越獄攻擊等等安全風險,也在持續暴露出來。

2、新態勢下的網安建設:“以模治模”,用AI對抗AI

上述態勢下,擺在產業界的一個關鍵在于:

在卷大模型技術、卷應用之外,也要卷安全。

騰訊云主辦的這次研討會上,一直活躍在網安攻防實戰一線的嘉賓們,也重點分享了他們在現階段,通過引入AI大模型技術和能力,強化網安建設的思考和建設經驗。

京東藍軍-白鵺攻防實驗室的安全研究員Knight認為,大模型安全需要系統性方法來解決,模型側與系統側的緊密合作至關重要。基于ExpAttack框架,其提出了構建“大模型越獄第二大腦”的創新思路,旨在通過大模型技術來解決大模型的安全難題。



京東藍軍-白鵺攻防實驗室安全研究院Knight,圖源騰訊安全官方微信公眾號

具體來看,Knight提出了“大模型越獄的CODE構建法”,通過捕獲、結構化、提煉、表達四個環節,構建起了一個能夠高效處理知識的“第二大腦”。

據了解,該方法利用向量數據庫、圖數據庫等技術,分層次對大模型越獄相關的論文進行分析、存儲,再通過LLOOM for jailbreak算法,對277篇大模型攻擊方向的進行聚類,最后再通過存儲的數據提取進行基于論文方法的自動化越獄攻擊生成。

再比如,針對主流大模型在函數調用參數生成階段可能存在的漏洞隱患,西安電子科技大學博士、西安智能系統安全重點實驗室成員吳子輝提到,該類型的漏洞根源,在于參數生成階段缺乏安全對齊機制,且系統級強制執行模式繞過模型自主決策。

基于此,其團隊提出了參數安全過濾、提示詞防御及安全對齊訓練三層解決方案,目前相關成果已被頂級會議接收,并觸發了Reddit社區新型攻擊變種演化。

此外,祝榮吉也提到,在此前的一次攻防實戰演習中,其團隊在防御系統中融入了三種比較核心的防護機制手段,從應用提示詞內容強化、結構強化、流程強化這三個方面,提升了防護效果。

從上述嘉賓們的分享來看,不難發現,面向AI時代的網安建設,如何用AI來對抗AI,正成為一項關鍵命題。

連線Insight也注意到,目前從產業界來看,“以模治模”也正加速成為新共識。

其中,作為最具代表性的安全廠商之一,騰訊云也在加速布局。

比如,DeepSeek等AI大模型帶來應用熱潮以及大模型開源潮后,很多企業為了獲得更好的響應速度、更高的數據安全性,以及在特定任務上更好的表現等考慮,私有化部署成了很多企業應用大模型的首選方式。

然而,大模型本地化部署過程中,AI工具更容易暴露在公網環境中,引入了潛在的安全隱患。

為了幫助企業及時洞察、應對這些風險,騰訊云安全中心可以依托全面資產掃描、實時漏洞檢測、云資源風險檢查、體檢報告生成這四項體檢能力,幫助企業及時發現AI風險,保護自身數據和算力資源,進而保障業務的穩定運行。



暴露面掃描配置示意圖,圖源騰訊安全官方微信公眾號

目前,騰訊云安全中心支持一鍵同步云上資產,支持添加云外資產,事實/定期對資產進行全端口掃描、服務識別、指紋測繪、漏洞掃描、暴露路徑管理(CLB、安全組等配置識別)。

再從整體來看,基于過往多年在自身業務安全建設上的攻防實踐經驗,騰訊云如今自上而下都構建起了縱深防御體系,沉淀出了一套具備可復制性的、云原生的高安全等級架構,通過服務器硬件安全優化、可信計算技術與供應鏈安全保證云基礎設施安全等多機制,來保障云基礎設施一體化安全。

另一方面,在產品維度,騰訊云安全則是整合構建了“4+N”體系,為所有私有云、公有云、混合云等不同形態客戶提供全面的產品供給。

長遠來看,AI時代的網絡安全建設仍然處于探索初期,但在用“AI對抗AI”的新共識下,像騰訊云這樣的硬核玩家,正腳踏實地死磕技術,幫助更多客戶、中小企業筑牢安全防線。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
只踢15分鐘!沙媒:新月世俱杯出局后,提前終止哈姆達拉租借合約

只踢15分鐘!沙媒:新月世俱杯出局后,提前終止哈姆達拉租借合約

直播吧
2025-07-06 15:04:12
保住筆畫!常州0-0淮安取蘇超首分 常州6輪仍0進球淮安遭4輪不勝

保住筆畫!常州0-0淮安取蘇超首分 常州6輪仍0進球淮安遭4輪不勝

直播吧
2025-07-06 21:32:54
惠州仲愷公共建設項目事務中心原主任何東偉被“雙開”!

惠州仲愷公共建設項目事務中心原主任何東偉被“雙開”!

南方都市報
2025-07-06 17:06:18
應對持續高溫天氣 各地多舉措穩生產保民生

應對持續高溫天氣 各地多舉措穩生產保民生

新華社
2025-07-06 17:34:32
董福祥鎮壓西寧回亂時,為何縱兵趕盡殺絕,而不愿意“剿撫兼施”

董福祥鎮壓西寧回亂時,為何縱兵趕盡殺絕,而不愿意“剿撫兼施”

今日養生之道
2025-07-06 13:52:18
9年前八達嶺老虎傷人后續:母親去世、索賠失敗,幸存者現況如何?

9年前八達嶺老虎傷人后續:母親去世、索賠失敗,幸存者現況如何?

清游說娛
2025-07-04 15:17:30
Shams:掘金已通知瓦蘭經紀人 球隊堅決要求他履行現有合同

Shams:掘金已通知瓦蘭經紀人 球隊堅決要求他履行現有合同

直播吧
2025-07-07 05:38:22
2024年,拜月女葉誠塵終于被注射死刑,前男友透露她生前詭異習慣

2024年,拜月女葉誠塵終于被注射死刑,前男友透露她生前詭異習慣

浩舞默畫
2025-07-04 09:18:50
鄒市明正式回應!虧光2個億欠一屁股債,不怪妻子,承認自己失敗

鄒市明正式回應!虧光2個億欠一屁股債,不怪妻子,承認自己失敗

科學發掘
2025-07-06 15:27:28
難說再見!保羅:我最多再打一年了

難說再見!保羅:我最多再打一年了

雷速體育
2025-07-07 06:07:12
盧尼長文深情話別灣區!庫里:你永遠都是一個傳奇

盧尼長文深情話別灣區!庫里:你永遠都是一個傳奇

直播吧
2025-07-07 07:14:17
湖人官方:球隊通過七隊交易獲得阿杜-蒂埃羅的選秀權

湖人官方:球隊通過七隊交易獲得阿杜-蒂埃羅的選秀權

懂球帝
2025-07-07 04:56:14
國青男籃世界杯收官:2勝5負排第13位 郇斯楠成亮點 曲紹斌遭質疑

國青男籃世界杯收官:2勝5負排第13位 郇斯楠成亮點 曲紹斌遭質疑

顏小白的籃球夢
2025-07-06 20:39:11
汪小菲一家坐旋轉小火車!玥兒緊握馬筱梅手,端坐的她真像大S!

汪小菲一家坐旋轉小火車!玥兒緊握馬筱梅手,端坐的她真像大S!

悠閑歷史
2025-07-06 21:10:58
法國稱贊中國解決白蘭地爭端舉措

法國稱贊中國解決白蘭地爭端舉措

參考消息
2025-07-05 19:08:13
官方:穆西亞拉腓骨骨折且踝關節脫臼,將接受手術并長期缺陣

官方:穆西亞拉腓骨骨折且踝關節脫臼,將接受手術并長期缺陣

懂球帝
2025-07-06 21:51:09
賣地救不了局,地方財政“緊張”遠超大家想象,是真的沒錢了?

賣地救不了局,地方財政“緊張”遠超大家想象,是真的沒錢了?

搬磚營Z
2025-07-04 15:38:34
“土豬拱白菜”的張錫峰浙大計科畢業兩手空空,遭南科大老師調侃

“土豬拱白菜”的張錫峰浙大計科畢業兩手空空,遭南科大老師調侃

東東趣談
2025-07-06 17:34:47
34歲雌雄同體:具備男女兩性器官,被趕出家門10年,她該如何生存

34歲雌雄同體:具備男女兩性器官,被趕出家門10年,她該如何生存

清游說娛
2025-07-05 09:37:30
美債最大“接盤俠”誕生,瘋狂買走1.5萬億,但不是英國、日本

美債最大“接盤俠”誕生,瘋狂買走1.5萬億,但不是英國、日本

任紀煙
2025-06-10 20:16:18
2025-07-07 07:52:49
連線Insight incentive-icons
連線Insight
產業升級創新者的聚集地。
1449文章數 1481關注度
往期回顧 全部

科技要聞

小米YU7首批交付,雷軍現身為車主開車門

頭條要聞

鄭州五星級酒店擺攤日入3萬:烤鴨60一只 豬蹄每個48元

頭條要聞

鄭州五星級酒店擺攤日入3萬:烤鴨60一只 豬蹄每個48元

體育要聞

陳登星法國扣籃大賽奪冠!高舉國旗慶祝

娛樂要聞

35歲鹿晗暴瘦到認不出 傳和關曉彤分手

財經要聞

小紅書成網絡水軍接派單“新陣地”

汽車要聞

阿斯頓·馬丁跑車陣容將齊聚2025古德伍德速度節

態度原創

親子
本地
房產
藝術
軍事航空

親子要聞

科普|女性為何會出現盆腔器官脫垂?

本地新聞

建筑地標如何成為城市人才匯聚的 “強磁場”?

房產要聞

湖畔微醺夜,與全球大生活家共赴世界莊園理想生活之約

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

軍事要聞

以伊沖突后 哈梅內伊首次公開露面

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 获嘉县| 保靖县| 双鸭山市| 宁安市| 遂平县| 庆阳市| 施秉县| 天峨县| 突泉县| 襄城县| 板桥市| 北宁市| 永吉县| 平陆县| 彰武县| 错那县| 雷波县| 南平市| 达拉特旗| 吴旗县| 永寿县| 富顺县| 新野县| 建湖县| 仪征市| 三原县| 上犹县| 太仆寺旗| 五常市| 米泉市| 伊宁县| 嘉祥县| 伊金霍洛旗| 长治市| 施甸县| 通江县| 岐山县| 安陆市| 东乌珠穆沁旗| 玉山县| 本溪|