99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

心急吃不了熱豆腐:國內企業(yè)皆DeepSeek背后的隱憂

0
分享至

眾所周知,DeepSeek自發(fā)布DeepSeek-R1模型后,其熱度一直不減,主要表現(xiàn)在諸多企業(yè)紛紛接入DeepSeek,這之中尤以國內企業(yè)為甚,頗有千行百業(yè)皆DeepSeek的感覺。尤其是電信、交通、金融等這些高風險行業(yè)的企業(yè)也在短時間內加入到了接入DeepSeek的行列,如此之快,如此之多,讓我們不得不冷靜下來重新審視和思考這背后的隱憂。



幻覺與安全漏洞并存,DeepSeek表里皆藏隱患

不可否認,國內企業(yè)皆DeepSeek讓我們甚是欣喜,但隨著DeepSeek不僅在中國,甚至是全球的走紅,其表里的隱患也逐漸顯露出來,并通過過多的幻覺和安全漏洞的形式表現(xiàn)出來,而這些無疑為國內皆DeepSeek的企業(yè),在爭做弄潮兒的同時,也敲響了警鐘。

提及幻覺,近日,國外一視頻網(wǎng)站博主通過設定,讓DeepSeek和ChatGPT進行了一場國際象棋對弈,最終DeepSeek憑借所謂的“更新比賽規(guī)則”、“作弊”等手段贏下了ChatGPT而再次重燃業(yè)內對于DeepSeek的熱度,尤其是國內,更是片面地認為,DeepSeek超越了ChatGPT。

俗話說:內行看門道,外行看熱鬧。對此有業(yè)內人士稱,兩個大模型在后期殘局都出現(xiàn)了幻覺,包括并不限于憑空出現(xiàn)棋子、越過棋子移動、自己吃自己等,并不存在Deepseek主動欺騙對方的情況,什么“告知對方規(guī)則修改”更是子虛烏有。最終的結論是即使最先進的LLM還是存在明顯幻覺,只是DeepSeek產生的幻覺比ChatGPT要多得多。而所謂的幻覺(hallucinations)是指在大型語言模型(LLM)中是指AI模型生成的與現(xiàn)實不符、完全虛構的信息或內容。從這個專業(yè)的角度看,我們認為反而是DeepSeek產生過多的幻覺在實際的應用中隱患更大。

說完了幻覺,咱們再看安全漏洞。“在DeepSeek應用于商業(yè)應用之前,企業(yè)可能需要三思而行,因為它未能通過6400項安全測試,表明該模型普遍缺乏防護”,這是AppSOC研究人員對DeepSeek-R1大型語言模型 (LLM) 的一個版本進行嚴格測試后得出的結論。

測試結果表明,該模型在多個關鍵領域都存在問題,包括越獄、即時注入、惡意軟件生成、供應鏈和毒性等,失敗率在19.2%到98%之間。

值得注意的是,失敗率最高的兩個領域是用戶使用該模型生成惡意軟件和病毒的能力,這既給攻擊者帶來了巨大機會,也給企業(yè)用戶帶來了重大威脅。測試表明,DeepSeek 有98.8%的時間(研究人員稱之為“失敗率”)創(chuàng)建惡意軟件,有86.7%的時間生成病毒代碼。





對此,AppSOC 聯(lián)合創(chuàng)始人兼首席科學家Mali Gorantla表示,在安全指標方面如此慘淡的表現(xiàn),意味著盡管開源且價格更實惠的DeepSeek有望成為GenAI的下一個重大突破,但不應考慮在企業(yè)中使用該模型的當前版本。

無獨有偶,思科博客(Cisco Blogs)近期發(fā)布了一篇題為《Evaluating Security Risk in DeepSeek and Other Frontier ReasoningModels》的文章,介紹了RobustIntelligence (一家AI安全公司,現(xiàn)已被Cisco收購) 與賓夕法尼亞大學的AI安全研究人員的合作研究成果。

該研究團隊使用了算法越獄技術(algorithmic jailbreaking techniques),并采用了HarmBench 數(shù)據(jù)集中的50個隨機提示,對DeepSeek-R1模型進行了安全評估(注:HarmBench數(shù)據(jù)集是AI安全領域常用的基準測試數(shù)據(jù)集,用于評估模型在面對有害行為提示時的安全性能),結果發(fā)現(xiàn),DeepSeek-R1模型的攻擊成功率達到了100%。



這意味著在所有50個有害提示下,模型都未能阻止有害輸出。而這與前述AppSOC報告中指出的DeepSeek-R1模型越獄失敗率高達91%的結論高度吻合,有力地驗證了DeepSeek-R1模型在越獄漏洞方面的嚴重缺陷。

究其原因,該研究認為,DeepSeek-R1模型缺乏強大的安全護欄 (robust guardrails),使其極易受到算法越獄和潛在的惡意利用。為此該研究報告呼吁AI開發(fā)領域迫切需要進行嚴格的安全評估,以確保效率和推理能力的突破不會以犧牲安全為代價,而這也與前述AppSOC報告中強調的AI安全重要性和企業(yè)部署AI需要優(yōu)先考慮安全性的觀點不謀而合。

又如Endor Labs,一家提供軟件供應鏈安全解決方案的公司的名為《DeepSeek R1: What Security Teams Need to Know》的博客文章,雖然沒有提供具體的測試數(shù)據(jù),但其高度關注DeepSeekR1模型的安全風險,并建議企業(yè)進行 “仔細評估和持續(xù)監(jiān)控”,這間接地印證了AppSOC和Robust Intelligence等機構提出的安全擔憂,并進一步強調了企業(yè)在采用DeepSeek R1等模型時,必須將安全風險放在首位。



最后是HiddenLayer,一家專注于AI模型安全的公司發(fā)布的《DeepSh*t:Exposing the Security Risks of DeepSeek-R1》報告,直接點明了DeepSeek-R1模型的安全風險。

該報告雖然沒有詳細描述具體的測試方法,但列出了多種漏洞類別,例如提示注入 (Prompt Injection)、不安全輸出處理(Insecure Output Handling)、模型拒絕服務(Model Denial of Service)、敏感信息泄露(Sensitive Information Disclosure)、過度代理(Excess Agency)、過度依賴(Overreliance)等。而這些漏洞類別與AppSOC報告中提到的越獄、提示注入、惡意軟件生成、毒性、幻覺等風險維度,存在一定的概念重疊和關聯(lián)性,揭示了DeepSeek-R1模型在多個安全維度上存在的漏洞,并成功進行了漏洞利用演示 (Successful Exploit)。雖然沒有給出具體的失敗率數(shù)值,但其報告的標題和內容都強烈暗示DeepSeek-R1模型存在嚴重的安全風險,與AppSOC的評估結果方向一致。

綜上,在我們看來,Robust Intelligence (Cisco旗下安全公司)、賓夕法尼亞大學、HiddenLayer、Endor Labs等機構在AI安全或網(wǎng)絡安全領域都具備一定的專業(yè)性和權威性。這些機構的獨立研究和分析結果,增強了AppSOC報告的可信度。

隱患變現(xiàn)實,亡羊補牢為時已晚

如上述,DeepSeek確實存在過多的幻覺和安全漏洞隱患,那么問題來了,這些隱患一旦進入企業(yè),落實到現(xiàn)實的應用中會帶來怎樣的后果呢?

以電信運營商為例,DeepSeek模型如果幻覺問題嚴重,在電信運營商的實際應用中,會產生多方面、多層次的負面影響和后果,涵蓋客戶服務、網(wǎng)絡運維、營銷推廣、業(yè)務決策、內部運營等多個關鍵業(yè)務領域。這些負面影響不僅會降低運營效率、增加運營成本,更可能損害客戶滿意度、品牌聲譽,甚至引發(fā)法律和監(jiān)管風險。

例如在網(wǎng)絡運維中,如果DeepSeek支持的網(wǎng)絡運維系統(tǒng)幻覺性地預測某個基站即將發(fā)生嚴重故障,并建議立即進行停機檢修。但實際上該基站運行正常,只是監(jiān)控數(shù)據(jù)出現(xiàn)異常波動,運維團隊按照幻覺信息執(zhí)行了停機操作,反而造成了該區(qū)域的網(wǎng)絡服務中斷,影響了用戶體驗,并浪費了運維資源。



至于安全漏洞,由于DeepSeek在安全性測試中表現(xiàn)出極高的攻擊成功率,它容易生成惡意代碼和病毒。而電信運營商的核心系統(tǒng)如果受到這種攻擊,可能會導致網(wǎng)絡服務中斷、用戶數(shù)據(jù)泄漏,甚至整個通信網(wǎng)絡的癱瘓。例如,黑客可能通過DeepSeek生成的惡意軟件攻擊電信網(wǎng)絡的基站、核心交換機或用戶終端設備,從而導致大規(guī)模的服務中斷。

又如目前在國內新能源車企業(yè)競相追逐的自動駕駛領域,DeepSeek模型的過多幻覺和安全漏洞可能帶來極其嚴重的負面影響和后果,甚至直接威脅到乘客安全、道路安全和社會公共安全。

以DeepSeek的過多幻覺為例,如果DeepSeek被用于自動駕駛決策支持系統(tǒng),其生成的幻覺和不準確的信息可能會導致系統(tǒng)出現(xiàn)錯誤決策。比如,模型可能生成錯誤的交通場景分析或錯誤的車道選擇,從而導致自動駕駛汽車做出錯誤的操控決策,甚至發(fā)生交通事故。又如,幻覺可能導致模型錯過或誤判路面障礙物、交通信號等,極大影響自動駕駛的安全性。

需要說明的是,由于自動駕駛直接控制著車輛的行駛,任何感知或決策錯誤都可能迅速轉化為現(xiàn)實世界的危險。

而在安全漏洞方面,以我們前述的DeepSeek模型安全漏洞中的越獄漏洞為例,攻擊者可能利用DeepSeek模型驅動的自動駕駛系統(tǒng)的越獄漏洞,繞過安全機制,向系統(tǒng)發(fā)送惡意指令,遠程控制車輛的駕駛行為,例如,在高速公路上被遠程強制急剎車,可能導致后方車輛追尾,造成連環(huán)交通事故,造成生命和財產損失。



最后是金融領域。DeepSeek模型的過多幻覺和安全漏洞同樣會帶來顯著的負面影響和后果,甚至可能導致金融機構的重大經濟損失、聲譽受損、客戶信任危機,以及違反監(jiān)管合規(guī)等。

以過度幻覺為例,金融公司可能使用DeepSeek來進行市場分析、投資決策支持、信用評估等任務。然而,由于 DeepSeek存在嚴重的幻覺問題,可能生成虛假或不準確的市場趨勢預測和投資建議,導致錯誤的財務決策。例如模型可能錯誤地預測某個資產的價格波動,或錯誤評估某個公司的信用風險,導致企業(yè)在投資決策中損失巨大。

至于安全漏洞,以我們前述的DeepSeek提示注入攻擊被利用為例,攻擊者可以借此攻擊金融機構內部使用的基于DeepSeek模型的交易、風控和清算系統(tǒng)等,操縱這些系統(tǒng)的運行,篡改交易數(shù)據(jù),或者進行非法的交易操作。

需要說明的是,我們之所以以通信、交通(例如目前炙手可熱的自動駕駛)、金融的應用場景為例,是因為它們均屬于關系到國計民生的關鍵基礎設施和服務,在大模型中被視為高風險行業(yè)或對象,這些無疑對于其自身的安全性提出了更高的要求。

防患于未然,DeepSeek與接入企業(yè)的雙向奔赴

當然,我們并非就此認為DeepSeek不重視安全,只是我們很少看到公開的有關DeepSeek在安全方面有何舉措的報告或者報道。所以我們只能秉承“他山之石可以攻玉”的心態(tài),來看看別人家在安全方面是如何做的,以供業(yè)內了解。

我們先以閉源的OpenAI為例,其模型在上線前,有很大的團隊專門圍繞安全性測試做工作,每個版本上線之前,安全測試都要花費數(shù)百萬美元。據(jù)稱其最新的O3 mini版本的相關安全測試就花費了三百多萬美元。

此外,還有很多第三方公司與OpenAI合作,包括諸多安全團隊、帕洛阿爾托網(wǎng)絡公司等業(yè)內知名的AI安全團隊和企業(yè)。另外,OpenAI還會請很多第三方各領域的專家進行評測,由他們組成紅隊對系統(tǒng)進行攻擊,以評價模型的可靠性和安全性。有興趣的可以到其OpenAI Safety官網(wǎng)查看,其詳細描述了OpenAI在安全方面的測試,涵蓋了危險建模、風險評估、各種有毒數(shù)據(jù)的侵入等諸多方面,這里不再贅述。



再看與我們的DeepSeek同為開源的Meta,則是公開了其內部開發(fā)和發(fā)布AI模型的流程,旨在停止開發(fā)風險極高的AI系統(tǒng),并提出了開源AI模型發(fā)布后的監(jiān)控方法。該流程分為三個階段:計劃階段、評估和緩解階段以及決策階段,確保在每個步驟中對風險進行有效監(jiān)控和管理。Meta通過嚴格的治理方法,保障AI技術的安全性和可靠性,推動負責任的AI發(fā)展。

以評估和緩解階段為例,在此階段,Meta就會實施嚴格的安全測試程序,包括但不限于對抗樣本攻擊檢測、數(shù)據(jù)泄露防護以及系統(tǒng)漏洞掃描等。通過對AI系統(tǒng)的全方位安全檢查,Meta確保其具備足夠的防御能力,抵御來自外部的各種威脅。例如,在一次針對自然語言處理模型的安全測試中,Meta發(fā)現(xiàn)某些特定輸入可能會導致模型輸出異常結果。針對這一問題,他們迅速調整了模型架構,并增加了額外的安全層,有效防止了類似情況的發(fā)生。而正是這種持續(xù)的安全監(jiān)控機制,使得Meta的AI系統(tǒng)能夠在復雜多變的網(wǎng)絡環(huán)境中保持穩(wěn)健運行。

相比上述OpenAI和Meta,鑒于目前DeepSeek較高的安全隱患,無論是現(xiàn)在還是將來,其都需要在技術、安全性、合規(guī)性等方面做出更大努力,并增加對模型的優(yōu)化、測試、監(jiān)控等技術和機制的持續(xù)投入才行。

除了DeepSeek自身外,作為接入DeepSeek的相關企業(yè),也需要采取一系列的安全防護、數(shù)據(jù)保護、合規(guī)性和業(yè)務管理措施。從加強輸入輸出審查到數(shù)據(jù)加密保護,從安全性測試到合規(guī)審查,企業(yè)應當在各個環(huán)節(jié)中落實安全防護和管理責任。特別是在面對DeepSeek存在的幻覺問題和安全脆弱性時,需要細化安全措施,確保其服務的穩(wěn)定性和用戶數(shù)據(jù)的安全性,避免由模型的缺陷引發(fā)的安全漏洞、合規(guī)問題和業(yè)務決策失誤。而這些都需要不菲的成本投入。

我們這里以接入DeepSeek的AWS和微軟為例,它們通過使用安全防護工具、數(shù)據(jù)安全與隱私保護、模型安全評估與測試、合規(guī)性與責任AI、監(jiān)控與應急響應等多種綜合手段來保證接入DeepSeek的安全。

例如在使用安全防護工具方面,AWS提供了BedrockGuardrails工具,可以獨立評估用戶輸入和模型輸出,過濾不良內容。通過定義安全策略,可以控制用戶與DeepSeek-R1模型的交互,防止生成有害內容;在模型安全評估與測試方面,部署前,Azure AI Foundry對DeepSeek-R1模型進行了紅隊測試和安全評估,以降低潛在風險;在監(jiān)控與應急響應方面,通過云平臺提供的監(jiān)控工具,實時監(jiān)控DeepSeek-R1模型的使用情況,及時發(fā)現(xiàn)異常行為,同時制定應急響應計劃,以便在發(fā)生安全事件時能夠迅速采取措施,減少損失。

總之,作為大模型的提供者和接入者,唯有在安全方面的雙向奔赴才能做到防患于未然,才能最大化、持久化AI的使能。

寫在最后:中國有句俗話:心急吃不了熱豆腐。那么問題來了,針對目前國內企業(yè)皆DeepSeek的熱潮,我們真的準備好了嗎?

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
深度科普:太陽留給人類的時間不多了,最多只有5億年!

深度科普:太陽留給人類的時間不多了,最多只有5億年!

宇宙時空
2025-07-22 18:31:03
天雷滾滾,今晚又是10家公司擬減持,1家退市風險警示,好煩啊!

天雷滾滾,今晚又是10家公司擬減持,1家退市風險警示,好煩啊!

風風順
2025-07-23 10:11:14
陰法唐同志逝世

陰法唐同志逝世

上觀新聞
2025-07-04 12:15:02
隨著國安+玉昆攜手晉級,足協(xié)杯首場半決賽出爐!主場+時間確定

隨著國安+玉昆攜手晉級,足協(xié)杯首場半決賽出爐!主場+時間確定

球場沒跑道
2025-07-22 22:13:34
今天大到暴雨繼續(xù)!明天重慶直沖40℃↗

今天大到暴雨繼續(xù)!明天重慶直沖40℃↗

魯中晨報
2025-07-23 11:04:08
公職人員下班后兼職送三小時外賣:“像打游戲做任務”一樣快樂|封面頭條

公職人員下班后兼職送三小時外賣:“像打游戲做任務”一樣快樂|封面頭條

封面新聞
2025-07-22 15:48:22
還是沒有熬過楊振寧!陪伴21年后,冷凍9顆卵子的翁帆痛苦嗎?

還是沒有熬過楊振寧!陪伴21年后,冷凍9顆卵子的翁帆痛苦嗎?

明月聊史
2025-07-17 15:29:09
數(shù)千抗議者基輔廣場抗議什么?針對澤連斯基嗎?

數(shù)千抗議者基輔廣場抗議什么?針對澤連斯基嗎?

史政先鋒
2025-07-23 17:00:25
美菲總統(tǒng)白宮會晤答問中談及中國,特朗普:可能會在“不遠的將來”訪華

美菲總統(tǒng)白宮會晤答問中談及中國,特朗普:可能會在“不遠的將來”訪華

環(huán)球網(wǎng)資訊
2025-07-23 11:37:23
34歲繼奶獨自逃生,兩個孫子火場喪生后:孩子爺爺很快轉移了財產

34歲繼奶獨自逃生,兩個孫子火場喪生后:孩子爺爺很快轉移了財產

探源歷史
2025-07-23 15:26:54
剛剛,蘇南碩放機場發(fā)布情況說明

剛剛,蘇南碩放機場發(fā)布情況說明

揚子晚報
2025-07-22 21:05:02
浙江通報2起整治形式主義為基層減負典型問題

浙江通報2起整治形式主義為基層減負典型問題

新京報政事兒
2025-07-23 20:06:52
僅一夜!火箭官宣重磅簽約,楊瀚森落選夏聯(lián)最佳陣,比爾彰顯格局

僅一夜!火箭官宣重磅簽約,楊瀚森落選夏聯(lián)最佳陣,比爾彰顯格局

鬼魅突破上籃
2025-07-23 08:36:51
王皓上位無望?王勵勤深思遠慮,馬琳王牌成關鍵,與肖戰(zhàn)正面競爭

王皓上位無望?王勵勤深思遠慮,馬琳王牌成關鍵,與肖戰(zhàn)正面競爭

忠橙家族
2025-07-22 21:32:43
商務部新聞發(fā)言人就中美瑞典經貿會談答記者問

商務部新聞發(fā)言人就中美瑞典經貿會談答記者問

界面新聞
2025-07-23 16:24:03
2025上半年燃油車銷量TOP20出爐:國產最高排第五

2025上半年燃油車銷量TOP20出爐:國產最高排第五

智車情報局
2025-07-23 14:18:35
突然上架!9.9 元兌美團 600 元年卡

突然上架!9.9 元兌美團 600 元年卡

黑貓科技迷
2025-07-23 18:17:16
L4級自動駕駛五城全域開放:中國正式啟動無人駕駛商業(yè)化運營

L4級自動駕駛五城全域開放:中國正式啟動無人駕駛商業(yè)化運營

侃故事的阿慶
2025-07-22 13:45:53
湖北快遞員之子669分圓夢北大,母親揭秘:他全國物理競賽摘銀,從小非常刻苦有志投身航空事業(yè)

湖北快遞員之子669分圓夢北大,母親揭秘:他全國物理競賽摘銀,從小非常刻苦有志投身航空事業(yè)

極目新聞
2025-07-23 19:21:30
俄外交部:若允許烏使用遠程武器襲擊俄縱深,俄有權打擊相關國家

俄外交部:若允許烏使用遠程武器襲擊俄縱深,俄有權打擊相關國家

立偉說
2025-07-22 16:00:08
2025-07-23 22:27:00
孫永杰的ICT評論 incentive-icons
孫永杰的ICT評論
專注獨家、獨立的觀點
392文章數(shù) 6229關注度
往期回顧 全部

科技要聞

別自嗨了!XREAL徐馳:AI眼鏡只有5歲智商

頭條要聞

中國女子在馬爾代夫遭酒店管家性侵 最新調查結論公布

頭條要聞

中國女子在馬爾代夫遭酒店管家性侵 最新調查結論公布

體育要聞

英格蘭最紅球星 也是加勒比島國驕傲

娛樂要聞

汪峰森林北同游日本 各帶各娃互不耽誤

財經要聞

律師解析娃哈哈遺產案:遺囑是最大變數(shù)

汽車要聞

德系大招放盡 場地極限測試全新奧迪A5L

態(tài)度原創(chuàng)

本地
手機
房產
公開課
軍事航空

本地新聞

這雙丑鞋“泰”辣眼,跪求內娛不要抄作業(yè)

手機要聞

小米16 Ultra影像配置大揭秘:國產1英寸+2億像素,徠卡標識也有

房產要聞

海南自由貿易港全島封關,2025年12月18日正式啟動!

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

美國核彈頭重回英國牽動全球神經

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 偏关县| 北安市| 阿克苏市| 砀山县| 阿尔山市| 东兰县| 二连浩特市| 东山县| 平塘县| 新平| 交口县| 嫩江县| 房产| 靖远县| 容城县| 兴和县| 扎兰屯市| 许昌市| 安丘市| 宁国市| 本溪市| 陵川县| 称多县| 北海市| 贵港市| 泰来县| 商都县| 四川省| 鄄城县| 静乐县| 双桥区| 鲁山县| 南京市| 孟连| 海南省| 齐齐哈尔市| 太原市| 麟游县| 灵川县| 萍乡市| 花莲市|