在科技浪潮的推動下,人工智能技術的革新正深刻影響著各行各業。近日,由市工業和信息化局、火炬管委會指導,集美區科工局、集美文教區管委會、創新公司及軟件行業協會聯合主辦的DeepSeek技術應用與產業賦能專題分享會在軟件園三期召開。安勝受邀出席并作《DeepSeek核心技術解讀與應用場景創新探索》的主題分享,園區企業技術負責人、AI研發團隊、產品經理及企業高管等180余人參與了本次會議。
分享會現場
安勝網絡安全研究院 副總監 林炳生
安勝深度剖析了DeepSeek大模型的關鍵技術創新,并結合實際案例,展示其在辦公文本創作、數據分析、智能客服、網絡安全等領域的顯著應用優勢與潛力。
舉例而言,在網絡安全領域,企業的多源威脅智能檢測響應平臺融合了基于DeepSeek的網絡安全大模型的能力,顯著提升了平臺的網絡安全智能推理分析能力,可實現威脅狩獵、事件研判、響應處置的閉環運營,實現安全運營全流程的智能化決策與自動化響應。
此外,作為網絡空間安全和大數據智能化綜合解決方案提供商,安勝憑借在網絡安全領域的豐富經驗與專業能力,分享了大模型在建設過程中可能遇到的風險與挑戰。
深度解析:大模型安全風險
危險潛伏?
隨著GPT-4、PaLM、LLaMA和DeepSeek等大模型(LLM)的技術突破及廣泛應用,其潛在的安全風險也日益凸顯。不同于傳統網絡攻擊,在大模型(LLM)所處的環境中,攻擊者即便不具備高超的技術水平,也能通過對話形式對系統實施攻擊,攻擊門檻降低。
圍繞大模型(LLM)的生命周期,涵蓋數據準備與模型開發、預訓練、微調、推理等各階段,可能出現的安全問題有:
LLM應用風險示例圖
●1、數據準備與開發階段
數據和模型投毒:攻擊者通過向模型的數據集中注入惡意樣本,導致模型在訓練過程中引入偏差或后門,從而在特定條件下觸發異常行為或進行后門攻擊。
供應鏈攻擊:發生在獲取第三方數據或引用外部庫時,若這些來源受到污染或存在漏洞,最終訓練出的大模型會受到威脅。
●2、預訓練階段
敏感信息披露:大模型在預訓練過程中可能會無意中學習并記住敏感信息,如個人身份信息或其他機密內容,導致信息泄露。
●3、微調階段
向量與嵌入的弱點:若向量與嵌入在生成、存儲、檢索數據過程中存在缺陷或漏洞,可能導致模型輸出敏感信息或有害內容。
后門植入與對抗攻擊:攻擊者可利用后門植入對抗攻擊等方法對有標注的數據進行攻擊,欺騙LLM產生錯誤的預測結果。對抗攻擊相對更容易實施,僅需針對模型生成特定擾動。
●4、推理階段
該階段主要有提示注入、敏感信息披露、不當的輸出處理、過度代理、系統提示泄露、虛假信息以及無界消費。
安全防護:多源威脅檢測+deepseek
實戰能力再升級!
鑒于大模型在其生命周期的各個階段都面臨著復雜多變的安全風險,這些風險不僅來自于數據泄露、模型投毒等內部威脅,還可能受到外部攻擊者的惡意利用。因此,構建一個全面而高效的安全防護體系對于確保大模型的穩定運行至關重要。
企業應該具備多源威脅智能檢測響應能力,能夠為自身網絡安全體系提供全局監測預警、自動化研判、智能響應、聯防聯控等能力,體系化提升全局態勢感知和主動防御能力,規范化安全運營協同管理工作。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.