隨著用于編碼的生成式人工智能工具的使用日益增多,且相關模型存在 “臆造” 出不存在的軟件包名稱的傾向,一種名為 “slopsquatting” 的新型供應鏈攻擊已經出現。
slopsquatting這個術語是由安全研究人員Seth Larson創造的,是對typosquatting的一種解釋。typosquatting是一種攻擊方法,通過使用與流行庫非常相似的名稱來欺騙開發人員安裝惡意軟件包。
與typposquatting不同,slopsquatting不依賴于拼寫錯誤。相反,威脅者可以在PyPI和npm等索引上創建惡意包,這些索引通常由AI模型在編碼示例中組成。
2025年3月發表的一篇關于包幻覺的研究論文表明,在大約20%的研究案例(576,000個生成的Python和JavaScript代碼樣本)中,推薦的包不存在。
像CodeLlama、DeepSeek、WizardCoder和Mistral這樣的開源法學管理軟件的情況更糟,但像ChatGPT-4這樣的商業工具仍然以5%的速度出現新的“仿造款”,這是很值得關注的。
各種LLM的相似率
雖然在研究中記錄“臆想”包裝名稱數量很大,超過20萬,其中43%的名稱在類似的提示中持續重復,58%的名稱在10次運行中至少再次出現一次。研究表明,這些捏造的包裝名稱中,有38%的名字似乎是受到真實名字的啟發,13%是拼寫錯誤的結果,剩下的51%完全是捏造的。
盡管沒有跡象表明攻擊者已經開始利用這種新型攻擊,但有安全研究人員警告說, “臆造” 出不存在的軟件包名稱是常見的,可重復的,并且在語義上是合理的,創造了一個可預測的攻擊面,可以很容易地武器化。
總的來說,58%的“臆想”包裝在10次運行中重復了不止一次,這表明大多數“臆想”不僅僅是隨機的噪音,而是模型對某些提示的反應的可重復的人工制品。這種可重復性增加了它們對攻擊者的價值,使其更容易通過觀察少量模型輸出來識別可行的相關目標。
供應鏈風險概述
減輕這種風險的唯一方法是手動驗證包名稱,并且永遠不要假設ai生成的代碼片段中提到的包是真實的或安全的。
使用依賴掃描器、鎖文件和哈希驗證將包鎖定到已知的可信版本是提高安全性的有效方法。
研究表明,降低與人工智能的黏性可以減少“臆想”,在生產環境中運行或部署ai生成的代碼之前,始終在安全、隔離的環境中對其進行測試也是明智之舉。
參考及來源:https://www.bleepingcomputer.com/news/security/ai-hallucinated-code-dependencies-become-new-supply-chain-risk/
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.