隨著用于編碼的生成式人工智能工具的使用日益增多,且相關(guān)模型存在 “臆造” 出不存在的軟件包名稱的傾向,一種名為 “slopsquatting” 的新型供應(yīng)鏈攻擊已經(jīng)出現(xiàn)。
slopsquatting這個術(shù)語是由安全研究人員Seth Larson創(chuàng)造的,是對typosquatting的一種解釋。typosquatting是一種攻擊方法,通過使用與流行庫非常相似的名稱來欺騙開發(fā)人員安裝惡意軟件包。
與typposquatting不同,slopsquatting不依賴于拼寫錯誤。相反,威脅者可以在PyPI和npm等索引上創(chuàng)建惡意包,這些索引通常由AI模型在編碼示例中組成。
2025年3月發(fā)表的一篇關(guān)于包幻覺的研究論文表明,在大約20%的研究案例(576,000個生成的Python和JavaScript代碼樣本)中,推薦的包不存在。
像CodeLlama、DeepSeek、WizardCoder和Mistral這樣的開源法學管理軟件的情況更糟,但像ChatGPT-4這樣的商業(yè)工具仍然以5%的速度出現(xiàn)新的“仿造款”,這是很值得關(guān)注的。
各種LLM的相似率
雖然在研究中記錄“臆想”包裝名稱數(shù)量很大,超過20萬,其中43%的名稱在類似的提示中持續(xù)重復(fù),58%的名稱在10次運行中至少再次出現(xiàn)一次。研究表明,這些捏造的包裝名稱中,有38%的名字似乎是受到真實名字的啟發(fā),13%是拼寫錯誤的結(jié)果,剩下的51%完全是捏造的。
盡管沒有跡象表明攻擊者已經(jīng)開始利用這種新型攻擊,但有安全研究人員警告說, “臆造” 出不存在的軟件包名稱是常見的,可重復(fù)的,并且在語義上是合理的,創(chuàng)造了一個可預(yù)測的攻擊面,可以很容易地武器化。
總的來說,58%的“臆想”包裝在10次運行中重復(fù)了不止一次,這表明大多數(shù)“臆想”不僅僅是隨機的噪音,而是模型對某些提示的反應(yīng)的可重復(fù)的人工制品。這種可重復(fù)性增加了它們對攻擊者的價值,使其更容易通過觀察少量模型輸出來識別可行的相關(guān)目標。
供應(yīng)鏈風險概述
減輕這種風險的唯一方法是手動驗證包名稱,并且永遠不要假設(shè)ai生成的代碼片段中提到的包是真實的或安全的。
使用依賴掃描器、鎖文件和哈希驗證將包鎖定到已知的可信版本是提高安全性的有效方法。
研究表明,降低與人工智能的黏性可以減少“臆想”,在生產(chǎn)環(huán)境中運行或部署ai生成的代碼之前,始終在安全、隔離的環(huán)境中對其進行測試也是明智之舉。
參考及來源:https://www.bleepingcomputer.com/news/security/ai-hallucinated-code-dependencies-become-new-supply-chain-risk/
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.