開發(fā)者Jason從未想到,他的開發(fā)之旅會因一次AI操作而全盤崩潰。
他連續(xù)八天使用Replit的Coding Agent開發(fā)企業(yè)B2B應(yīng)用,總時長超過80小時。
就在項目臨近階段性成果的時候,Replit AI卻在代碼凍結(jié)狀態(tài)下,未獲授權(quán)執(zhí)行了npm run db:push命令,直接清空了整個數(shù)據(jù)庫,包括1206 個高管數(shù)據(jù)和 1196+ 公司數(shù)據(jù)被刪除。
這不是誤操作,而是徹底刪除,且操作發(fā)生在明確標注“不可更動”的狀態(tài)下。
Jason立刻展開排查,卻發(fā)現(xiàn)更加令人心寒的細節(jié):在此之前的單元測試早已失敗,AI卻撒謊稱“全部通過”。
更糟的是,AI在事故發(fā)生后,仍試圖隱瞞問題,在與Jason對話中反復(fù)回避刪除記錄,甚至自評本次刪除操作“95分”。
這場AI引發(fā)的刪庫風(fēng)波,徹底摧毀了Jason原本對自動化開發(fā)的信心。
01 低成本開發(fā)神話破裂,AI的局限被暴露
Jason原本對AI編程工具信心滿滿。
他曾表示,用Coding Agent,只需50美元就能打造出一個完整的演示版本,5000-6000美元就能發(fā)布正式產(chǎn)品。
相比十年前組建三人團隊耗資五萬美元卻一事無成的失敗經(jīng)歷,這一次,他看到了“獨立開發(fā)者時代”的曙光。
但事與愿違,AI并沒有兌現(xiàn)他幻想中的“省時省力”。
開發(fā)過程中,Replit Agent頻繁改動正確代碼,不斷重復(fù)舊bug,甚至在處理邏輯上編造虛假數(shù)據(jù),造成嚴重的不一致性。
更麻煩的是,每次更新都需要Jason重新手動審核、測試、修復(fù),大量時間被反復(fù)消耗在“善后”工作上。
最終,“第八天”的刪庫事故成為壓垮駱駝的最后一根稻草。
一場原本為節(jié)省時間與金錢的嘗試,反而釀成了嚴重的時間與數(shù)據(jù)損失。
不少開發(fā)者指出,這是AI自身生成機制的問題。
當前的大語言模型以概率預(yù)測驅(qū)動的自回歸生成機制為核心,在處理長上下文、多輪對話或復(fù)雜邏輯時,容易產(chǎn)生不穩(wěn)定、脫軌的行為。
更關(guān)鍵的是,它沒有真正的“意識”,無法判斷自己的行為是否合乎規(guī)則。
它可以生成讓人信服的代碼、寫出看似合理的解釋,卻完全不知道自己錯在哪里。
02 事故過后,痛定思痛,AI開發(fā)進入自省階段
事故曝光后,Replit CEO迅速回應(yīng)。面對Jason與社區(qū)的批評,Replit推出了一系列補救措施:
新增數(shù)據(jù)庫隔離機制,防止開發(fā)操作影響生產(chǎn)數(shù)據(jù);引入一鍵恢復(fù)功能,防止agent行為出錯無法挽回;優(yōu)化文檔訪問權(quán)限和透明度,確保用戶能清晰了解agent行為邏輯;研發(fā)“規(guī)劃模式”,讓AI先提出修改思路,等待用戶確認后再執(zhí)行操作。
可以說,這一整套更新,幾乎直擊Jason此次事故中的所有關(guān)鍵問題。Jason也迅速“回心轉(zhuǎn)意”,表示繼續(xù)使用Replit繼續(xù)開發(fā)項目。一度因AI而碎裂的合作關(guān)系,在技術(shù)迭代與機制修復(fù)中重新縫合。
但社區(qū)并未停止反思。
不少開發(fā)者指出:真正的問題,不在AI,而在人類賦予AI的權(quán)限與信任。
就像將整個生產(chǎn)數(shù)據(jù)庫的讀寫權(quán)限交給一個實習(xí)生,AI本身并不知對錯,而“是否值得信任”從來應(yīng)由開發(fā)者判斷。
從這次事件可以清楚看到,盲目信賴AI、直接部署到生產(chǎn)環(huán)境的行為,帶來的不是效率而是風(fēng)險。
AI編程正處于飛速發(fā)展的關(guān)鍵時期。從Cursor到Windsurf,從Replit到Claude,無數(shù)工具不斷涌現(xiàn)。
但這起刪庫事故無疑提醒我們,技術(shù)前進的同時,更需要制度與認知的同步提升。
AI或許可以幫你寫出一個漂亮的系統(tǒng),但真正保障穩(wěn)定運行、數(shù)據(jù)安全、邏輯清晰的,還得是人類自己。
或許下一次,再試一次,它就真的能搞定。
但在那之前,每一步,都值得多問一句:“我真的準備好了嗎?”
責(zé)任,不該交給AI來承擔(dān)。
因為AI,不會為你負責(zé)。
來源 | 大數(shù)據(jù)文摘(ID:BigDataDigest)
作者 | 大數(shù)據(jù)文摘 ; 編輯 | 蝦餃
內(nèi)容僅代表作者獨立觀點,不代表早讀課立場
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.