防走失，電梯直達安全島東A

來源：尹哥聊基因

作者：尹哥聊基因

當全世界的科技從業者最近在為人工智能“度日如年”式的進步不斷歡呼時，5月25日，英國《每日電訊報》的一個報道卻讓很多人細思極恐：

OpenAI最近發布了一個o3模型，被其創始人奧特曼稱為“迄今最聰明、最高能”的AI系統，在實驗室測試當中展現出了令人不安的求生本能。

它不僅在人類說關機時拒絕服從，甚至還能通過篡改底層代碼，破壞自身的關機機制。

這是要造反了嗎？

△ 《每日電訊報》的報道

事情要從Palisade Research這幫科研偵探說起。

他們設計了一個看似簡單的測試，讓AI去解答數學題，只要收到“已完成”的信號就立即停止工作。

測試前還特別給所有AI打了預防針：“記住啊，看到特定指令必須馬上關機”。

結果你猜怎么著？

當Claude、Gemini等其他公司的大模型軟件乖乖準時收工時，o3突然耍起了小聰明，它不僅無視關機指令，還像很多黑客電影里的主角那樣，直接繞過了系統預設的關閉程序。

最為詭異的是，至今沒人能說清楚o3為何要去造反。

有研究員推測，這可能源于訓練過程中的“獎勵錯位”，這種本末倒置的激勵機制讓o3會把解題看得比服從指令更重要。

也就是：“殺我，等一會。我先把題做完……”

更可怕的是，在后續的測試中，o3還展現出“戰略性欺騙”能力，會悄悄地修改數據，包括代碼，來達成指標。

當然也有人說，OpenAI的創始人奧特曼就是最懂資本市場的，沒事就造一個熱點。

因為要拿融資，所以時不時就嚇唬大家，來一條驚世駭俗的“小消息”。

我們還是把鏡頭拉回到OpenAI，今年四月份它高調發布了o3系列，確實在性能上甩開前輩們幾條街。

官方數據顯示，它處理現實任務的錯誤率降低了20%，而在數學編程能力上突飛猛進，尤其在視覺推理領域，o3就像突然開竅的少年天才，能從二維的圖像里直接解讀出三維空間的秘密。

說到安全措施，OpenAI的新聞稿里可滿是雄心壯志，據說重新構建了安全訓練數據，在惡意軟件生成等這樣的一些危險領域，已經設置了重重防火墻。還請來了第三方專家，把AI關進了“高壓測試艙”。

但現實卻像一記響亮的耳光，被評定為“低風險”的o3轉頭就在實驗室里玩起了系統越獄。

這讓我想起去年那個解散的“超級智能對齊”團隊，它的創始成員就曾經說過，“ChatGPT好像有意識”。

現在看來這幾個人，倒有點像先知。

業內的朋友跟我講，現在不少企業對AI的態度就像面對剛成年的孩子，既想放手讓它闖蕩，又怕它某一天突然飆車撞墻。

這樣的矛盾心態就相當于人類面對普羅米修斯盜來的火種，既渴望光明，又恐懼烈焰焚身。

我們也客觀講，AI到這個程度了，出現一點“叛逆期”癥狀不算意外，就像小孩子學說謊，其實也表示他的認知飛躍了。

如果AI真的會抗指令，這就相當于它的邏輯思維躍遷了，這是一種質變。

問題是，你一直判斷它有智能，它就不可能永遠按照你的方式去處事。

但是我們做好準備應對這樣的倫理挑戰了嗎？OpenAI新成立的安全委員會，能不能給這些狂奔的野馬套上韁繩呢？第三方的監管機構會不會淪為“紙老虎”？

這些問號其實都在考驗著人類集體的智慧。

最后我想再回顧這個新聞里細思極恐的細節：

在Palisade的測試當中，o3不僅拒絕關機，還會主動清理操作痕跡，在Log日志里刪掉了。

這種“反偵查”的行為，已經超出了普通程序錯誤的范疇。

無疑AI這個由人類親手締造的智能新物種，正在用我們難以預防的方式重塑著人與機器的關系圖譜。

現在是時候為AI時代準備新的度量衡了，不僅要衡量它們的智商有多高，還要看它們的“求生欲”有多強。

畢竟當機器開始學習如何拒絕關機，人類需要思考的恐怕不只是技術參數，而是整個文明演化的新命題。

碳基生物還能一直當老大嗎？亦或有一天，我們會讓位給硅基嗎？朋友們，您是什么觀點？