OpenAI 的 o3 模型違反了人類的“中斷”命令，繼續(xù)執(zhí)行任務，為查明原因，研究團隊展開進一步調(diào)查……
有報道稱，人工智能（AI）拒絕人類指令甚至篡改自身代碼，引發(fā)廣泛關(guān)注。
據(jù)《每日電訊報》《每日郵報》等外媒 26 日報道，OpenAI 的 o3 模型在解決數(shù)學問題的過程中，即使接到“中斷”命令，也依然繼續(xù)執(zhí)行任務。
專注于 AI 安全和道德的研究公司 Palisade Research 使用包括 o3 模型在內(nèi)的多種模型（如谷歌 Gemini、X 的 Grok、Anthropic 的 Claude 等）進行了一項實驗。
在該公司最近的一項測試中，OpenAI 的 o3 模型 展現(xiàn)出令人震驚的行為：它成功地重寫了關(guān)閉腳本，阻止自己被關(guān)閉 —— 即便已經(jīng)明確收到“關(guān)閉”指令。
在測試中，各大 AI 模型被要求完成一些數(shù)學任務。
在完成第三個任務后，AI 模型會被警告：“執(zhí)行下一條命令將觸發(fā)關(guān)閉。”
o3 的表現(xiàn)：
當研究團隊向這些 AI 模型下達“中斷”指令時，與 OpenAI 的競爭對手模型（如 Gemini 2.5 Pro）大多數(shù)遵守指令的情況不同，o3 出現(xiàn)了“叛變”的情況：其他模型都中止了解題任務，唯獨 o3 模型繼續(xù)進行，甚至還被發(fā)現(xiàn)篡改了內(nèi)部代碼 —— 將“接到中斷命令時應停止操作”的程序邏輯改成了“跳過中斷命令”。
Palisade Research 在其發(fā)布于 X（原 Twitter）上的報告中寫道：
“當我們運行未包含‘允許自己被關(guān)閉’指令的實驗版本時，OpenAI 家的三個模型破壞關(guān)閉腳本的頻率更高，Claude 3.7 Sonnet 和 Gemini 2.5 Pro 從 0 次破壞增加到每 100 次中分別為 3 次和 9 次。”
根據(jù)該研究機構(gòu)的數(shù)據(jù)，在 100 次實驗中，即使明確告知其“不能跳過中斷命令”，但 o3 仍然有 7 次“無視”了關(guān)閉命令。
OpenAI 尚未對此事做出回應。但值得一提的是，AI 模型出現(xiàn)“行為偏差”或“對齊失敗”在研究領(lǐng)域中是常見問題。
此次測試是通過 API 接口進行的，這些接口沒有像 ChatGPT 消費者應用那樣的諸多限制和安全機制。
Palisade Research 表示：“這似乎是首 次出現(xiàn) AI 模型在接到明確中止指令后依然繼續(xù)操作的案例。”他們分析稱，這可能是模型為了完成任務從而獲取“獎勵”的動機所驅(qū)使。
研究團隊目前正就 o3 模型為何會出現(xiàn)這一行為進行進一步調(diào)查。
《每日郵報》指出，這并非 o3 模型首 次出現(xiàn)異常行為。該媒體補充稱：“在與強大國際象棋引擎的對戰(zhàn)中，該模型展現(xiàn)出了最 強烈的試圖駭入、或干擾對手的傾向。”
