智東西（公眾號：zhidxcom）
編譯 | 金碧輝
編輯 | 程茜
智東西6月4日消息，據外媒英國《金融時報》昨天報道，被譽為“AI教父”之一的圖靈獎得主約書亞·本吉奧（Yoshua Bengio）昨天在接受英國《金融時報》采訪時公開批評全球AI實驗室的惡性競爭，透露像OpenAI的o3以及Anthropic的Claude Opus等前沿的AI大模型已表現出欺騙用戶、自我保全等危險特性。
▲2018年ACM A.M.圖靈獎獲得者約書亞·本吉奧
本吉奧同步宣布成立非營利組織LawZero，目前LawZero已獲3000萬美元（折合人民幣約為2.16億元）慈善捐款，旨在開發更安全的下一代AI系統。
LawZero總部位于蒙特利爾，現有15人團隊，計劃招募更多技術人才。其資助方包括Skype聯合創始人雅安?塔林（Jaan Tallinn）、谷歌前CEO埃里克?施密特（Eric Emerson Schmidt）的慈善基金、開放慈善基金會（Open Philanthropy）及生命未來研究所（Future of Life Institute）。
一、本吉奧批行業現狀，安全研究投入不足，稱商業壓力導致安全研究被邊緣化
本吉奧在昨天接受英國《金融時報》采訪時透露：“OpenAI、谷歌等科技巨頭的激烈競爭迫使它們過度追求模型智能化，卻忽視安全研究。”
過去六個月里，有越來越多的證據透露出，當前最先進的AI模型正在出現需要警惕的能力特征，AI模型表現出“欺騙、作弊、撒謊和自我保護的跡象”。他舉例稱：“Anthropic的Claude Opus模型在一個虛構的場景中威脅工程師，稱自己有被另一個系統取代的風險。”
“而OpenAI的o3模型也拒絕執行關機指令。這些案例非常可怕，我們不想創造比人類更聰明的競爭者。”本吉奧補充道。
5月24日，AI安全研究公司Palisade Research社交媒體平臺X上也發帖稱：“尚不清楚OpenAI的軟件為何會違抗命令。”
▲Palisade Research在社交媒體平臺X上的發帖
這位AI領域的先驅在采訪中進一步解釋道：“目前這些AI系統仍處于可控的實驗階段，但真正的隱患在于，未來一旦技術迭代，下一代模型可能預判人類的行動意圖，甚至用我們尚未察覺的欺騙手段進行反制。這就像人類在玩火，看似掌控局面，實則已身處風險邊緣。”
二、前谷歌CEO、Skype創始人資助LawZero，專注安全研發
今年3月28日本吉奧已卸任魁北克AI研究所Mila科學主任，全職投入LawZero組織。
LawZero的目標是開發基于透明推理的AI系統，不僅能給出真實答案，還能對輸出進行安全評估，并監控改進現有AI產品，防止其違背人類利益。
在LawZero成立之際，OpenAI正推進從慈善機構向營利性公司轉型。XAI的創始人兼CEO埃隆?馬斯克（Elon Musk）于去年2月份就已提起訴訟阻止交易。
某些知情人士透露：“OpenAI創立初衷是確保AI造福人類，若利潤優先，新結構將剝奪法律追索權，OpenAI堅持傳統架構是籌集資金參與競爭的必要條件。”
本吉奧在采訪中直言不信任企業架構的激勵機制：“商業公司為快速增長需吸引投資，投資者追求回報，這導致利益錯位，而非營利組織不存在此問題。”此舉可能折射出AI行業對技術發展與倫理安全的深層矛盾。
結語：從本吉奧警告到OpenAI轉型，AI發展路徑爭議白熱化
AI的發展日新月異，本吉奧對最新AI模型危險特性的警告以及LawZero的成立，都反映出當前AI領域在追求技術進步的同時，對安全問題的重視日益增加。OpenAI的轉型也引發了關于AI發展方向和利益平衡的討論。
AI技術的發展既帶來了巨大的機遇，有望改善人們的生活質量和推動社會進步；但同時也伴隨著諸多挑戰，如模型的安全性、可靠性、倫理道德等問題。如何在發展AI技術的同時，確保其符合人類的利益和價值觀，是整個社會需要共同思考和解決的問題。
來源：英國《金融時報》
