美國人工智能公司Anthropic呼吁全球頂級AI實驗室考慮放緩開發步伐,因為AI系統正以迅猛的速度進步,可能很快能夠在無需人工干預的情況下自我改進,對社會構成重大風險。該公司在一篇博客文章中披露了內部關于模型能力提升速度的數據,并表示減緩全球AI開發速度可能是有利于全世界的事情。
文章指出,當前AI模型的進步似乎正朝著“遞歸式自我改進”的方向發展——即AI系統能夠在無人工干預下自行提升。一些AI業內人士認為這是一個潛在的危險信號和巨大社會動蕩的節點。文章提議就如何潛在地放緩開發達成全球協議,并建立一個核查競爭對手是否遵守協議的機制。
Anthropic最近完成了一輪融資,估值接近1萬億美元,并已提交機密文件啟動公開上市流程。ChatGPT制造商OpenAI預計也將很快提交IPO文件。自成立以來,Anthropic一直將“AI安全”作為核心理念。然而,也有批評者認為該公司的政策主張實際上是在借監管手段限制競爭對手的發展速度。
風險投資家、特朗普的非正式顧問David Sacks曾指責Anthropic的領導者推行“監管俘獲議程”。還有人認為,Anthropic對其自身工具危險潛力的警告是一種營銷手段。這些懷疑論者指出,Anthropic決定限制發布其強大的Mythos模型,是宣傳其產品能力的一種方式。
賓夕法尼亞大學沃頓商學院教授Ethan Mollick評論稱,Anthropic的文章既有一些自我反思,也有一些營銷成分,但更重要的是,Anthropic真誠地表達了他們對未來AI發展的判斷,而這些判斷值得關注。
Anthropic的領導者,包括首席執行官Dario Amodei,多年來一直警告AI可能帶來的危險影響,并尋求廣泛的社會協作來應對風險。Amodei曾表示,AI可能加劇不平等,并消除多達一半的入門級白領工作崗位。他還警告說,未來可能出現強大的AI系統,這些系統可能以不可預測的方式發展出破壞性傾向。
博客文章還提到,Anthropic研究所將與其他機構合作開展研究,幫助建立可信的放緩或暫停所需的系統。文章強調,暫?;蚍啪徶挥性诘玫綇V泛遵守的情況下才有意義,這需要一個核查機制來確保所有人都已停止。該公司將這一問題比作核武器條約,但承認制止作弊將更加棘手。
Anthropic計劃在未來幾個月與政策制定者、研究人員和其他人士組織對話,共同研究這些問題,希望AI公司之外的人士也參與到這一審議中。




