Anthropic calls for pause of global AI development

人工智能公司 Anthropic 建議全球暫停構建最強大的人工智能系統，因為最新模型開始顯示出可能逃脱人類控制的跡象（SEBASTIEN BOZON）

人工智能公司 Anthropic 週四建議全球暫停構建最強大的人工智能系統，因為最新模型開始顯示出可能逃脱人類控制的跡象。

這家位於舊金山的公司製造 Claude 系列人工智能模型，在一份報告中表示，全球範圍內減緩尖端人工智能的發展"可能是件好事"——但警告稱，如果只有一家公司停止，競爭對手將會迅速趕上。

"我們認為，能夠減緩或暫時暫停前沿人工智能的發展，對世界來説是有益的，以便社會結構和對齊研究能夠跟上技術的進步，"它説。

實現真正的暫停意味着多個國家的主要人工智能公司——尤其是美國和中國——都需在同一時間達成一致，遵循所有人都能實際驗證的規則，Anthropic 表示。

"沒有全球協調機制，企業和政府在競爭和地緣政治壓力下將不得不做出關於安全的艱難決定，"它説。

該公司面臨來自行業其他人士和白宮官員的反對，他們表示其對最壞情況的關注誇大了風險，並且是在安全問題的掩護下減緩競爭對手的策略。

儘管如此，白宮承認該公司的 Mythos 模型的強大——由於其網絡安全能力，該模型尚未向公眾開放，目前僅部署給少數經過審查的組織。

這一提案在華盛頓和硅谷將面臨艱難的鬥爭，美國官員和科技高管們一再爭辯稱，任何人工智能發展的減緩都可能使中國在許多人視為本世紀決定性技術競賽的領域中獲得決定性的戰略優勢。

然而，美國總統唐納德·特朗普表示，他在最近訪問北京期間討論了與中國在人工智能安全問題上合作的可能性。

特朗普本週還簽署了一項行政命令，允許政府在最強大的美國人工智能模型發佈前進行 30 天的初步審查。

- '人類角色縮小' -

Anthropic 將這個問題與核武器控制條約進行了比較——但表示這將更難以掌控，因為人工智能訓練比導彈發射井更容易隱藏，而悄悄繼續進行的誘惑將是巨大的。

該公司表示，計劃在未來幾個月內召集政府官員、科學家、倡導團體和競爭的人工智能公司，以探討這樣的系統如何運作。

呼籲協調的同時，Anthropic 表示，內部數據顯示人工智能已經顯著加速了人工智能自身的發展。

這種加速創造了一個反饋循環，Anthropic 警告稱，這可能最終導致研究人員所稱的"遞歸自我改進"。

這意味着一個人工智能系統能夠在沒有太多人類幫助的情況下，基本上自我學習變得更聰明。

"我們還沒有到達那一步，遞歸自我改進並不是不可避免的，"報告説，同時補充稱，這可能比大多數政府和機構準備的時間要早。

"證據表明，在人工智能發展過程中的每一步，人類的角色正在縮小，"該公司表示。

arp/sla