Be prepared for the unexpected! OpenAI establishes the "AI Disaster Prevention Team"

為了進一步確保人們對 AI 的擔憂不成為現實，OpenAI 開始採取行動。

10 月 27 日，OpenAI 在其官網宣佈，成立名為 “Preparedness”（準備）的 AI 風險防範小組。

該小組由麻省理工可部署機器學習中心主任 Aleksander Madry 領導，旨在 “跟蹤、預測和防範未來人工智能系統的危險”，包括從 AI“説服和欺騙” 人類的能力（如網絡釣魚攻擊），到惡意代碼生成能力。

OpenAI 在博文中寫道，前沿人工智能模型的能力將超過目前最先進的現有模型，有可能造福人類，但也有可能帶來越來越嚴重的風險：

要管理前沿人工智能帶來的災難性風險，就必須回答以下問題：

前沿人工智能系統在現在和將來被濫用時有多危險？

我們如何才能建立一個強大的框架來監測、評估、預測和防範前沿人工智能系統的危險能力？

如果我們的前沿人工智能模型權重被盜，惡意行為者會如何選擇利用它們？

我們需要確保我們具有對高能力人工智能系統安全所需的理解和基礎設施。

OpenAI 表示，在 Aleksander Madry 的領導下，Preparedness 團隊將把前沿模型的能力評估、評價和內部紅隊（即對模型進行滲透測試的攻擊方）緊密聯繫在一起，從 OpenAI 在不久的將來開發的模型，到真正 “具有 AGI 級能力” 的模型。

值得注意的是，OpenAI 在博文中還將 “化學、生物、放射性和核 (CBRN) 威脅” 列為與 “自主複製和適應（ARA）”、“個體化説服” 和 “網絡安全” 同等的 “災難性風險”。

OpenAI 還稱，它願意研究 “不那麼明顯”、更接地氣的 AI 風險領域。為了配合 Preparedness 的啓動，OpenAI 正在向社區徵集風險研究的想法，前十名將獲得 2.5 萬美元獎金和 Preparedness 的職位。

“AI 末日” 主義

儘管 OpenAI 引領了今年的 “AI 熱”，但其創始人 Sam Altman 卻是一位著名的 “人工智能末日論” 者——他時常擔心人工智能 “可能會導致人類滅絕”。

今年 5 月，Altman 就出席了美國國會一場名為 “AI 監管：人工智能規則（Oversight of AI: Rules for Artificial Intelligence）” 的聽證會。在聽證會上，Altman 同意了議員們的觀點，即有必要對他的公司以及谷歌和微軟等公司正在開發的日益強大的人工智能技術進行監管。

在聽證會後，以 Altman 為領導的 OpenAI 的高層們又在官方發表了一篇博文，呼籲 “像監管原子彈一樣監管 AI”：

我們可能最終需要類似國際原子能機構（IAEA）的機構來監管超級智能方面的工作；任何超過一定能力（或計算資源等）門檻的努力都需要受到國際機構的監督，該機構可以檢查系統、要求進行審計、測試產品是否符合安全標準，對部署程度和安全級別進行限制等等。追蹤計算資源和能源的使用情況可以在很大程度上幫助我們實現這一想法。

三份公開聲明

由於 AI 發展的速度前所未見，對於 AI 的擔憂，也開始屢屢被提及。

3 月，在馬斯克的率領下，數千名硅谷企業家和科學家聯合簽署了一份名為《暫停大型人工智能研究》的公開信，呼籲所有人工智能實驗室立即暫停比 GPT-4 更強大的人工智能系統的訓練，暫停時間至少為 6 個月：

最近幾個月人工智能實驗室掀起 AI 狂潮，它們瘋狂地開展 AI 競賽，開發和部署越來越強大的 AI。

不幸的是，目前為止，沒有任何人能理解、預測或可靠地控制 AI 系統，也沒有相應水平的規劃和管理。

5 月，人工智能安全中心組織的一份聲明稱，“與流行病和核戰爭等其他社會規模風險一樣，減輕人工智能帶來的滅絕風險應該成為全球優先事項。”

該聲明由 500 多名著名學者和行業領袖簽署，其中包括圖靈獎獲得者傑弗裏·辛頓（Geoffrey Hinton）和約書亞·本吉奧（Yoshua Bengio），也包括 3 個最著名 AI 公司的首席執行官：OpenAI 的 Sam Altman、DeepMind 的德米斯·哈薩比斯（Demis Hassabis）和 Anthropic 的達里奧·阿莫代（Dario Amodei）。

本週早些時候，辛頓和本吉奧在內的 24 名人工智能專家再次發表公開文章，呼籲各國政府採取行動管理人工智能帶來的風險，並號召科技公將至少三分之一的 AI 研發預算用於確保安全：

我們呼籲主要科技公司和公共投資者將至少三分之一的人工智能研發預算用於確保安全和合乎道德的使用，這與他們對人工智能能力的投資相當。

我們迫切需要國家機構和國際治理機構來執行標準，以防止魯莽行為和濫用。為了跟上快速進步並避免僵化的法律，國家機構需要強大的技術專長和迅速採取行動的權力。為了應對國際競爭態勢，他們需要有能力促進國際協議和夥伴關係。

最緊迫的審查應該是前沿的人工智能系統：少數最強大的人工智能系統將具有最危險和不可預測的能力。

文章建議，監管機構應要求模型註冊、保護舉報人、報告事件以及監控模型開發和超級計算機的使用。為了縮短法規出台的時間，主要人工智能公司應立即做出 “如果——那麼” 承諾：如果在其人工智能系統中發現特定的紅線功能，他們將採取具體的安全措施。