Code name "TorchTPU"! Google and Meta join forces to replicate CUDA, further threatening NVIDIA

谷歌正在推進一項名為"TorchTPU"的內部計劃，旨在提升其人工智能芯片對全球最廣泛使用的 AI 軟件框架 PyTorch 的兼容性，此舉直指英偉達長期以來依賴的軟件生態護城河。

據彭博社週四報道，知情人士透露稱，谷歌正與 Meta 密切合作推進這一計劃，Meta 作為 PyTorch 的創建者和管理者，希望通過降低推理成本並使 AI 基礎設施多元化，以增強與英偉達的談判籌碼。谷歌還在考慮將部分軟件開源，以加速客户的採用速度。

與過去支持 PyTorch 的嘗試相比，谷歌此次投入了更多組織資源和戰略重視。隨着越來越多企業希望採用張量處理單元（TPU）芯片，但將軟件堆棧視為瓶頸，這一計劃已成為谷歌雲業務的關鍵增長引擎。

如果成功，TorchTPU 將顯著降低企業從英偉達 GPU 轉向替代方案的切換成本。英偉達的主導地位不僅依賴硬件，更依賴其深度嵌入 PyTorch 的 CUDA 軟件生態系統，而這一生態已成為企業訓練和運行大型 AI 模型的默認方法。

谷歌的 TorchTPU 計劃旨在消除阻礙 TPU 芯片採用的關鍵障礙。知情人士表示，企業客户一直向谷歌反饋，TPU 在 AI 工作負載上更難採用，因為歷史上開發者需要轉向谷歌內部青睞的機器學習框架 Jax，而非大多數 AI 開發者已在使用的 PyTorch。

這一不匹配源於谷歌自身的技術路徑。谷歌內部軟件開發團隊長期使用名為 Jax 的代碼框架，其 TPU 芯片則依靠 XLA 工具來高效運行代碼。谷歌自身的 AI 軟件堆棧和性能優化主要圍繞 Jax 構建，這擴大了谷歌使用芯片方式與客户需求之間的差距。

相比之下，英偉達的工程師多年來一直確保使用 PyTorch 開發的軟件能在其芯片上儘可能快速高效地運行。PyTorch 是一個開源項目，其發展歷史與英偉達 CUDA 軟件的開發緊密相連。CUDA 被華爾街部分分析師視為英偉達抵禦競爭對手的最強護盾。

Alphabet 長期以來將其 TPU 芯片的絕大部分份額保留給內部使用。這一情況在 2022 年發生改變，當時谷歌雲計算部門成功遊説，獲得了 TPU 銷售團隊的管理權。此舉大幅增加了谷歌雲的 TPU 配額。

隨着客户對 AI 興趣的增長，谷歌一直尋求通過提高 TPU 產量和對外銷售來獲利。TPU 銷售已成為谷歌雲收入的關鍵增長引擎，該公司正努力向投資者證明其 AI 投資正在產生回報。

今年，谷歌開始將 TPU 直接銷售到客户的數據中心，而不再限制只能通過自家雲服務訪問。本月，谷歌資深人士 Amin Vahdat 被任命為 AI 基礎設施負責人，直接向首席執行官 Sundar Pichai 彙報。谷歌需要這些基礎設施來運行自己的 AI 產品，包括 Gemini 聊天機器人和 AI 驅動的搜索，同時也要供應給 Anthropic 等谷歌雲客户。

為加速開發進程，谷歌正在與 Meta 密切合作。據 The Information 首次報道，兩家科技巨頭一直在討論 Meta 獲取更多 TPU 的交易。

知情人士透露，早期為 Meta 提供的服務採用谷歌託管模式，即 Meta 等客户安裝谷歌設計的芯片來運行谷歌軟件和模型，由谷歌提供運營支持。Meta 在開發使 TPU 更易運行的軟件方面具有戰略利益，希望藉此降低推理成本，並使其 AI 基礎設施從英偉達 GPU 多元化，從而獲得談判優勢。

谷歌雲發言人未就該項目的具體細節置評，該發言人表示：“我們看到對 TPU 和 GPU 基礎設施的大規模加速需求。我們的重點是提供開發者所需的靈活性和規模，無論他們選擇在哪種硬件上構建。” Meta 則拒絕置評。

PyTorch 最初於 2016 年發佈，是開發 AI 模型的開發者最廣泛使用的工具之一。在硅谷，很少有開發者會編寫英偉達、Advanced Micro Devices 或谷歌芯片實際執行的每一行代碼。相反，這些開發者依賴 PyTorch 等工具，這是一個預編寫代碼庫和框架的集合，可以自動化 AI 軟件開發中的許多常見任務。

知情人士表示，隨着希望採用 TPU 芯片但將軟件堆棧視為瓶頸的企業需求增長，谷歌已將更多組織重點、資源和戰略重要性投入 TorchTPU 項目。大多數開發者無法輕鬆採用谷歌芯片並使其性能達到英偉達水平，除非進行大量額外的工程工作。在快節奏的 AI 競賽中，這類工作需要時間和資金。

如果 TorchTPU 計劃成功，將顯著降低希望尋求英偉達 GPU 替代方案的企業的切換成本。英偉達的主導地位不僅由其硬件加固，更依賴其深度嵌入 PyTorch 的 CUDA 軟件生態系統，這已成為企業訓練和運行大型 AI 模型的默認方法。