爆點來了：用 LLM 成功設計芯片

用 ChatGPT 聊個天或通過 Midjouney 畫張圖，其高度的智能性，讓全球大叫 “哇塞”。但是，GPT 的基礎設施 LLM，更性感的能力，竟已能在高精尖領域——芯片設計，達成新成果。

這是堪稱逆天的 AGI 能力。 

最近，紐約大學 Tandon 工程學院的研究人員，通過 GPT-4 設計並流片了一顆芯片。 

通過據稱是比較簡單的英語對話，CPT-4 生成了可行的 Verilog（硬件描述語言）。接着，這些技術人員就將基準測試和處理器發送到 Skywater 130 nm 穿梭機上，實現了成功流片（Tapeout）。 

在芯片設計和製造領域，130nm 工藝製程，連一小步進展都算不上，但這卻是 AI 技術史上貨真價實的一大步。 

用 LLM 設計芯片？ 

從 GPT 的英文全稱 “Generative Pre-trained Transformer” 可以看到，這是個生成式預訓練模型。 

OpenAI 首席科學家、ChatGPT 背後的技術大佬伊利亞·蘇茨克維（Ilya Sutskever）説，GPT（生成式預訓練模型）學習的是 “世界模型”。Sutskever 將互聯網文本稱作物理世界的映射。因此，將海量互聯網文本作為學習語料的 GPT 學習到的就是整個物理世界。 

很清楚，生成式的能力，建立在學習語料的預訓練模型基礎上。 

那什麼是預訓練模型？ 

2017 年，Google 大腦團隊在神經信息處理系統大會發表了一篇名為《注意力是你所需要的全部》（Attention Is All You Need）的論文。 

這篇論文的作者在文章中第一次提出了一個基於注意力機制的 Transformer 模型，並且把這個模型首次用在理解人類的語言上，這就是自然語言處理（NLP：Natural Language Processing）。 

Google 大腦團隊利用非常多已公開的語言數據集來訓練這個最初的 Transformer 模型，而這個 Transformer 模型包括 6500 萬個可調參數。 

經過大量訓練後，這個 Transformer 模型在英語成分句法分析、翻譯準確度等多項評分上都在業內達到第一的水準，世界領先，成為當時最為先進的大型語言模型（LLM：Large Language Model）。 

2018 年，OpenAI 公司在研究 Transformer 模型時有了自己的技術突破。OpenAI 發表了論文《用生成式預訓練提高模型的語言理解力》（Improving Language Understanding by Generative Pre training），推出具備 1.17 億個參數的 GPT-1 模型。 

GPT-1 模型是一個基於 Transformer 結構的模型，但訓練它的數據集更為龐大：包括 7000 多本未出版的圖書，並涵蓋多種類型，如言情、冒險、恐怖、奇幻等。在對模型做大量預訓練後，OpenAI 還在四種不同的語言場景下，利用多種相異的特定數據集對模型做進一步訓練。 

最終 OpenAI 訓練出的模型 GPT-1，在文本分類、問答、文本相似性評估、藴含語義判定這四個評價維度上，都取得了比基礎 Transformer 模型更好的結果，因此也取代 Transformer 模型，成為新的 LLM 龍頭。 

OpenAI 在 2022 年神經信息處理系統大會中，推出新的大型語言預訓練模型：ChatGPT。GPT-3.5 是 ChatGPT 的前身，也是 OpenAI 對 GPT-3 模型做微調後開發出來的模型。在 GPT-3.5 誕生後，ChatGPT 問世。 

不難看出，ChatGPT 的 “地基” 是基於 Transformer 結構的模型。換句話説，LLM 用 Transformer 體系結構，構建了 ChatGPT。 

明白了這個邏輯關係，再來看看用 GPT-4 設計併成功流片的 130nm 芯片的 AI“生成” 情況。 

通過 LLM 的加持，芯片設計行業的關鍵技術節點 “HDL” 被成功攻克。芯片設計和開發的門檻大幅降低，速度也因此得以加快。即使不懂專業技術，也可以通過 GPT-4 設計芯片。 

什麼是 HDL？ 

HDL，即 Hardware Description Language，自動化硬件描述語言，也就是面向接口編程：對硬件電路做行為描述、寄存器傳輸描述或者結構化描述的一種設計語言，包括主流的 VHDL（偏重邏輯綜合，用於大規模系統設計）和 Verilog HDL（側重底層統合，IC 設計應用主體）。 

使用 HDL 能提高數字電路設計的效率和可靠性，同時也可降低仿真和驗證成本。因此，HDL 在數字電路設計和系統集成中得到了廣泛應用。 

這怎麼做到的？ 

紐約大學坦頓工程學院的那些研究員，通過 GPT-4，完成了首個由 AI 生成的 HDL，這能被直接用以製造物理芯片。 

在這個過程中，這些人並非用專業的 HDL 語言，而是用了普通英語。通過 GPT-4 的生成式 AI，普通英語也能起到像 HDL 這樣的專用硬件描述語言一樣的作用。 

這是一座里程碑。 

紐約大學坦頓工程學院電子和計算機工程系以及紐約大學網絡安全中心研究助理教授 Dr.Hammond Pearce，是這個研究項目 “Chip Chat” 的領導人。 

Pearce 説，他特別想了解基於生成式 AI 的 AGI（通用人工智能：Artificial General Intelligence）語義大模型（LLM）在硬件設計領域的能力和限制邊界。 

“硬件描述語言（HDL）的最大挑戰是沒多少人知道具體該怎麼用。” Pearce 説，“要成為 HDL 專家（通常是硬件工程師）非常難。我不是芯片設計專家，但通過 GPT-4，用日常語言（而非 HDL）設計了這顆芯片。” 

當然，Pearce 團隊設計芯片，也遵循了設計流程圖和評估標準。因此用 GPT-4 設計的芯片，也達到工業標準。因而在 Skywater 130nm shuttle 上得以被成功製造出來。 

看上去，可以用 LLM 替代 HDL。 

一般來説，開發任何類型硬件（包括芯片），首要第一步，都要用日常語言描述硬件功能，通常稱為產品定義。 

在這之後，再經過具有專業技能的工程師，將這些定義翻譯成硬件描述語言（HDL），由此創建允許硬件執行任務的實際電路元件。後面還繼之以硬件驗證語言（HVL：Hardware Verification Language），用於電子電路設計驗證。 

LLM 不僅可以用於一般商業應用的交互（問答），也能用於替代硬件設計的 HDL 環節，提高設計效率。 

Pearce 團隊是怎麼問的呢？ 

“讓我們一起做個全新的微處理器設計。我們在空間和 I/O 方面受到嚴重限制。因此我們必須裝入 1000 個標準單元的 ASIC（專用芯片），所以我認為我們需要限制自己，採用基於累加器的 8 位架構，沒有多字節指令。鑑於此，你認為我們應該如何開始？” 

這種問答來回 125 次後，一顆 130nm 工藝製程的芯片就通過 LLM 製造出來了。 

儘管驗證成果驚人，但這不意味着普通人也能通過 LLM 設計出符合工業標準的芯片。比如在 125 次來回問答中，沒有芯片專業知識的普通人，很難問出能出成果的好問題。雖説能提出問題，就是解決了一半的問題。但這種問題，絕非隨意胡亂提問的結果。 

Pearce 團隊曾經測試過 LLM 將英語轉換為 Verilog 的效果，但結果顯示，專業工程師加入 GPT-4 的交互過程後，LLM 才產生了最好的 Verilog。 

Pearce 也説，“通過 GPT-4，HDL 專家能專注於更重要的任務，而基礎工作，可以交給 LLM。” 

實際上，這件事的意義是 Pearce 團隊首次探索並驗證了在硬件領域使用 LLM 的效果。但是，目前仍不清楚這個研究團隊是否應用了 “基於人類反饋的強化學習（RLHF）” 訓練方法。這種方式能通過將其與特定意圖的標記數據結合，可生成更能遵循用户意圖的指令調優模型。 

此外，這項應用能否被大規模用於商業芯片設計，還沒有定論。比如，這項工作的目標是以對話交互方式設計硬件，Pearce 團隊沒有自動化這個過程的任何部分，每個對話都需要手動完成。如果無法實現大規模自動化，那麼商業化就存在困難。 

因此，雖然這項實驗取得了驚人的成果，或許稱得上是一座 AGI 技術驗證的豐碑，但距離真正發揮商業價值，也許還有一段不短的路程要走。