華泰證券：從 BloombergGPT 看金融 GPT 機遇

2023 年 3 月 30 日，金融信息提供商彭博社發佈了專為金融領域打造的大語言模型（Large Language Model，LLM）Bloomberg GPT。該模型依託彭博社的大量金融數據源，構建了一個 3630 億個標籤的數據集，支持金融行業內的各類任務，在執行金融任務上的表現遠超過現有模型，在通用場景上的表現與現有模型也能一較高下。

華泰證券分析師謝春生（執業：S0570519080006）認為，掌握金融數據的國內廠商也有望複製 Bloomberg GPT 的路徑，實現大語言模型在金融場景的有效賦能。

核心突破在於金融語料

儘管 Bloomberg GPT 的模型參數介於 GPT-2 與 GPT-3 之間。但 BloombergGPT 的金融垂直能力遠超 GPT 系列。

分析師指出：

根據論文《Bloomberg GPT: A Large Language Model for Finance》的模型介紹顯示，Bloomberg GPT 同樣基於典型的 Transformer 架構，Bloomberg GPT 的模型參數介於 GPT-2 與 GPT-3 之間，GPT-2 模型參數為 1.5 億，GPT-3 模型參數為 1,750 億，Bloomberg GPT 的模型參數為 500 億。

官方論文《Bloomberg GPT: A Large Language Model for Finance》中的測試結果顯示，Bloomberg GPT 在執行金融任務上的表現超過現有的通用 LLM 模型，在通用場景上的表現與現有通用 LLM 模型能力基本持平。

儘管 Bloomberg GPT 的模型參數相較於 GPT-3 較小，但分析師表示，依託彭博社的大量金融數據源，Bloomberg GPT 在預訓練中獲得了大量高質量金融數據，並對預訓練數據進行了一系列的清洗、標註，Bloomberg GPT 在通用能力與 GPT-3 基本持平的情況下，實現了金融垂直能力的大幅增強。

開拓開源模型 + 垂直數據的 LLM 新思路

Bloomberg GPT 在開發方式上有何獨特之處？分析師認為，在模型構建上，Bloomberg GPT 顯示出了卓越的創新，為國內金融數據公司開發大模型提供了有意義的路徑參考。

具體而言，主要體現在五個方面：

1）垂直領域語言模型：過去的大語言模型多為基於通用文本訓練的通用模型，垂直領域模型多為僅基於垂直領域數據訓練垂直模型，Bloomberg GPT 開創了通用 + 垂直的混合訓練方法，讓模型兼具通用性與專業性；

2）訓練數據：過去的大語言模型的預訓練數據很大程度上依賴於網頁抓取數據，如 C4、ThePile、Wikipedia 等，Bloomberg 自建了高質量的大規模金融數據集；

3）模型評估：Bloomberg 在對模型進行了公共、金融 NLP 基準測試之外，還對模型進行了一系列基於 Bloomberg 內部任務的性能測試；

4）Token 化（Tokenizer）：將訓練文本 Token 化是模型訓練的關鍵步驟，Bloomberg 使用 Unigram 模型取代 greedymerge-basedsub-word 模型，實現更智能的 token 化轉換；

5）模型構建方法：以 GPT-3、GPT-4 為代表的大語言模型均由大型的專業人工智能團隊開發，並且模型訓練需要大量算力；受益於開源模型 BLOOM 的項目實踐與 Bloomberg 在垂直領域高質量數據的深厚積累，Bloomberg GPT 成功證明了一箇中等規模的團隊可以在垂直領域的特定數據上生產同樣具有競爭力的大語言模型。

金融 GPT 未來可期

分析師認為，Bloomberg GPT 未來有望應用於以下三大場景：

1）Bloomberg 查詢語言的生成：Bloomberg GPT 可以將用户自然語言查詢轉換為有效的 Bloomberg 查詢語言，使與金融數據的交互更加自然；

2）新聞標題的建議：Bloomberg GPT 可以為 Bloomberg 的新聞應用程序提供支持，協助新聞工作者完成新聞短標題的撰寫；

3）金融問答：得益於金融垂直領域知識的輸入，Bloomberg GPT 可以更加準確地回答金融相關的問題，例如在識別公司 CEO 的問答上，Bloomberg GPT 的回答相較通用模型更為準確。

分析師指出，作為並非聚焦人工智金融垂直領域廠商，Bloomberg 為金融 GPT 發展提供了具有參考價值的有益示範。

掌握豐富的金融垂直知識與現有 AI 產品佈局，基於高質量的金融數據與開源的大語言模型，同樣有機會打造專屬金融場景的大語言模型，實現大語言模型在金融場景的有效落地，讓大語言模型成為底層的 AI 操作系統。

本文主要觀點來自華泰證券分析師謝春生（執業：S0570519080006）撰寫的報告《從 BloombergGPT 看金融 GPT 機遇》，有刪節