华泰证券:大模型训练所需算力每 3-4 个月增长 1 倍 需求有望进一步大幅增长

Zhitong
2023.03.17 02:07
portai
I'm PortAI, I can summarize articles.

据 OpenAI,大模型训练所需算力每 3-4 个月增长 1 倍,增速远超摩尔定律 (18-24 个月/倍)。

智通财经 APP 获悉,华泰证券发布研究报告称,算力是制约中国发展以 ChatGPT 为代表的大模型主要瓶颈之一。据 OpenAI,大模型训练所需算力每 3-4 个月增长 1 倍,增速远超摩尔定律 (18-24 个月/倍)。随着 GPT-4 等下一代大模型出现,算力需求还有望进一步大幅增长。中国发展高性能计算,应加大在:1) 异构计算芯片架构;2) 先进封装方面的投入。

华泰证券主要观点如下:

算力是制约中国发展大模型的主要瓶颈

该行认为算力是制约中国发展以 ChatGPT 为代表的大模型主要瓶颈之一。据 OpenAI,大模型训练所需算力每 3-4 个月增长 1 倍,增速远超摩尔定律 (18-24 个月/倍)。随着 GPT-4 等下一代大模型出现,算力需求还有望进一步大幅增长。该行认为美国对华出口限制,主要造成中国先进工艺发展短期受限、国产替代方案或推高大模型训练成本/时间两大影响。中国发展高性能计算,应加大在:1) 异构计算芯片架构;2) 先进封装方面的投入。

影响 1:先进工艺对提升芯片性能至关重要,中国大陆发展短期受限

发展先进制程意义在于持续提升晶体管密度,提升芯片性能、降低功耗。根据 WikiChip,台积电 5nm 芯片每平方毫米晶体管数量是 10nm3.3 倍,16nm5.9 倍,3nm 晶体管密度有望比 5nm 提升 70%,性能提升 11%,功耗降低 27%。美国限制 16/14nm 及以下先进逻辑工艺技术及设备向中国出口,对中国先进制程短期发展造成较大阻力。进入 3nm 制程以下,目前主流 FinFET 将走向物理极限,GAAFET 将成为主流技术,但美国对中国禁售相关 EDA 软件。同时,荷兰 EUV 及先进 DUV 光刻设备目前均无法对中国出口。

影响 2:A100 进口限制阻碍大模型发展,国内替代方案或推高成本

22 年 8 月美国限制英伟达、AMD 对华出口高端 GPU 芯片,尽管后来有替代版本 A800 推出,但由于对高速互联总线的带宽做部分裁剪,在使用性能和功耗上面仍与 A100 有部分差距。目前 H100 性能是 A100 的 4.5 倍,而 A800 理论性能相比 A100 降低约 1/3,随着算力需求不断增加,国内由于 A100 以上芯片的进口限制导致大模型训练时间/成本或显著提升,客观上阻碍了我国大模型的发展。因中国企业进行 14nm 以下半导体代工受到技术及设备限制,及美国限制海外代工企业为中国设计企业生产性能超过 A100 的芯片,短期内,中国芯片公司能够生产超过 A100 的 AI 芯片的难度也较高。

路径 1:异构计算蓬勃发展,关注 GPU,DPU,存算一体等不同路径

面对先进制程昂贵成本和日趋接近物理极限,仅靠工艺改进难以满足算力膨胀需求。异构计算从计算架构出发,充分利用计算资源并行分布,将不同制程/架构、不同指令集、不同功能硬件进行组合,成为解决算力瓶颈更为经济的方式。目前主流异构包括 1) GPU,2) DPU,3) 存算一体,4) 自适应加速器等路径。目前中国异构计算正蓬勃发展。

路径 2:先进封装助力超越摩尔定律,国内公司积极布局 2.5/3D 等领域

先进封装是一系列通过把采用不同工艺的小芯片相结合,提升芯片互联密度及通信带宽,从而大规模提升芯片性能的技术,实现超越摩尔定律。AMD 于 2015 年,在业界内率先采用 2.5DChiplet 设计的芯片,通过把存储和计算芯片在平面上连接,大幅提高系统性能,从而实现对英特尔市场地位挑战。该行看到 Chiplet 作为长期趋势,有望提升芯片测试需求及 IP 可复用性。

风险提示:1) AI 技术落地不及预期。2) 本研报中涉及到未上市公司或未覆盖个股内容,均系对其客观公开信息的整理,并不代表本研究团队对该公司、该股票的推荐或覆盖。