“显卡荒” 烧至服务器,真火还是虚火?
从挖矿时代来到 AI 时代,GPU 的算力又有了用武之地。国内外云厂商们的算力储备竞赛正打得如火如荼……
字节已向英伟达采购了 10 万块 A100 与 H800 加速卡,超 10 亿美元(人民币超 70 亿元),仅字节一家今年的采购量就已接近英伟达去年在中国销售的商用 GPU 总销售额,另一家大型企业的订单金额也至少超过了 10 亿元人民币。
已使用了约 2.5 万个英伟达 GPU 的 OpenAI 表示 GPU 还很缺。每 1 亿活跃用户 ChatGPT 就需要 13.5 EPLOPS 的算力,约 6.9 万台 NVIDIA DGX A100 80G 服务器支撑,而目前全球的算力也只能支撑 1 亿日均上线人数,随着需求的增加未来预计还会增加。
在这些高端 GPU 的现货流通市场,就算是半个外行看到机会也跃跃欲试,满眼是 “金砖”。
原本 7.4 万左右一枚的 A800,现在涨到 8.5 万元以上,高配版则涨到 10 万元左右。4 月底,市面上 8 卡 A800 模组的期货报价还在 90 万,交期 2 周,如今报价来到了 100 万以上,交期延长到 7-8 周。5 月,A800 甚至被炒至 10 万元一块。
“观望者交期更久,价格更贵。” 缺单卡的去买模组,买不到模组的后来都买了整机服务器。
从 GPU 单卡到模组再到 AI 服务器,涨价疯狂,缺货严重,货期越来越长,市场上需求真的如这般高涨吗?英伟达的 GPU 为什么会这么缺?此外,全新正品无法保障货期,二手市场、灰色渠道,定金交了就不退,围绕 AI 服务器的乱象正在上演……
01 英伟达 GPU 市场乱象
“一口气就要 1000 张、3000 张,根本供不过来,这里面需求到底是真还是假?”
“销路好吗?我有路子搞到货,但怕砸手里。”
5 月,英伟达的 GPU 仍在缺货涨价。
有代理商透露,英伟达 A100 价格从去年 12 月开始上涨,截至今年 4 月上半月,其 5 个月价格累计涨幅达到 37.5%;同期 A800 价格累计涨幅达 20.0%。
交期从一个月延长到三个月或更长,部分新订单 “可能要等到 12 月才能交付”。
一些在 AI 服务器有数量优势的厂商,在勒紧裤腰带使用 GPU 资源。微软内部陷入 AI 服务器硬件短缺的窘境,采取 “配额供给” 机制。6 月在被删除的 OpenAI CEO Sam Altman 谈话纪要中提到,Open AI 也缺 GPU,GPU 的短缺拖延了客户的许多短期计划。
站在人工智能浪潮上的 “卖铲人” 英伟达,如今几乎垄断了整个 AI 服务器芯片市场,成为最大赢家,不久前市值突破万亿,成为历史上第一家市值突破 10000 亿美元的芯片公司。
受到美国禁令影响,我国英伟达 A100 的现货直接被断供,国内可用于训练 AI 大模型的 A100 约有 4 万-5 万个,供应相当吃紧,一些云服务厂商为给强力运算腾出资源,已严格限制内部使用。
而目前正常供应的 A100 阉割版——A800 去年三季度才开始生产,加之新需求起势,面临供不应求,5 月初,A800 在国内已经涨到 10 万元一块。
一般来说,媒体报道说的高价 A800、A100 等,属于该系列中的顶配,即 GPU 显存为 80G,互连技术支持 NVLink 的版本。
市场上做 GPU 业务的朋友告诉我们,A800 在现货市场的价格每天都在变,短期的汇率变动也会影响价格,“6 月 6 日 A800 PCle 单卡报价 8.5-8.8 万,到 6 月 9 日最低报价可能就涨到 8.6 万了”。
随着紧缺和涨价行情愈演愈烈,出货、寻找 GPU 的参与者越来越多,GPU 市场乱象由此开始:蜂拥而至的询价,走俏的期货市场与高额定金,以及二手渠道流出的大小 “坑”……
最直接的感观是来自四面八方嘈杂的需求声,多位服务器整机、服务器 GPU 相关市场从业者反映,最近因为 AI 火爆的确很多人来询卡,问价格,但真正能成交的其实不多。
来找 A800、A100 这种单卡的,需求量少,看中价格,而需求量大的,一上来就要成百上千张,称是帮客户、朋友问,还有华强北贸易商出动,给人感觉都在套价格。
“一上来要这么多,哪供得上来?问他注重价格优势还是货期优势,就没有下文了。”“有的人几乎都没有货款,问完就没影了。” 相对来说,企业自己采购的容易成交。
目前英伟达等企业级 GPU 的供应,有两种主要的流通渠道:一种是原厂 - 总代理 - 经销商 - 市场;另一种是原厂-OEM 厂(服务器大厂)- 经销商 - 市场。在现货市场流通的主要在经销、服务器方案或是二手市场。
这类企业级产品覆盖企业、学校和服务器方案商等下游客户。专注服务器业务的徐哥表示,来自阿里等企业的真实需求通常都是一笔大单,这些大客户都是优先找上一层的总代理或者服务器 OEM 处拿货,下一层体量小的经销商、服务器配件商很难接触到。也有媒体报道,云厂商人士称,字节、阿里等大公司主要是和英伟达原厂直接谈采购,代理商和二手市场难以满足他们的庞大需求。
现货市场真实需求不足,也不妨碍大家出来找货,现货被抢完,不得不预定期货,需要承受高额定金无法退回,以及可能遥遥无期的交期。
据了解,市面上 A800 单卡还有一定的现货,A100 单卡几乎 “绝迹” 了,A800 模组现货很少,也不得不选择期货。以一台 8 卡的 A800 模组为例,有卖家报价总价 112 万起,定金 50%,货期 7-8 周,不保证准时到货(此前几天货期还是 6 周),且定金不退。而在 4 月底,另一位卖家的 8 卡 A800 模组,价格还在 90 万,定金 30%-50%,交货周期 2 周。
一个多月的时间,可见一台 8 卡 A800 模组差价多出 20 多万,货期延长,定金也可能涨了。
一家自称是源头厂的卖家告诉我们,8 卡模组的现货,要现货的买家已经排了 5 亿元的订单金额,现在只能等到货通知。
交定金,看似能提早排上队,但高风险并存。以 8 卡的 A800 模组为例,通常收 50%的定金,一台顶配的 80G NV A800 模组 100 多万,定金至少 50 万,且一旦交了定金就不能退。网上有买家表示,今年三四月份订的 10 枚单卡,到现在还没拿到货。
不少卖家承诺的货期没有保障,基础价格高,定金比率也高,需要付出的真金白银就多了。如果没拿到货,就只能一直等,毕竟钱都交了。
如果你拥有一批 A800、A100 现货,在大家眼中那都不是普通的显卡,是金砖。
有人看到热度,想做 GPU 的生意但怕货砸手里,对于个别追逐利益的炒家来说,真实需求存疑,现货怕跌价砸手里,期货又怕拿不到货,甚至因为拿货时价格太高,得不偿失。
二手产品层出不穷,还有人专门高价回收二手 AI 芯片,暂不说用在何处,这类 GPU 保修都是问题。
02 上游产能告急:先进制程不缺,到底卡在哪?
ChatGPT 火了之后,互联网企业、云厂商们更加广泛地布局 AI 大模型,争夺英伟达 GPU 的大算力,缺的不仅是 A100、A800,更高端的 H100、H800 也一样。有人问,晶圆产能已经不缺了,为何 GPU 还会供不上来?
“每 10 年 GPU 性能增长 1000 倍”,“买的越多,省得越多”,黄氏定律 (Huang’s Law) 要取代摩尔定律,虽然先进制程可以提高 GPU 的性能,但摩尔定律已经到头,而且服务器的用途,又区别于手机芯片对空间的苛刻要求。如果说先进制程是 GPU 的首选,先进封装则是锦上添花。
GPU 用先进制程制造出来还不够,让封装体积小,功耗低,引脚少,实现芯片、芯片与封装基板之间更紧密的互连,是目前芯片制程限制下提高 GPU 性能的一大步。先进封装的四个魔法 Bump、RDL、Wafer 和 TSV 这四种技术,具备任意一种,就可以点亮新的封装技能。
英伟达的 V100、A100、A800、H100 等都采用台积电 CoWoS 先进封装技术,解决了高算力 AI 背景下芯片的 “存算一体” 问题。不过,台积电 7nm 晶圆代工产能的确不缺了,但这回缺货竟还是栽在了台积电身上。
首先,CoWoS 先进封装核心技术只有台积电一家能做,没有台积电不行。
现在缺的先进封装 wafer,其中的技术是台积电专利,英伟达只能找台积电做,先进制程和先进封装都被台积电牢牢把握住了。2012 年,台积电推出了独门的 CoWoS 先进封装技术,从此有了从晶圆代工到终端封装的一条龙服务。CoWoS 家族包含 CoWoS-S 与 CoWoS-L/R 等部分,对应高速运算应用的客户包含英伟达等多家一线大厂。另有 InFO 先进封装系列则由多数由苹果全部包下。
你说外包?技术含量低的流程可以,但核心技术没有台积电还是不行,其他封装厂只能喝汤。
近期为应对临时需求,台积电采用部分 os(on substrate)委外转包的方法,但并不是 CoWoS 制程转外包,台积电仍是专注在最有价值的先进封装部分。
台积电等于从晶圆代工做到封装一条龙了,Google TPU、英伟达 GPU 及 AMD MI300 这些全数导入生成式 AI 的芯片大厂,都为台积电贡献了大量的 AIGC 订单,带动 CoWoS 扩产需求。
其次,这类先进封装也吃对应封装产能,目前产能紧缺。
先进封装一面朝上游晶圆制程领域发展,即晶圆级封装,在更小封装面积上容纳更多引脚,另一面向下游模组领域拓展,发展系统级封装。近日 @手机晶片达人透露,CoWoS 制程分成前段晶圆制程的 interposer,与后段封装的 die to die 叠 die,台积电 CoWoS 产能缺是缺在做 65nm 的 Interposer。
这里的 interposer(中介层)采用 Wafer(晶圆)技术,如台积电 CoWoS 封装技术方案是 2.5D 封装技术,把芯片封装到硅转接板(中介层),并使用硅转接板上的高密度布线进行互连,然后再安装在封装基板上。
因此 GPU 在先进封装过程中需要额外的晶圆,即 CoWoS 产能。外资野村证券预期,台积电 CoWoS 年化产能将从 2022 年底 7-8 万片晶圆,增至 2023 年底 14-15 万片晶圆,随产能持续扩充,预估 2024 年底将挑战 20 万片产能。
填补晶圆级封装产能的缺口,成了当务之急。而且在 Wafer 技术不断发展下,Wafer 面积呈逐渐增大的趋势,相比于 InFO,针对高端市场的 CoWoS,连线数量和封装尺寸都比较大。根据 @手机晶片达人,65nm interposer 需求比 top die (H100) 多 1.4 倍。
台积电先进 CoWoS 封装产能已经严重供不应求,去年起台积电 CoWoS 需求几乎是双倍成长,明年需求持续强劲。先进封装只有台积电的台湾厂能做,台积电正在各厂直接进行调配、扩充,加快先进封装制程进度。
03 “显卡荒” 烧至服务器 真火还是虚火?
对于真正有需求的买家来说,用这么高端的显卡本质上是用在 AI 服务器,要么是缺卡,要么是缺模组,要么是缺整机。但论真实需求,“金砖” 其实不如服务器。
做 AI 的 GPU 缺涨,搭载服务器跟着涨价,早在 4 月就有报道称,浪潮将把 AI 服务器价格提高约 20%,这是在英伟达终止向中国供应其顶级 A100 和 H100 芯片后做出的决定。后续有消息人士证实,上涨幅度没有具体说明,另外有消息人士称,服务器供应商只是提高了英伟达 AI 服务器的价格,其他服务器产品的价格没有变化。
太平洋证券数据显示,2022 年中国 AI 服务器市场排名前 8 的服务器耗材占比达 92%,浪潮以 37% 位居榜首。浪潮的财务披露显示,英伟达一直是其主要的芯片供应商。2019 年,英特尔和英伟达是浪潮的前两大芯片供应商。
GPU 单卡相当于服务器的零部件,单卡需求更注重价格,服务器要用到多卡 GPU 模组,最多的 8 卡,就算是 PCle 版本的服务器目前也要 80 万左右,NV 的则是百万级别。
目前 A800 期货整机价格为 120 多万,现货较少,据某知名计算服务商的一位销售人士介绍,其 A800 的整机现货价格为 168 万,定金 50%,“7 月底有 35 台,25 台已被预定”。即便是企业用,这个价格也不算便宜。而且据市场消息,A800 整机的正常货期已经排到了 10 月底,甚至很多卖家直接报到 24 周,货期接近 6 个月。
在一些做服务器整机业务的朋友眼中,GPU 再火爆,也不如服务器更靠近真实需求,更好做生意。徐哥表示,现在专注服务器,对单卡的兴趣不大了,卖服务器都是给客户发配置再报价,卡的话比较麻烦,还要看接口等等是否适配……总之,服务器相对卡来说真实的成交更多,成交率高。而卡只是询价的多,成交量太少,只有大公司要的量多。“要的多的几乎都是整机要的,量少的都是卡。”
在广泛的客户需求中,也并非所有 AI 服务器一上来就是顶配,一上来就有大量的需求。无论是 A800 PCIE 服务器、NVlinvk 服务器,还是 H800 HGX 服务器等等,企业都是根据不同的需求去选择配置。当然服务器的价格也会更透明,多了比价的机会。
GPU、硬盘等都是服务器的配件之一,如今 AI 带火了相关服务器,A800 等高端 GPU 成本占比高,供应紧缺,在整机中,它的价格敏感度也排在前列。
单单 GPU 的缺货限制 AI 服务器的正常供应,在市场上看似火爆,却夹杂着更多的虚假需求。
这波 GPU 热,让人联想起倒爷们狂炒额温枪生意的 2020 年,当时朋友圈的裂变效应,导致市场上多了比真实需求放大无数倍的虚假需求。结果供应紧缺,现货价比期货高太多,货期没有保障,卖家违约成本低,有倒爷靠 “定金” 大赚特赚。
芯片极度短缺的日子已经告一段落,高端 GPU 产能虽然一时半会供不上来,但对应的企业级需求壁垒较高,要求正规技术支持和售后服务,加上需求量的猛增,都给大家提出了更高的要求,没有长期耕耘和扎实功底,仅靠投机取巧的手段,很难在风口上分得一杯羹。