Sam Altman 指出，目前 OpenAI 的客户最不满的便是 API 的可靠性和速度，在让 GPT-4 更便宜且更快的过程中，遇到的最大瓶颈便是 GPU 短缺。
GPU、GPU 还是 GPU，AI 掀起的 “算力革命” 不仅让几乎垄断 GPU 市场的英伟达成了聚光灯下的焦点，也让 OpenAI CEO 在一次又一次的访谈中大谈 GPU 短缺问题。
5 月 29 日，Humanloop，一家从事机器学习和人工智能的初创公司，其 CEO Raza Habib 邀请了包括 OpenAI CEO Sam Altman 在内的 20 位开发人员共通探讨人工智能的未来，而整个讨论中最重要的主题便是——GPU 短缺是最大瓶颈。
Altman 表示，目前 OpenAI 的客户最不满的便是 API 的可靠性和速度，而这个问题主要就是 GPU 短缺造成的。
这场算力革命，让英伟达今年以来一度暴涨 170%，跻身万亿市值公司行列，在 GPU 持续短缺的当下，围绕着英伟达的狂欢还将继续吗？
OpenAI 严重依赖 GPU
Altman 表示，他们的下一步计划就是不断更新 GPT-4，让其更便宜，更快，而在发展过程中遇到的最大瓶颈便是 GPU 短缺，访谈中指出：
长度为 32k 的上下文窗口还未到推广时机，OpenAI 还未能克服技术上的障碍，主要是因为算法的高复杂性。虽然很快就会有 10 万—100 万新的 32K 上下文窗口 token，但提供更多的访问 token 则需要技术和研究上突破。
微调（Fine-Tuning）API 目前也受到 GPU 可用性的限制。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法，所以微调运行和管理需要高精度的计算。将来会有更好的微调支持。他们甚至可能主持一个社区贡献模型的市场。
OpenAI 提供的专用容量服务受到 GPU 的限制。当用户请求使用专用容量时，OpenAI 需要确保有足够的 GPU 可供分配给用户。然而，由于 GPU 资源有限，供应有限。要使用这项服务，客户必须愿意预付 10 万美元的费用。
对于 OpenAI 未来的发展，Altman 表示，在 2023 年 OpenAI 的目标是尽可能降低 “智能的成本”，继续降低 API 的成本：
更便宜、更快的 GPT-4 —— 首要任务。
更长的上下文窗口 —— 在不久的将来，高达一百万的上下文窗口 token。
微调（Fine-Tuning）API —— 微调 API 将扩展到最新的模型，但这的确切形式将由开发者表明他们真正想要的东西来塑造。
支持会话状态的 API —— 现在当你调用聊天 API 时，你必须反复重复历史对话，并反复支付同样的 tokens。在未来，API 将有一个记住对话历史的版本。
在 5 月 16 日举行的 AI 国会听证会上，Altman 就已经表达了对算力瓶颈的担忧：由于计算能力瓶颈，如果使用 ChatGPT 的人少一些会更好。
英伟达的狂欢还将继续？
在这场 AI 大战中，华尔街高呼，英伟达是唯一 “军火商”，其超预期业绩指引让市场开启了一场围绕着英伟达的狂欢，股价再次节节攀升，市值一度突破万亿美元大关。
目前，包括谷歌和微软在内，许多科技巨头都使用英伟达芯片来为 AI 业务提供算力。谷歌计划将生成式 AI 技术嵌入六个产品，每一个都手握超过 20 亿用户。
英伟达周一在 COMPUTEX 大会上推出了新产品，覆盖了从机器人到游戏的多个领域。它还宣布了一个新的超级计算机平台——DGX GH200 助力新一代大 AI 模型。谷歌、微软和 Meta 预计是获得访问权的首选客户。会上，英伟达 CEO 黄仁勋表示，全球 4 万家大公司和 1.5 万家初创公司正在使用英伟达的技术。
英伟达最近表示，该公司正在扩大供应，以满足不断增长的需求。英伟达 CEO 黄仁勋周日表示，该公司已经提高了用于生成式人工智能的新款旗舰芯片 H100 的产量。