GPT-4 突然降智，爆料 OpenAI 重新设计构架，用 MOE 降本增效

最近一段时间，很多 OpenAI 的用户反应，GPT-4 变傻了！

大家普遍认为 GPT-4 从 5 月份开始，生成内容的速度变快了，但是内容的质量下降很严重。

甚至有 OpenAI 论坛中的用户把自己生成的内容贴了出来，说对比 2 个月前相同的 prompt 生成的内容，现在 GPT-4 的能力最多能叫 GPT-3.6。

纷纷表态心疼自己出的这每个月的 20 刀。

不过看完这么多 GPT-4 重度用户的吐槽之后，小编突然开始感叹：

GPT-4 确实是领先太多了。

领先程度已经到了，其他家的大模型都在加班加点的几天出一个更新版本，希望尽快赶上 OpenAI。

他自己家倒好，悄悄「降本增效」「反向升级」，当起了大模型圈里的「反内卷标兵」。

可能导致性能衰退的原因

对于 GPT-4 表现降级，用户似乎都已经达成共识，已经开始讨论 GPT-4「衰退」的原因了。

根据外媒报道，有些语言模型领域内的专家猜测，OpenAI 正在创建多个行为类似于大型模型但运行成本较低的小型 GPT-4 模型。

根据一个名叫 Sharon Zhou 的专家的说法，OpenAI 采用了一种称为「混合专家模型」（Mixture of Experts，MOE）的构架来搭建 GPT-4。

每个较小的专家模型都在不同的任务和主题领域进行训练。

可能会有一个专门针对生物学的迷你 GPT-4 模型，或者其他专门针对物理、化学等领域的迷你模型。

当一个 GPT-4 用户提问时，新系统判断之后会把提示发送给某一个或者几个专家模型。

「这个思路已经存在一段时间了，这是一个自然的发展方向。」Zhou 说。

Zhou 将这种情况比作「忒修斯之船」，船上的各个部件被逐渐更换，整条船慢慢变成了一条新船。

她说：「OpenAI 正在将 GPT-4 变成一支由小型船只组成的船队。

从我的角度来看，这是一个新模型，但是可能很多人也不会在意这个变化。」

Allen 人工智能研究所创始首席执行官 Oren Etzioni 在外媒的采访中写到：「我觉得这些猜测大致是准确的，虽然没有办法确切证实。」

他解释说，使用 MOE 有两个主要原因：更好的生成响应和更便宜、更快的响应。

Etzioni 补充说：「正确的搭配混合专家模型将同时保证这两方面的优势，但和任何事情一样，成本和质量之间通常是需要取舍的。」

如果这种假设成立的话，OpenAI 在降低成本方面可能确实牺牲了一些质量。

另一个佐证就是，OpenAI 的创始人 Greg Brockman 曾在自己共同参与的研究中提到了 MOE 这一技术路径。

「通过混合专家模型的（MoE）方法，每次只使用网络的一小部分来计算任何一个输入的输出。这可以在不增加计算成本的情况下增加更多参数。」Brockman 和他的同事 Lilian Weng 在论文中写道。

性能下降可能和消除有害内容有关

有些网友觉得可能是 OpenAI 相对保守的道德政策降低了模型回复的质量。

在 OpenAI 官方论坛中 GPT 相关的子版块，那些认为 ChatGPT 的性能遭到了「降级」的帖子中，许多人提到了 ChatGPT 在 OpenAI 采取新的内容限制之前对于 Prompt 的包容性有了很大的变化。

侧面支持了 OpenAI 可能出于安全性的考虑，控制了模型的输出能力和范围的观点。

在 YCombinator 的讨论中，有网友提出，从 OpenAI 开始宣布关注安全问题以后，模型的表现就越来越糟糕。

以 GPT-4 在最初发布报告中，让 GPT-4 使用 TikZ（TikZ 可能是在 LaTex 中创建图形元素的最复杂，最强大的工具）绘制独角兽这一任务为例，在后续发布的 GPT-4 中难以复现报告上的结果，而且表现也越来越差。

另一方面，网友认为 GPT-4 性能衰退的原因，可能是人类出于安全考虑向 GPT-4 灌输了一套相互矛盾的信念。

而这种为了安全选择消除「坏念头」的做法，显而易见会阻止 GPT-4 对事物更加深刻的认识和理解。

事实上，OpenAI 设置了各种过滤器来防止恶意行为，例如暴力，种族主义或仇恨言论。

但是，这些过滤器通常会干扰正常的使用，例如小说写作、思想头脑风暴以及其他形式的创作。

虽然很难衡量这些变化的影响，但 OpenAI 的创始人 Sam Altman 承认了政策限制会干扰用户体验。

除此之外，在 5 月 29 日 Humanloop 联合创始人 Raza 与 Sam Altman 的对话中，Altman 提到了 OpenAI 目前严重受到 GPU 数量的限制。

在 ChatGPT 突破了 1 亿用户大关、月活达到 18 亿次的情形下，OpenAI 的服务器经常超负荷运转。

而算力的紧缺不仅推迟了他们许多短期计划，也导致了许多来自客户对 GPT 回答内容可靠性的抱怨和争议。

也许原因在这届网友身上？

在官方技术发言人 Logan.GPT 的回应中，表明了 GPT-4 在 API 模式中质量并没有下降。

而就在昨天，OpenAI 产品副总裁 Peter Welinder 评论了这一传言。

「不，我们没有让 GPT-4 变笨，恰恰相反：我们让每个新版本都比前一个版本更聪明。」

对于网友提出的问题，他的理解是，「当你更多地使用它时，你会开始注意到以前没有注意到的问题。」

言下之意是，GPT-4 本来就没之前那么强，现在的 GPT-4 才是它真正的实力。

有那么一丝凡尔赛的感觉。

你说你没改过，然后又说每个版本都更好了，不是自相矛盾吗？

你说的这个假设不成立，同样的提示词 7 月的回答就是比 6 月的差！

不过，确实有网友对 GPT-4 的性能衰退也有不同的解释：

从感知退化的心理学角度来说，在 GPT-4 初次曝光带给人们的惊喜消失，并逐渐深入我们日常生活使用后，人们就会对它的能力习以为常。

新鲜劲儿一过，用户对其的容忍度也随之降低，转而更加关注技术和使用上的缺陷。

此外，在 Reddit 上发帖认为 GPT-4 性能衰退的网友，在最近的更新中表明，那天的提问可能是受到了心态的影响，因为在这之后的 GPT-4 工作一直都很顺利。

参考资料：

https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/

本文作者：新智元，本文来源：新智元，原文标题：《GPT-4 突然降智，爆料 OpenAI 重新设计构架，用 MOE 降本增效，官方辟谣网友却不买账》。