叫板 ChatGPT!AI 作画鼻祖 Stability AI 也推出大型语言模型

Wallstreetcn
2023.04.20 06:32
portai
I'm PortAI, I can summarize articles.

AI 领域 “当红炸子鸡” Stability AI 发布开源大语言模型 StableLM,称在聊天和编程方面都展现了 “惊人的高性能”。

或许每一次历史潮流的开场,总是这么熙熙攘攘,年初被 ChatGPT 引爆的 AI 大型语言模型 (LLM),又迎来一位重磅入局者——Stability AI。

4 月 19 日,推出火爆 AI 绘画赛道 Stable Diffusion 的开源模型的公司 Stability AI,宣布 “加入战局,叫板 ChatGPT”,推出开源大语言模型 StableLM。

在 Stability AI 公告大语言模型的网页上,一只体现了 Stable Diffusion XL 作画特点的绿鹦鹉先于语言大模型的介绍出现了,大语言模型的"Stable Diffusion” 时刻或许就这样不期而至。

对于大语言模型 StableLM,网站介绍道:

目前 StableLM 的 Alpha 版本中拥有 30 亿和 70 亿参数。

已经可以从 GitHub 等开源平台上下载:https://github.com/stability-AI/stableLM/

Stability AI 后续还将推出 150 亿至 650 亿参数的版本。

与 Stable Diffusion 类似,开发者可以在遵守协议的情况下,将这个模型用于商业或研究活动。

抨击 OpenAI 不够 “open” 的 Stability AI,能稳定发挥,推出超越 ChatGPT 的大语言模型吗?

大语言模型的 “安卓时刻”

Stability AI 成立于 2019 年,是生成式 AI 领域最知名的公司之一。

在 ChatGPT“占领” 的大语言模型市场上,不少人期待着类似 Stable Diffusion 的开源模型能尽快出现。

大语言模型的"Stable Diffusion” 时刻可能在十几个小时前到来了。

AI 军备竞赛的开启可以追溯到去年 7 月,在 Open AI 的绘画模型 DALL- E2 之后,Stability AI 发布的模型图像生成模型 Stability Diffusion,因其源代码开源,且对公众开放使用,在当时吸引了更多的注意力(使用 DALL-E2 需要申请,通过率很低)。

Stability AI 把 StableLM 的发布比作了 Stability Diffusion,这让 AI 可以继续服务所有人:

2022 年,Stability AI 推动了 Stable Diffusion 的公开发布,这是一款革命性的图像模型,代表了透明、开放、可扩展的 AI。

这次我们发布开源 StableLM 模型,想继续让所有人都能使用 AI。

我们的 StableLM 模型可以生成文本和代码,并将支持一系列下游应用。

正如 Stability AI 的 CEO Emad Mostaque 所说,他们最新发布的 LLM 代表着 Stability AI 的初心 “开源”:

现在每个人都可以在 Hugging Face 上测试驱动这个 7B 版本的聊天机器人。

Emad Mostaque 认为,LLM 不应在大公司内部进行训练,社区系统的开放性也至关重要,需要更多监督,巨头控制流量算法的游戏规则——是对人们的操纵。

Emad Mostaque 来源:Stability AI

因此,Stability AI 在今年年初与 Hugging Face 等几个初创公司一起资助了研究中心 Eleuther AI,而 StableLM 便建立在 Eleuther AI 的开源模型上:

StableLM 建立在我们与非营利性研究中心 EleutherAI 一起开源的早期语言模型基础上,这些语言模型包括 GPT-J、GPT-NeoX 和 Pythia 等等。

此次大模型也是在 The Pile 开源的数据集上进行的训练,该数据集结合了 PubMed、StackExchange 和维基百科等网站的的文本样本,其规模是 The Pile 的三倍,包含 1.5 万亿个内容标记。

Stability AI 表示,正式因为这个丰富的数据集,尽管参数规模和 GPT-3 没有可比性,但StableLM 在交流和编程方面都展现了 “惊人的高性能”(surprisingly high performance ):

尽管 StableLM 参数规模只有 30 亿至 70 亿(相比之下,GPT-3 有 1750 亿参数),但性能非常好,下面是例子:

在这个例子里,StableLM 回到了有关 “对于从高中毕业的朋友你回说些什么?” 以及 “写一封邮件” 的请求。

在这个例子里要求该模型写一个 “计算生命意义的 C 语言程序”,但该模型表示无法完成此项任务,但写了一个计算生命长度的程序。

Mostaque 在 Twitter 上表示,他相信 StableLM 及其训练数据会随着时间而变得更好,没有人知道这个模型可以被优化到什么程度:

我知道现在还有很长的路要走,这只是一个开始。我认为我们可以在接下来的 3-6 个月内让该模型变得和 Stable Diffusion 一样有用,而在接下来的几年里,发展将是惊人的。

OpenAI不够OpenStability AI够稳吗

前不久,马斯克批评 Open AI 背离了开源、非盈利的初衷,这是 Open AI 一直以来面临的争议,也是 Stability AI“暗戳戳” 的讽刺 OpenAI 的要点。

尽管 OpenAI 不够开放,但 GPT-4 无疑是当下最好用的大语言模型。而够开放的 Stability AI,其语言模型 StableLM 够稳吗。

要知道,目前 StableLM 的 Alpha 版本拥有 30 亿和 70 亿参数,而 GPT-3.5 模型的参数量为 2000 亿。

有网友称,Stability AI 并没有在公告上说明 StableLM 当前的局限性。

该模型是否存在与其他模型一样倾向于编造事实?是否会经常答非所问?

媒体分析认为,该模型基于 The Pile 训练,而 The Pile 数据集内存在大量不雅用语,因此对话过程可能会让用户不适。

还有网友表示,他尝试在 Hugging Face 上测试这些模型,但每次都遇到 “满负荷” 的问题,无法成功在前端上运行,这很可能与模型的大小及受欢迎的程度有关。

“大语言模型是否应该开源” 也成了近期争论的焦点。有研究人员认为,类似 StableLM 等开源模型的发布,很可能被用于,发送钓鱼信息或协助恶意软件攻击等不良目的。

但 Stability AI 认为,开源模型的出现可以协助研究人员识别潜在风险,并制定一些列保护措施。

Stability AI 的营收困境

更严重的问题是,Stability AI 或许正面临营收困境。

最近有媒体报道称,Stability AI 正在以惊人的速度烧钱,但却没有明确的盈利途径。而且在竞争激烈的 AI 赛道,还面临着一众初创企业和科技巨头的 “围剿”。

Meta 此前发布开源大语言模型 LLaMA,使得越来越多的公司有望在开源模型基础上定制自己的大模型,人工智能也正在迎来 “安卓时刻”。

Stability AI 现在正在寻找新的高管人才,希望他能在恶劣的条件下给公司带来收入,以解决当前 “疯狂烧钱、营收可怜” 的窘况。

去年底,Stability AI 宣布融资 1.01 亿美元,并称 Stable Diffusion 已成为当前可用性最高的开源模型。

据《福布斯》的数据,每天约有有 1000 万人使用 Stable Diffusion——比使用 OpenAI 的 DALL-E 2 的人数还要多。同时,Stability AI 还提供面向消费者的产品——DreamStudio, 目前拥有来 100 万名注册用户。

但训练模型所需的计算资源和成本让 Stability AI不得不探索新商业模式。Mostaque 曾在 Twitter 上回复一位用户时说:

实际上,我们模型使用了 256 个 A100 显卡,总共 15 万小时,所以按市场价格计算为 60 万美元。

Stability AI 去年融到的 1 亿美元至今已经 “烧” 掉大半。

还有一个不可忽略的事实是,其竞争对手 Midjourney 已经成为互联网上事实上的图像生成模型的领跑者,甚至一定程度上击败了 OpenAI 的 DALL-E。

当前,有消息称,Stability AI 正在谋求新一轮融资,希望能将公司的估值涨至 40 亿美元。Stability AI 能否扭转局面,筹集到足够的资金来维持局面,还有待观察。