用户通过 Deep Speed Chat 提供的 “傻瓜式” 操作，能以最短的时间、最高效的成本训练类 ChatGPT 大语言模型，这标志着一个人手一个 ChatGPT 的时代要来了。
4 月 12 日，微软宣布开源了 Deep Speed Chat，帮助用户轻松训练类 ChatGPT 等大语言模型，使得人人都能拥有自己的 ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）
据悉，Deep Speed Chat 是基于微软 Deep Speed 深度学习优化库开发而成，具备训练、强化推理等功能，还使用了 RLHF（人工反馈机制的强化学习）技术，可将训练速度提升 15 倍以上，成本却大幅度降低。例如，一个 130 亿参数的类 ChatGPT 模型，只需 1.25 小时就能完成训练。
简单来说，用户通过 Deep Speed Chat 提供的 “傻瓜式” 操作，能以最短的时间、最高效的成本训练类 ChatGPT 大语言模型，这标志着一个人手一个 ChatGPT 的时代要来了。
微软为什么开源 Deep Speed Chat
ChatGPT 只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场 AI 技术变革中，但由于庞大的资源、资金投入只能望而却步。
即便开源领域推出了 LLaMa、Alpaca、Vicuna、Databricks-Dolly 等优秀的类 ChatGPT 项目，仍缺乏一个支持端到端的基于 RLHF 的规模化系统，使得训练强大的类 ChatGPT 模型非常艰难。
例如，使用上述开源项目训练一个 67 亿参数的类 ChatGPT 模型，通常需要昂贵的多卡至多节点的 GPU 集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。
即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的 5%。
现在，通过 Deep Speed Chat 解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类 ChatGPT 模型。
Deep Speed Chat技术简单介绍
ChatGPT 模型的训练是基于 InstructGPT 论文中的 RLHF 方式，这使得现有深度学习系统在训练类 ChatGPT 模型时存在种种局限。现在，通过 Deep Speed Chat 可以突破这些训练瓶颈，达到最佳效果。
Deep Speed Chat 拥有强化推理、RLHF 模块、RLHF 系统三大核心功能。
简化 ChatGPT 类型模型的训练和强化推理：只需一个脚本即可实现多个训练步骤，包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类 ChatGPT 模型。此外，还提供了一个易于使用的推理 API，用于在模型训练后测试对话性能。
Deep Speed-RLHF 模块：DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。
DeepSpeed-RLHF系统：将 DeepSpeed 的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于 RLHF 训练。DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。
例如，张量并行计算和高性能 CUDA 算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE 可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
此外，Deep Speed Chat 在成本、效率、扩展性等方面非常优秀。
高效且节省成本：在 Azure 云上只需 9 小时即可训练一个 OPT-13B 模型，只需 18 小时即可训练一个 OPT-30B 模型。这两种训练分别花费不到 300 美元和 600 美元。
卓越扩展性：能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥 1750 亿参数的模型，使用 Deep Speed Chat 进行训练也只需不到一天的时间。
注意：在 Azure 上训练时由于 GPU 不同，所以训练时间和费用也各不相同。
全民 ChatGPT 时代来了
做个不太恰当的比喻，微软此次开源 Deep Speed Chat 就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。
只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个 ChatGPT 生态发展起到了至关重要的推动作用，使得人人都能拥有自己的 ChatGPT。
目前，ChatGPT 处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。
本文来源：AIGC 开放社区，原文标题：《重磅！微软开源 Deep Speed Chat，人人拥有 ChatGPT！》