训练先进的深度学习模型具有挑战性。除了模型设计，模型科学家还需要设置最先进的训练技术，如分布式训练、混合精度、梯度累积和检查点。然而，科学家们可能仍然无法达到理想的系统性能和收敛速度。大模型尺寸更具挑战性：一个大型模型在使用纯数据并行时很容易耗尽内存，并且很难使用模型并行。DeepSpeed 解决了这些挑战，以加速模型的开发和训练。DeepSpeed 赋能了世界上最强大的语言模型，如 MT-530B 和 BLOOM。它是一个易于使用的深度学习优化软件套件，为训练和推理提供了前所未有的规模和速度。
DeepSpeed 于 2025 年 1 月由微软贡献给 Linux 基金会。
