训练先进的深度学习模型极具挑战性。除了模型设计外，模型科学家还需要配置先进的训练技术，如分布式训练、混合精度、梯度累积和检查点保存。即便如此，科学家们仍可能无法获得预期的系统性能和收敛速度。大模型带来的挑战更为严峻：仅使用纯数据并行极易导致内存溢出，而使用模型并行又十分困难。DeepSpeed 旨在应对这些挑战，以加速模型开发和训练。DeepSpeed 赋能了 MT-530B 和 BLOOM 等全球最强大的语言模型。它是一套简单易用的深度学习优化软件套件，能够为训练和推理提供前所未有的规模与速度。
DeepSpeed 由微软于 2025 年 1 月捐赠给 Linux 基金会。
