引言 || 什么是 DDP || 单节点多 GPU 训练 || 容错 || 多节点训练 || minGPT 训练
什么是分布式数据并行 (DDP)¶
创建日期:2022 年 9 月 27 日 | 最后更新:2024 年 11 月 14 日 | 最后验证:2024 年 11 月 5 日
DDP 的底层工作原理
什么是
DistributedSampler
梯度如何在 GPU 之间同步
熟悉 PyTorch 中的基本非分布式训练
观看下方或 youtube 上的视频进行学习。
本教程是 PyTorch DistributedDataParallel (DDP) 的温和介绍,DDP 能够在 PyTorch 中实现数据并行训练。数据并行是一种跨多个设备同时处理多个数据批次以实现更好性能的方法。在 PyTorch 中,DistributedSampler 确保每个设备获得不重叠的输入批次。模型在所有设备上复制;每个副本计算梯度,并使用环状 All-Reduce 算法与其他副本同时同步。
这个图解教程从 Python 的角度更深入地介绍了 DDP 的机制。
为什么应该优先选择 DDP 而非 DataParallel
(DP)¶
DataParallel 是一种较旧的数据并行方法。DP 非常简单(只需额外一行代码),但性能要差得多。DDP 在架构上通过以下几种方式进行了改进:
|
|
---|---|
开销更大;模型在每次前向传播时都会被复制和销毁 |
模型只复制一次 |
只支持单节点并行 |
支持扩展到多台机器 |
速度较慢;在单个进程上使用多线程,会遇到全局解释器锁 (GIL) 竞争 |
速度更快(没有 GIL 竞争),因为它使用多进程 |