2022 年 12 月 16 日
使用 PyTorch FSDP 和 AWS 进行高效大规模训练
尖端的 AI 模型正变得越来越大。训练这些模型的成本和开销正在迅速增加，需要大量的工程工作和摸索来找到合适的训练方案。FSDP 通过使您能够利用相同的资源训练更大的模型，显著降低了这些成本。FSDP 降低了 GPU 上的内存占用，并且可以通过轻量级配置使用，所需工作量大大减少，通常只需几行代码...
2022 年 12 月 15 日
在 IBM Cloud 上扩展 PyTorch FSDP 以训练基础模型
鉴于基础模型的出现和成功，许多企业对使用云原生方法进行大型模型训练越来越感兴趣。一些 AI 从业者可能认为，分布式训练作业要实现高 GPU 利用率，唯一方法是在 HPC 系统上运行它们，例如那些通过 Infiniband 互连的系统，并且可能不考虑通过以太网连接的系统。我们演示了最新的分布式训练技术，来自 P... 的 Fully Sharded Data Parallel (FSDP) 如何实现这一点
2022 年 12 月 02 日
PyTorch 2.0 入门总结和概述
介绍 PyTorch 2.0，这是我们迈向下一代 PyTorch 2 系列版本的首批步骤。在过去几年中，我们从 PyTorch 1.0 不断创新迭代到最新的 1.13 版本，并迁移到新成立的 PyTorch 基金会，该基金会是 Linux 基金会的一部分。
2022 年 12 月 02 日
使用 PyTorch 2.0 加速 Hugging Face 和 TIMM 模型
torch.compile() 通过一行装饰器 torch.compile()，可以轻松尝试不同的编译器后端来加速 PyTorch 代码。它可以直接应用于 nn.Module，作为 torch.jit.script() 的直接替代品，而无需您更改任何源代码。我们预计这一行代码更改将使您正在运行的绝大多数模型的训练时间提速 30% 到 2 倍。
