2024 年 6 月 20 日
🎉 PyTorch 文档马拉松 2024 上半年总结 🎉
我们很高兴宣布 2024 年上半年 PyTorch 文档马拉松圆满成功！本次活动取得了巨大成功，我们要向所有促成此事的参与者致以衷心的感谢。我们的开源贡献者的奉献精神、专业知识和不懈努力再次帮助我们改进了 PyTorch 文档。
2024 年 6 月 20 日
使用半结构化 (2:4) 稀疏性加速神经网络训练
过去一年，我们在 PyTorch 中添加了对半结构化 (2:4) 稀疏性的支持。只需几行代码，通过用稀疏矩阵乘法替换密集矩阵乘法，我们便在 segment-anything 上实现了 10% 的端到端推理加速。
2024 年 6 月 12 日
使用 PyTorch 分布式异步检查点技术将模型检查点时间缩短 10 倍以上
摘要：利用 PyTorch 分布式的新异步检查点功能（该功能在 IBM 的反馈下开发），我们展示了 IBM 研究团队如何实现并有效地将检查点时间缩短 10-20 倍。示例：对于一个 7B 模型，检查点的“停机时间”从平均 148.8 秒缩短到 6.3 秒，即加速了 23.62 倍。
2024 年 6 月 11 日
PyTorch 基金会迎来新任执行董事
PyTorch 基金会很高兴欢迎新任执行董事 Matt White。PyTorch 基金会成立于 2022 年，旨在通过培育和维持以 PyTorch 为核心的开源、供应商中立项目生态系统，推动 AI 工具的普及。在过去两年里，我们看到项目取得了长足的发展，贡献者和成员数量都有所增长。
2024 年 6 月 4 日
准备，开始，贡献：2024 上半年 PyTorch 文档马拉松启动
PyTorch 文档马拉松现已启动！本次活动致力于在我们社区的宝贵帮助下提高 PyTorch 文档的质量。我们希望通过本次文档马拉松活动，简化新用户入门 PyTorch 的流程，指导他们有效地利用其功能，并最终加快机器学习从研究到生产的过渡。
2024 年 5 月 21 日
使用 PyTorch FSDP 和 Torch.compile 最大化训练吞吐量
最近，我们展示了如何使用 FSDP 和选择性激活检查点技术，在 A100 GPU 上训练 7B 模型，实现 57% 的 MFU（模型浮点运算利用率）。我们还展示了如何训练出高质量模型，并将其作为 Granite 7B 基础模型，在 Hugging Face Hub 上以 Apache v2.0 许可开源。
