2023 年 4 月 15 日
在 AMD 解决方案上体验 PyTorch 2.0 的强大力量
PyTorch 2.0 代表着 PyTorch 机器学习框架向前迈出的重要一步。PyTorch 2.0 的稳定版本带来了新功能，这些功能释放了更高的性能，同时保持了与先前版本的向后兼容性，并保留了其 Pythonic 风格，这有助于 PyTorch 受到 AI/ML 社区的热情采用。长期以来，AMD 一直是 PyTorch 的坚定支持者，我们很高兴 PyTorch 2.0 稳定版本包含了对 AMD Instin...
2023 年 4 月 14 日
使用 PyTorch 2 加速生成式扩散模型
TL;DR (太长不看): PyTorch 2.0 nightly 通过使用新的 torch.compile() 编译器以及与 PyTorch 2 集成的 Multihead Attention 优化实现，为生成式扩散模型提供了开箱即用的性能提升。
2023 年 4 月 7 日
通过分层 SGD 缓解 PyTorch DDP 中的掉队者问题
PyTorch DDP 在业界被广泛用于分布式训练，默认情况下它运行同步 SGD 以在每个步骤同步模型副本之间的梯度。这种技术的性能对于模型探索期间的快速迭代以及资源和成本节省至关重要。这种性能对于模型开发和探索的快速迭代和成本节省至关重要。为了解决大规模场景中由慢节点引入的普遍性能瓶颈...
2023 年 4 月 7 日
借助面向 AI 开发人员的新性能特性庆祝 PyTorch 2.0 发布
祝贺 PyTorch 基金会发布 PyTorch 2.0！在这篇博客中，我将讨论 Intel 为 PyTorch 2.0 做出重大贡献的四个特性
2023 年 4 月 3 日
PyTorch & OpenXLA：前行之路
在我们庆祝 OpenXLA、PyTorch 2.0 和 PyTorch/XLA 2.0 发布之际，有必要回顾一下，并分享我们对其短期到中期发展方向的看法。随着 PyTorch 在 AI 领域的领先地位以及 XLA 对一流编译器特性的支持，PyTorch/XLA 处于有利地位，可为模型训练和推理提供尖端开发堆栈。为了实现这一目标，我们认为需要在三个主要领域进行投资
2023 年 3 月 28 日
加速的 PyTorch 2 Transformer
PyTorch 2.0 版本包含 PyTorch Transformer API 的新型高性能实现，旨在使最先进的 Transformer 模型训练和部署更具成本效益。继成功发布“快速路径”推理执行（“Better Transformer”）之后，此版本引入了使用缩放点积注意力（SPDA）的自定义内核架构提供的高性能训练和推理支持。
2023 年 3 月 22 日
PyTorch 2.0 & XLA — 最新的尖端特性
今天，我们很高兴分享我们为 PyTorch/XLA 2.0 所做的最新工作。PyTorch 2.0 的发布是这个富有传奇色彩的社区的又一个重要里程碑，我们很高兴能继续成为其中的一部分。当 PyTorch/XLA 项目于 2018 年在 Google 和 Meta 之间启动时，重点是引入尖端的 Cloud TPU 以帮助支持 PyTorch 社区。在此过程中，亚马逊等社区中的其他成员加入了该项目，社区迅速壮大。我们对 X...
