2024年7月24日

PyTorch 2.4 发布博客

我们很高兴宣布 PyTorch® 2.4 发布了（发布说明）！PyTorch 2.4 添加了对 torch.compile 最新 Python 版本（3.12）的支持。AOTInductor freezing 通过允许序列化 MKLDNN 权重，为运行 AOTInductor 的开发者提供了更多基于性能的优化。此外，还引入了一个利用 libuv 的新的默认 TCPStore 服务器后端，这将显著缩短运行大型作业的用户的初始化时间。最后，一个新的 Python Cu...

阅读更多

2024年7月22日

Hopper TMA 单元 FP8 GEMMs 深度解析

摘要

阅读更多

2024年7月11日

FlashAttention-3：异步和低精度下的快速准确注意力

注意力作为无处不在的 Transformer 架构的核心层，是大型语言模型和长上下文应用的瓶颈。FlashAttention（和 FlashAttention-2）开创了一种通过最小化内存读写来加速 GPU 上注意力计算的方法，现在大多数库都使用它来加速 Transformer 的训练和推理。这使得大型语言模型的上下文长度在过去两年里大幅增加，从 2-4K（GPT-3、OPT）增加到 128K（GPT-4），甚至 1M（Llam...

阅读更多

2024年7月10日

了解如何使用 ExecuTorch 和 Llama 模型开发 Android 应用程序

本博客由 Arm 的 PyTorch 团队提供。更多详情可在此处查看。

阅读更多

2024年7月9日

使用 torch.compile 在 AWS Graviton 处理器上加速 PyTorch 推理

摘要

阅读更多

2024年7月3日

宣布 NeurIPS 2024 黑客杯 AI 赛道

PyTorch 团队与 Meta 黑客杯和微软研究院合作，很高兴宣布 NeurIPS 2024 的黑客杯 AI 赛道。这将是首次为流行的 Meta 黑客杯编程竞赛设立 AI 赛道，旨在评估生成式 AI 在执行自主代码生成任务方面的能力。我们的目标是测试 AI 在复杂编码挑战中的极限，并衡量 AI 系统与人类程序员之间的性能差距。我们将提供对所有...

阅读更多

2024年6月25日

驱动 AI 革命：PyTorch 纪录片

现已上线：PyTorch 官方纪录片！这部影片揭示了 PyTorch 诞生的真实故事，将其存在归功于一群推动技术创新的无名英雄。

阅读更多