在移动设备上释放AI的力量：使用ExecuTorch和KleidiAI对Llama 3.2量化模型进行LLM推理 ![]()
引言：在最近的 PyTorch 大会上，Arm 强调了其技术在诸多领域的广泛影响，包括……
ExecuTorch Beta：设备端 AI 和 LLM、稳定性以及与合作伙伴的加速 ![]()
ExecuTorch 随着 v0.4 版本的发布已达到 Beta 阶段，提供了稳定的 API 和运行时……
PyTorch 基金会2024年10月24日
TorchRec 和 FBGEMM 1.0 稳定版发布
我们很高兴地宣布 TorchRec 和 FBGEMM 的 1.0 稳定版发布。TorchRec 是 PyTorch 原生……
2024 PyTorch 大会回顾：如火如荼 🔥 ![PyTorch Conference Fire Dance]()
2024 年旧金山 PyTorch 大会汇集了近 1,500 名 AI 研究人员、开发者和爱好者……
Jennifer Bly, PyTorch 基金会2024年10月2日
PyTorch 多设备集成中的挑战与努力：兼容性、可移植性和集成效率
引言：随着对各种硬件加速器需求的增长，对一个强大且……
LLM 的无 CUDA 推理
在这篇博客中，我们讨论了如何使用流行的模型实现 FP16 推理……
加速您的 AI：PyTorch 2.4 现已支持 Intel GPU，实现更快的负载
我们有好消息！PyTorch 2.4 现已支持 Intel® 数据中心 GPU Max 系列和……
英特尔 PyTorch 团队2024年8月29日
在 Opacus 中实现快速梯度裁剪和幽灵裁剪
引言与背景 差分隐私随机梯度下降（DP-SGD）是训练机器学习的规范方法……
FlexAttention：PyTorch 的灵活性与 FlashAttention 的性能
理论上，Attention 是你所需要的一切。然而，在实践中，我们还需要优化的 Attention……
使用 PyTorch 对大型语言模型进行量化感知训练
在这篇博客中，我们展示了大型语言模型的端到端量化感知训练 (QAT) 流程……
深入探讨 Hopper TMA 单元的 FP8 GEMMs
摘要 Hopper (H100) GPU 架构被誉为“第一个真正的异步 GPU”，包含一个……
Adnan Hoque、Less Wright、Chih-Chieh Yang2024年7月22日
FlashAttention-3：基于异步和低精度实现快速准确的注意力机制
注意力机制作为无处不在的 Transformer 架构的核心层，是大型模型的一个瓶颈……
在 AWS Graviton 处理器上使用 torch.compile 加速 PyTorch 推理
摘要 最初，PyTorch 使用一种即时模式，其中构成模型的每个 PyTorch 操作……
Sunita Nadampalli2024年7月9日