博客

广义点积注意力机制：解决 GPU 训练内核中的现实挑战 博客

广义点积注意力机制：解决 GPU 训练内核中的现实挑战

在这篇博文中，我们介绍了广义点积注意力机制 (GDPA) 的内核设计，这是一种……
Jackie (Jiaqi) Xu, Chao Chen, Shuqi Yang, Markus Hoehnerbach, Xiaoyi (Leo) Liu, Ted Zadouri‡, Dev (Devashish) Shankar, Jacky Zhou, Hongtao Yu, Manman Ren, Han Xu, Chunzhi Yang†, Jade Nie†, Haoyu Zhang, Huayu Li, Michael Shu, Musharaf Sultan, Max Leung, John Bocharov, Tri Dao‡
2026年3月18日
使用 ExecuTorch 构建语音智能体：跨平台终端设备音频基础架构 博客

使用 ExecuTorch 构建语音智能体：跨平台端侧音频基础框架

简要概述：开源语音模型正在激增，但目前还没有一个统一的原生推理平台来……
Mergen Nachin, Manuel Candales, Mengwei Liu, Jacob Szwejbka, Young Han, Songhao Jia, Stephen Jia, Scott Roy, Alban Desmaison, Hansong Zhang from PyTorch Team at Meta; Yagil Burowski, Matt Clayton, Will Burford from LM Studio
2026年3月15日
针对 MoE 的 MXFP8 训练：使用 TorchAO 和 TorchTitan，在 GB200 集群上实现 Llama4 Scout 比 BF16 快 1.3 倍的训练速度 博客

面向 MoE 的 MXFP8 训练：在 GB200 集群上结合 TorchAO 和 TorchTitan，使 Llama4 Scout 的训练速度较 BF16 提升 1.3 倍

简要概述：我们最近演示了 Llama4 Scout 的训练速度提升了 +30.2%，且收敛性与……相当
Daniel Vega-Myhre,Matthias Reso,Vasiliy Kuznetsov,Driss Guessous,Simon Fan, Alireza Shamsoshoara, Chinmay Baikar
2026年3月12日