分类

博客

增强大语言模型：利用 torchforge 和 Weaver 实现可扩展强化学习 博客

超能 LLM：使用 torchforge 和 Weaver 进行可扩展的 RL

为大语言模型 (LLM) 训练后阶段扩展强化学习 (RL) 极其困难。尽管运行……
Stanford - Jon Saad-Falcon, Hangoo Kang, Simon Guo, Aakanksha Chowdhery, Azalia Mirhoseini Meta - Allen Wang, Danning Xie, Evan Smothers, Felipe Mello, Jack Khuu, Jiyue Wang, Joe Cummings, Lucas Pasqualin, Philip Bontrager, Rithesh Baradi, Vidhya Venkat, Yuxuan Hu, Jafar Taghiyar, Davide Italiano, Gayathri Aiyer, John Myles White, Joe Spisak, Sanyam Bhutani, Hamid Shojanazeri, Matthias Reso Ali Sol Hossein Kavianihamedani Emre Guven CoreWeave - Deok Filho Aaron Batilo Matthew Guan Xi Lu
2026 年 1 月 9 日
利用 TorchTitan 在 1000 张 AMD GPU 上进行高效大规模 MoE 预训练 博客

使用 TorchTitan 在 1K AMD GPU 上高效地进行大规模 MoE 预训练

高效训练像 DeepSeek-V3 和 Llama 4-Scout 这样的大规模混合专家 (MoE) 模型是……之一。
AMD Contributors: Liz Li, Yanyuan Qin, Yuankai Chen, Xinyu Kang, Xiaobo Chen, Zhen Huang, Shekhar Pandey, Zhenyu Gu, Andy Luo, Meta Contributors: Matthias Reso, Hamid Shojanazeri, Tianyu Liu, Jiani Wang, Howard Huang, Wei Feng, Special Thanks: Guru MP, Yao Fu, Nick Ni, Emad Barsoum, Ramine Roane, and the TensorWave team for providing MI325 cluster
2025 年 12 月 1 日