博客

超能 LLM：使用 torchforge 和 Weaver 进行可扩展的 RL 博客

超能 LLM：使用 torchforge 和 Weaver 进行可扩展的 RL

扩展训练后大型语言模型（LLM）的强化学习（RL）是出了名的困难。而运行……
Stanford - Jon Saad-Falcon, Hangoo Kang, Simon Guo, Aakanksha Chowdhery, Azalia Mirhoseini Meta - Allen Wang, Danning Xie, Evan Smothers, Felipe Mello, Jack Khuu, Jiyue Wang, Joe Cummings, Lucas Pasqualin, Philip Bontrager, Rithesh Baradi, Vidhya Venkat, Yuxuan Hu, Jafar Taghiyar, Davide Italiano, Gayathri Aiyer, John Myles White, Joe Spisak, Sanyam Bhutani, Hamid Shojanazeri, Matthias Reso Ali Sol Hossein Kavianihamedani Emre Guven CoreWeave - Deok Filho Aaron Batilo Matthew Guan Xi Lu
2026年1月9日
使用 TorchTitan 在 1K AMD GPU 上高效地进行大规模 MoE 预训练 博客

使用 TorchTitan 在 1K AMD GPU 上高效地进行大规模 MoE 预训练

训练如 DeepSeek-V3 和 Llama 4-Scout 这样的大规模专家混合（MoE）模型是……
AMD Contributors: Liz Li, Yanyuan Qin, Yuankai Chen, Xinyu Kang, Xiaobo Chen, Zhen Huang, Shekhar Pandey, Zhenyu Gu, Andy Luo, Meta Contributors: Matthias Reso, Hamid Shojanazeri, Tianyu Liu, Jiani Wang, Howard Huang, Wei Feng, Special Thanks: Guru MP, Yao Fu, Nick Ni, Emad Barsoum, Ramine Roane, and the TensorWave team for providing MI325 cluster
2025年12月1日