总结
我们很荣幸于 2024 年 8 月 15 日成功举办了 PyTorch 上海交流会。本次交流会受到了业界的广泛关注。我们邀请了来自英特尔和华为的资深 PyTorch 开发者作为嘉宾演讲者,他们分享了宝贵的经验和最新的技术趋势。此外,本次活动还吸引了来自众多科技公司和知名高校的 PyTorch 爱好者。共有 40 余名参与者齐聚一堂,共同探讨和交流 PyTorch 的最新应用和技术进展。
本次交流会不仅加强了 PyTorch 社区成员之间的联系,还为当地的 AI 技术爱好者提供了一个学习、交流和成长的平台。我们期待下一次聚会,继续推动 PyTorch 技术在当地的发展。
1. PyTorch 基金会最新动态
PyTorch 理事会成员 Fred Li 分享了 PyTorch 社区的最新动态。他回顾了 PyTorch 社区的发展历程,详细阐述了社区开发者的成长路径,鼓励大家深入钻研技术,并介绍了即将举行的 PyTorch 大会 2024 相关事宜。
2. 英特尔与 PyTorch 的旅程:用无处不在的硬件和开源软件实现 AI 大众化
PyTorch CPU 模块维护者 Jiong Gong 分享了英特尔对 PyTorch 及其生态系统长达 6 年的技术贡献,并探讨了英特尔在软硬件方面为实现 AI 大众化、确保可访问性以及优化在各种英特尔硬件平台上的性能所取得的显著进展。
3. 探索 PyTorch 生态系统中的多后端支持:以昇腾为例
华为的 PyTorch 贡献者华风春以华为昇腾 NPU 为例,展示了 PyTorch 应用多后端支持的最新成果。他介绍了华为昇腾 NPU 的硬件特性和 CANN(神经网络计算架构)的基础设施,并阐述了原生支持工作的关键成果和创新。他还分享了当前的挑战和下一步工作计划。
另一位来自华为的 PyTorch 贡献者纪元浩接着介绍了 Autoload Device Extension 提案,阐述了其在提升 PyTorch 可伸缩性方面的实现细节和价值,并介绍了 PyTorch 中文社区的最新工作进展。
4. 用于 Inductor 的英特尔 XPU 后端
Eikan 是来自英特尔的 PyTorch 贡献者。他专注于英特尔 CPU 和 GPU 的 torch.compile 堆栈。在本次会议中,Eikan 介绍了英特尔在针对英特尔 GPU 的 torch.compile 方面所做的努力。他提供了 PyTorch 中英特尔 GPU 当前状态的更新,涵盖了功能和性能方面。此外,Eikan 还以英特尔 GPU 为案例研究,展示了如何使用 Triton 将新的后端集成到 Inductor 中。
5. PyTorch PrivateUse1 演进方法与见解
华为的 PyTorch 协作者李家伟介绍了 PyTorch 的 Dispatch 机制并强调了 DIspatchKey 的局限性。他以华为昇腾 NPU 为例,分享了 PyTorch PrivateUse1 机制的最佳实践。他提到,在使用 PrivateUse1 机制的同时,华为也向 PyTorch 社区提交了许多针对该机制的改进和错误修复。他还提到,由于上游代码缺乏对 out-of-tree 设备的 CI 支持,上游代码的变更可能会影响其稳定性和质量,这一见解得到了大家的认同。