总结

我们很荣幸于 2024 年 8 月 15 日成功举办了 PyTorch 上海交流会。本次交流会受到了业界的高度关注。我们邀请了来自英特尔和华为的资深 PyTorch 开发者作为主讲嘉宾,他们分享了宝贵的经验和最新的技术趋势。此外,本次活动还吸引了来自众多科技公司和知名大学的 PyTorch 爱好者。共有 40 多名参与者齐聚一堂,共同探讨和交流 PyTorch 的最新应用和技术进展。
本次交流会不仅加强了 PyTorch 社区成员之间的联系,还为本地 AI 技术爱好者提供了一个学习、交流和成长的平台。我们期待下一次聚会,继续推动 PyTorch 技术在本地的发展。
1. PyTorch 基金会更新

PyTorch 董事会成员 Fred Li 分享了 PyTorch 社区的最新动态,他回顾了 PyTorch 社区的发展历程,详细阐述了社区开发者的成长路径,鼓励大家深入钻研技术,并介绍了即将举行的 PyTorch Conference 2024 相关事宜。
2. 英特尔的 PyTorch 之旅:以无处不在的硬件和开放软件实现 AI 民主化
PyTorch CPU 模块维护者 Jiong Gong 分享了英特尔对 PyTorch 及其生态系统长达六年的技术贡献,探讨了英特尔在软件和硬件方面取得的显著进步,这些进步使得 AI 民主化、确保了可访问性,并优化了各种英特尔硬件平台的性能。

3. 探索 PyTorch 生态系统中的多后端支持:以昇腾为例

来自华为的 PyTorch 贡献者华丰春以华为昇腾 NPU 为例,展示了 PyTorch 应用程序在多后端支持方面的最新成果。他介绍了华为昇腾 NPU 的硬件特性和 CANN(神经网络计算架构)的基础设施,并阐述了原生支持工作中的关键成就和创新。他还分享了当前的挑战和下一步工作计划。
随后,来自华为的另一位 PyTorch 贡献者季元昊介绍了 Autoload Device Extension 提案,解释了其实现细节和在提高 PyTorch 可扩展性方面的价值,并介绍了 PyTorch 中文社区的最新工作进展。
4. 用于 Inductor 的英特尔 XPU 后端

Eikan 是来自英特尔的 PyTorch 贡献者,他专注于英特尔 CPU 和 GPU 的 torch.compile 堆栈。在本次会议中,Eikan 展示了英特尔在英特尔 GPU 上 torch.compile 方面所做的努力。他介绍了英特尔 GPU 在 PyTorch 中的当前状态更新,涵盖了功能和性能方面。此外,Eikan 还以英特尔 GPU 为案例研究,演示了如何使用 Triton 将新的后端集成到 Inductor 中。
5. PyTorch PrivateUse1 演进方法与见解

来自华为的 PyTorch 协作者李家伟介绍了 PyTorch 的调度机制,并强调了 DispatchKey 的局限性。他以华为昇腾 NPU 为例,分享了 PyTorch PrivateUse1 机制的最佳实践。他提到,在使用 PrivateUse1 机制的同时,华为也向 PyTorch 社区提交了许多针对该机制的改进和错误修复。他还提到,由于缺乏对非树设备的上游 CI 支持,上游代码的更改可能会影响其稳定性和质量,这一见解得到了大家的认可。