跳转到主要内容
公告社区

PyTorch 上海交流会笔记

作者: 2024 年 9 月 8 日2025 年 4 月 30 日暂无评论

总结

group photo

我们荣幸地于 2024 年 8 月 15 日成功举办了 PyTorch 上海交流会。本次交流会得到了业界的广泛关注。我们邀请了来自英特尔和华为的资深 PyTorch 开发者作为主讲嘉宾,他们分享了宝贵的经验和最新的技术趋势。此外,本次活动还吸引了来自众多科技公司和知名大学的 PyTorch 爱好者。共有 40 余名与会者齐聚一堂,共同探讨和交流 PyTorch 的最新应用和技术进展。

本次交流会不仅加强了 PyTorch 社区成员之间的联系,还为本地人工智能技术爱好者提供了学习、交流和成长的平台。我们期待下一次聚会,继续推动 PyTorch 技术在本地的发展。

1. PyTorch 基金会最新动态

man instructing students

PyTorch 董事会成员 Fred Li 分享了 PyTorch 社区的最新动态。他回顾了 PyTorch 社区的发展历程,详细阐述了社区开发者的成长路径,鼓励大家深入钻研技术,并介绍了即将到来的 2024 年 PyTorch 大会相关事宜。

2. 英特尔与 PyTorch 的旅程:以无处不在的硬件和开放软件实现 AI 的普及

PyTorch CPU 模块维护者 Jiong Gong 分享了英特尔在 PyTorch 及其生态系统中 6 年的技术贡献,探讨了英特尔在软件和硬件方面为实现 AI 普及、确保可访问性以及优化各种英特尔硬件平台性能方面取得的显著进展。

man instructing students

3. 探索 PyTorch 生态系统中的多后端支持:以昇腾为例

man instructing students

来自华为的 PyTorch 贡献者冯春华以华为昇腾 NPU 为例,展示了 PyTorch 应用在多后端支持方面的最新成就。他介绍了华为昇腾 NPU 的硬件特性和 CANN(神经网络计算架构)的基础设施,并阐述了在原生支持工作中的关键成就和创新。他还分享了当前的挑战和下一步工作计划。

随后,来自华为的另一位 PyTorch 贡献者姬元浩介绍了 Autoload Device Extension 提案,阐述了其实现细节和在提高 PyTorch 可扩展性方面的价值,并介绍了 PyTorch 中文社区的最新工作进展。

4. 用于 Inductor 的英特尔 XPU 后端

man instructing students

Eikan 是来自英特尔的 PyTorch 贡献者。他专注于英特尔 CPU 和 GPU 的 torch.compile 堆栈。在本次会议中,Eikan 介绍了英特尔在针对英特尔 GPU 的 torch.compile 方面所做的努力。他介绍了英特尔 GPU 在 PyTorch 中的当前状态,包括功能和性能方面。此外,Eikan 还以英特尔 GPU 为案例研究,展示了如何使用 Triton 将新后端集成到 Inductor 中。

5. PyTorch PrivateUse1 演进方法和见解

man instructing students

来自华为的 PyTorch 合作者李嘉伟介绍了 PyTorch 的调度机制,并强调了 DispatchKey 的局限性。他以华为昇腾 NPU 为例,分享了 PyTorch PrivateUse1 机制的最佳实践。他提到,在使用 PrivateUse1 机制的同时,华为还向 PyTorch 社区提交了许多针对该机制的改进和错误修复。他还提到,由于缺乏对非树内设备的上游 CI 支持,上游代码的更改可能会影响其稳定性和质量,这一见解得到了大家的认同。