跳转到主要内容
博客

PyTorch：人工智能的开放语言

作者： 2025年5月7日2025年5月9日暂无评论

PyTorch The Open Language of AI

主要收获

  • 如今，PyTorch 为生成式人工智能世界提供了动力，Meta、OpenAI、Microsoft、Amazon、Apple 等主要人工智能参与者都在构建尖端的人工智能系统。
  • PyTorch 已从一个专注于人工智能研究的框架发展到支持生产、深度人工智能编译，并已成为人工智能生态系统中数千个项目和公司的基础。
  • PyTorch 基金会正在扩展，成为一个伞形组织，现在将容纳一些最受欢迎且高度互补的项目，使用户更容易大规模构建人工智能。
  • 总的来说，PyTorch 基金会具有独特的优势，可以支持整个堆栈的人工智能转型，从加速计算到支持下一波代理系统，从研究到生产。 

回顾 PyTorch 的早期，我们最初主要关注人工智能研究人员的加速训练和开发者体验。我们希望赋予研究人员轻松表达他们的想法（无论这些想法多么疯狂）并加速训练的能力，使他们能够快速验证这些想法。当我们发布 PyTorch 1.0 时，这一范围变得更广，我们引入了 Caffe2 并将使命扩展为“从研究到生产”。随着 PyTorch 2.0 的发布，其范围和愿景再次扩大，将性能作为一个主要焦点，包括增加我们在编译器方面的投资、异构硬件支持，这导致了 torch.compile、TorchInductor 和对 Triton 项目的投资。在整个过程中，我们保持了设计理念，该理念重视：(1) 可用性优于性能；(2) 简单优于容易；(3) Python 优先，并注重语言互操作性。

此外，当我们早在 2020 年首次制定 PyTorch 的三年愿景时，我们设定的目标是： 

  1. 行业领先：在研究和生产领域取得成功，并拥有一个在战略和商业上与我们保持一致并为实现这一愿景而合作的合作伙伴生态系统； 
  2. 多元化：来自学术界和工业界的全球社区为由基于 PyTorch 或围绕 PyTorch 构建的项目、平台和研究组成的生态系统做出贡献，并不断推动该领域向前发展；以及 
  3. 可持续性：在很长一段时间（3 年以上）内保持主要贡献者的多样性和生产力，并且能够应对固有的变化，例如可能改变人口（用户、开发者社区等）的新技术或新产品（例如来自竞争对手的产品）。

随着 PyTorch 基金会于 2022 年加入 Linux 基金会，这为该项目的下一阶段发展奠定了基础。如果快进到今天，该基金会正在迅速发展，拥有 13 个特邀成员和总共 30 个成员组织，比以往任何时候都更多样化的贡献者和不断壮大的生态系统。PyTorch 基金会在快速发展的人工智能领域中继续发挥领导作用。 

尽管如此，我们仍然有一个重要的机会来发展 PyTorch，使其在设定开源人工智能和整个行业的方向方面发挥更重要的作用。

当今人工智能领域的挑战

在过去两年中，人工智能格局发生了显著变化。大型语言模型 (LLM) 已成为焦点，为 ChatGPT 等应用程序提供支持，并推动了由 Llama 引领的模型开放革命。现在，我们正在目睹代理系统进入主流。尽管取得了这些进展，但随着我们向生成式人工智能和代理优先世界过渡，仍然存在重大挑战。为了更好地理解这些挑战的性质，我们应该考虑几个关键问题

  1. 我们如何优化和最大化在给定电量下创建智能？
  2. 我们如何使智能的持续改进、定制和适应民主化？
  3. 模型之外的其他能力，例如工具和环境，如何以我们优化其他系统的方式加速？
  4. 最后，我们如何有效地衡量智能，使其与我们作为最终用户想要的一致？

这些具有挑战性的问题需要一个集体社区朝着共同目标努力，才能有效地解决它们。通过汇集不同的观点，我们可以构建一个全面的框架，整合人工智能开发的所有层面——从硬件加速原语到复杂的代理开发、评估和部署实践。我们所设想的超越了典型的技术倡议；它更类似于开发一种新语言或操作系统——一个能够实现全新可能性的基础架构。

更广阔的愿景

为 PyTorch 设定更广阔愿景的一种方式是使其成为“人工智能的开放语言”。 

除了一些措辞上的修改，我们似乎应该考虑为 PyTorch 增加一个额外的目标

被视为基础操作系统：PyTorch 为整个行业的人工智能系统提供基础支持

随着人工智能堆栈深度的扩展，PyTorch 基金会的覆盖范围也必将随之增长和扩展。PyTorch 基金会因此刚刚发展成为一个伞形基金会，将 PyTorch 的范围和影响力大大扩展到其作为人工智能框架的传统根基之外，并允许该基金会托管人工智能领域的高价值项目。

在欢迎新项目加入 PyTorch 基金会时，我们将秉持至今指导 PyTorch 的相同设计原则。

从vLLM和DeepSpeed开始，我们将汇集人工智能开发领域一些最具创新性的社区，并在此过程中为人工智能开发者构建一个更广阔、更全面的堆栈。 

请密切关注即将发布的新项目公告！

近期重点

随着我们进入 2025 年，PyTorch 核心项目在许多领域继续取得进展。一些高级主题包括

  1. 推理：我们正在投资清理和澄清非 LLM、LLM 和边缘/本地部署的 API/运行时：
    1. vLLM，以及 SGLang（PyTorch 生态系统的一部分），用于服务器 LLM
    2. ExecuTorch 将是非服务器部署的伞形 API 
    3. 非 LLM 服务 – 我们将弃用 TorchServe 并推广我们周围的生态系统解决方案 
  2. 训练后：我们将统一训练后工作，以支持 PyTorch 原生端到端训练后与在线/异步 RL。 
  3. 大规模训练：我们正在研究大规模的非聚合半/异步容错训练，重点是实现高水平的并行性并整合在线 RL。 
  4. 编译器：我们将加倍努力改进 torch.compile + 与 vLLM 和 SGLang 的集成，改进 Triton 的 devX，更深入地集成训练框架 – Titan 等。 
  5. 模型压缩：通过 TorchAO 支持低精度模型并与 vLLM 和 SGLang 集成。 
  6. 边缘/本地部署：增加我们对 ExecuTorch 的投资，使其更接近核心，并扩大范围以支持人工智能 PC、MacBook 和边缘设备，并支持 Ollama 等项目。 

您可以点击此处查看已发布的路线图以获取更多详细信息。 

我们接下来要怎么做……

随着 PyTorch 基金会现在成为一个伞形基金会，我们致力于引入高质量和互补的项目，以扩展 PyTorch 的范围和愿景。您将在未来几周和几个月内看到加入基金会的项目公告，这些项目将增强 PyTorch 的愿景，并创建一个丰富的、集成良好且用户体验顺畅的人工智能项目组合。我们的重点是创建一个值得信赖的开源项目，这些项目对社区具有可证实的价值，并解决人工智能生命周期中的问题。 

此外，我们的社区继续快速发展，2025 年在亚洲、欧洲和印度宣布了 3 场 PyTorch Days 活动，以及我们的核心活动，PyTorch 大会将于 10 月 22 日至 23 日举行，正值2025 年开源人工智能周期间。今年的大会还将增加一天，内容包括创业公司展示、智能测量峰会、人工智能基础设施峰会、黑客马拉松、同期举办的开源人工智能活动和交流机会。我们对这场开源人工智能创新的盛大庆祝感到兴奋，希望您能加入我们！

致敬，
乔和卢卡