跳转到主要内容
博客

PyTorch：人工智能的开放语言

作者： 2025年5月7日2025年5月9日暂无评论

PyTorch The Open Language of AI

主要收获

  • 如今，PyTorch 为生成式人工智能世界提供动力，Meta、OpenAI、微软、亚马逊、苹果等主要人工智能参与者都在构建尖端的人工智能系统。
  • PyTorch 已从一个专注于人工智能研究的框架发展到支持生产、深度人工智能编译，并已成为人工智能生态系统中数千个项目和公司的基础。
  • PyTorch 基金会正在扩展，成为一个伞形组织，并将托管一些最受欢迎且高度互补的项目，使用户能够更容易地大规模构建人工智能。
  • 总而言之，PyTorch 基金会具有独特的优势，可以支持整个堆栈的人工智能转型，从加速计算到支持下一波代理系统，从研究到生产。

回顾 PyTorch 的早期，我们最初的主要重点是加速人工智能研究人员的训练和开发者体验。我们希望赋能研究人员轻松表达他们的想法（无论这些想法多么疯狂）并加速训练，使他们能够快速验证这些想法。当我们建立 PyTorch 1.0 时，我们引入了 Caffe2 并将使命扩展到“从研究到生产”，这使得我们的范围更广。随着 PyTorch 2.0 的推出，范围和愿景再次扩展，重点关注性能，包括增加我们的编译器投资、异构硬件支持，这导致了 torch.compile、TorchInductor 和对 Triton 项目的投资。在所有这些过程中，我们一直秉持着重视以下原则的设计理念：(1) 可用性优于性能；(2) 简单优于容易；(3) Python 优先，注重语言互操作性。

此外，当我们在2020年首次制定 PyTorch 的三年愿景时，我们设定的目标是：

  1. 行业领先：通过一个在战略和商业上与我们保持一致并共同实现这一愿景的合作伙伴生态系统，在研究和生产方面取得成功；
  2. 多元化：一个来自学术界和工业界的全球社区，为由基于或围绕 PyTorch 构建的项目、平台和研究组成的生态系统做出贡献，并不断推动该领域向前发展；以及
  3. 可持续：在很长一段时间（3年以上）内保持其主要贡献者的多样性和生产力，并且能够应对新技术或新产品（例如来自竞争对手）等固有变化，这些变化可能改变用户群（用户、开发者社区等）。

随着 PyTorch 基金会于2022年加入 Linux 基金会，这为该项目的下一阶段增长奠定了基础。如果我们快进到今天，基金会正在迅速发展，拥有13个高级成员和总共30个成员组织，比以往任何时候都更多样化的贡献者和不断壮大的生态系统。PyTorch 基金会已做好充分准备，将继续在快速发展的人工智能领域发挥领导作用。

尽管如此，我们仍然有一个重要的机会来发展 PyTorch，使其在设定开源人工智能和整个行业的方向上发挥更不可或缺的作用。

当今人工智能领域的挑战

在过去的两年里，人工智能格局发生了显著变化。大型语言模型 (LLMs) 已走到前沿，为 ChatGPT 等应用程序提供动力，并推动了以 Llama 为首的开放模型革命。现在，我们正在见证代理系统进入主流。尽管取得了这些进步，但当我们过渡到生成式人工智能和代理优先的世界时，仍然存在重大挑战。为了更好地理解这些挑战的性质，我们应该考虑几个关键问题：

  1. 我们如何优化和最大限度地利用给定功率创造智能？
  2. 我们如何使智能的持续改进、定制和适应民主化？
  3. 除了模型之外，工具和环境等其他功能如何像我们优化其他系统那样加速发展？
  4. 最后，我们如何有效地衡量智能，使其与我们作为最终用户所需的目标保持一致？

这些挑战性的问题需要一个集体社区共同努力，才能有效地解决它们。通过汇集不同的观点，我们可以构建一个全面的框架，整合人工智能开发的所有层面——从硬件加速原语到复杂的代理开发、评估和部署实践。我们所设想的超越了典型的技术倡议；它更类似于开发一种新的语言或操作系统——一个能够实现全新可能性的基础架构。

更广阔的愿景

PyTorch 的一个更广阔的愿景是成为“人工智能的开放语言”。

抛开一些措辞上的修饰，我们似乎应该考虑为 PyTorch 添加一个额外的目标：

被视为基础操作系统：PyTorch 为整个行业的人工智能系统奠定基础。

随着人工智能堆栈深度的扩展，PyTorch 基金会的覆盖范围也将随之增长和扩大。因此，PyTorch 基金会刚刚发展成为一个伞形基金会，将 PyTorch 的范围和影响力远远超出了其作为人工智能框架的传统根源，并允许基金会托管人工智能领域的高价值项目。

在欢迎新项目加入 PyTorch 基金会时，我们将秉持至今指导 PyTorch 的相同设计原则。

从vLLM和DeepSpeed开始，我们将汇集人工智能开发领域一些最具创新性的社区，并在此过程中为人工智能开发者构建一个更广阔、更全面的堆栈。

敬请期待更多项目公告！

近期焦点

展望2025年，核心 PyTorch 项目在多个领域持续取得进展。一些高级别的主题包括：

  1. 推理：我们正在投入清理和澄清非大型语言模型、大型语言模型以及边缘/本地部署的 API/运行时：
    1. vLLM 以及 SGLang（作为 PyTorch 生态系统的一部分），用于服务器大型语言模型
    2. ExecuTorch 将成为非服务器部署的伞形 API
    3. 非大型语言模型服务 – 我们将弃用 TorchServe 并推广我们周围的生态系统解决方案
  2. 训练后：我们将统一我们的训练后工作，以支持带有在线/异步强化学习的端到端 PyTorch 原生训练后。
  3. 大规模训练：我们正在研究大规模分离式半/异步容错训练，重点是实现高水平并行化并结合在线强化学习。
  4. 编译器：我们将加倍努力改进 torch.compile + 与 vLLM 和 SGLang 的集成，改进 Triton 的开发者体验，与训练框架（Titan 等）更深度的集成。
  5. 模型压缩：通过 TorchAO 实现低精度模型支持，并与 vLLM 和 SGLang 集成。
  6. 边缘/本地部署：增加对 ExecuTorch 的投资，使其更接近核心，并扩展范围以支持人工智能电脑、Macbook 和边缘设备，并支持 Ollama 等项目。

您可以在此处深入研究已发布的路线图以获取更多详细信息。

我们下一步何去何从……

随着 PyTorch 基金会现在成为一个伞形基金会，我们专注于引入高质量且互补的项目，以扩展 PyTorch 的范围和愿景。您将在未来几周和几个月内看到加入基金会的项目公告，这些项目将加强 PyTorch 的愿景，并创建一系列丰富的人工智能项目组合，这些项目将很好地集成并创造无缝的用户体验。我们的重点是创建一个值得信赖的开源项目生态系统，这些项目对社区具有可证明的价值，并解决了人工智能生命周期中的问题。

此外，我们的社区正在迅速发展，2025年已宣布在亚洲、欧洲和印度举办3场 PyTorch Days 活动，以及我们的主要活动，即将于10月22日和23日举行的 PyTorch 大会，届时正值2025年开源人工智能周中期。今年的大会还将增加一天，包括创业公司展示、智能测量峰会、人工智能基础设施峰会、黑客马拉松、同期举办的开源人工智能活动和交流机会。我们对这场开源人工智能创新的盛大庆典感到兴奋，希望您能加入我们！

此致，
Joe & Luca