PyTorch 生态 由来已久，其最早的一些项目，如 Hugging Face、Fast.ai 和 PyTorch Lightning，如今都已发展出令人惊叹的社区。自创立之初，我们的目标就是汇集创新的开源 AI 项目，这些项目致力于扩展、集成 PyTorch，或基于 PyTorch 进行构建。我们考察的关键要素包括：项目是否经过充分测试并得到良好维护（包括持续集成 CI）、用户上手是否简便，以及是否有不断增长的社区支持。几年过去，生态系统持续蓬勃发展，涵盖了隐私计算、计算机视觉到强化学习等领域的数十个项目，形成了充满活力的 版图。由此，PyTorch 生态工作组应运而生。
2025 年初，PyTorch 基金会成立了 PyTorch 生态工作组，旨在展示社区感兴趣的项目，并代表那些在各自领域内成熟、健康且表现卓越的项目。该工作组由生态系统中的成员组成，其任务是制定明确的准入标准，包括功能要求（如 CI、许可协议等）、可量化指标（如提交量和贡献者人数），以及代码库结构的最佳实践。此外，工作组还实施了精简的提交与评审流程，并建立了透明的生命周期管理机制。尽管目前仍处于早期阶段，但社区反响非常热烈，至今已收到 21 份提交，且有一批强有力的项目正在评审中。您可以在此详细了解该工作组的目标、具体要求以及申请流程。
作为此系列新博客的一部分，我们将每季度向社区更新 PyTorch 生态系统的新成员，并重点介绍那些正在评估中、有望通过更多关注和贡献而受益的潜力项目。
生态项目聚焦
我们很高兴欢迎 SGLang 和 docTR 加入 PyTorch 生态系统。以下是对两者的简要介绍。
SGLang
SGLang 是一个针对大语言模型和视觉语言模型的高速推理引擎。它通过后端运行时与前端语言的协同设计，使模型交互更加快速且易于控制。
其核心功能包括：
- 快速后端运行时：提供高效的推理服务，支持 RadixAttention 前缀缓存、零开销 CPU 调度器、连续批处理、Token Attention（分页注意力机制）、推测解码、张量并行、分块预填充、结构化输出以及量化（FP8/INT4/AWQ/GPTQ）。
- 灵活的前端语言：为编程 LLM 应用提供直观的接口，包括链式生成调用、高级提示工程、控制流、多模态输入、并行处理和外部交互。
- 广泛的模型支持：支持多种生成式模型（Llama、Gemma、Mistral、Qwen、DeepSeek、LLaVA 等）、嵌入模型（e5-mistral、gte、mcdse）和奖励模型（Skywork），并可轻松扩展以集成新模型。
- 活跃的社区：SGLang 是开源项目，背后拥有活跃的社区支持及行业应用案例。
SGLang 以其超高的速度著称。在服务吞吐量和延迟方面，它通常能显著优于其他前沿框架。了解更多。
docTR
docTR 是一个由 Mindee 开发并基于 Apache 2.0 许可发布的项目，旨在帮助开发者无需预备知识即可将 OCR 能力集成到应用程序中。
为了快速高效地提取文本信息，docTR 使用了两阶段方法：
- 首先，进行文本检测以定位单词。
- 然后，进行文本识别以确定单词中的所有字符。
检测与识别过程均由基于 PyTorch 编写的前沿模型完成。了解更多。
潜力项目聚焦
作为本系列的一部分，我们也会介绍那些正在考虑纳入 PyTorch 生态系统、且我们认为能够通过获得更多关注和贡献而受益的项目。本次关注的是 EIR 和 torchcvnn。
EIR
EIR 是一个基于 PyTorch 构建的综合深度学习框架，使研究人员和开发人员能够跨多种数据模态进行监督建模、序列生成、图像/数组生成和生存分析。EIR 擅长处理复杂数据类型，包括基因型、表格、序列、图像、数组和二进制输入。虽然它在基因组学和生物医学应用方面具有独特优势，但其对多样化数据类型的灵活处理能力使其能够应用于更广泛的行业。例如，EIR 的多模态方法可以将图像与设备读数关联（如检测不完美的硅片）、通过分析现场照片和操作日志来监测基础设施（如识别管道裂缝），或结合产品图像、描述和销售数字来提升零售洞察，从而增强制造缺陷检测等任务。这展示了 EIR 的多模态能力如何为众多行业创造价值。
该框架提供了一个高级且模块化的 API，减少了训练模型所需的样板代码和预处理工作，使用户能够专注于最终目标而非实现细节。如需了解更多信息并探索实用示例，请参阅文档。
主要功能包括：
- 多模态输入：无缝集成基因型、表格、序列、图像、数组和二进制数据。
- 多样的建模选项：利用上述任何输入模态进行监督学习、序列生成、图像/数组生成和生存分析。
- 扩展性：具备用于模型训练的自定义数据流处理能力。
- 可解释性：在进行监督学习和生存分析时内置了可解释性功能。
- 模型部署：仅需一条命令即可部署您训练好的任何模型，让您或其他用户可以通过 Web 服务与您的模型交互。
若要探索 EIR 并评估它如何提升您在多模态数据方面的工作，请查看：
- 安装：安装非常简单：
- pip install eir-dl
- 请参阅 README 获取更多信息。
- 探索教程：文档可在 eir.readthedocs.io 获取，示例如下：
- 贡献：请访问我们的 GitHub 代码库。
torchcvnn
torchcvnn 是一个帮助研究人员、开发人员和组织轻松实验复数神经网络 (CVNNs) 的库！在许多领域中，数据天然以实部-虚部的形式表示，例如遥感、核磁共振成像 (MRI) 等。这些领域将受益于直接的复数计算，从而在学习过程中让神经网络理解关键的物理特性。
torchcvnn 让您可以轻松获取：
- 针对遥感（SLC 和 ALOS2 格式）和 MRI 的标准数据集，适用于不同任务（分类、分割、重建、超分辨率）；
- 各种激活函数，既可以独立作用于实部/虚部，也可以充分利用复数表示的本质；
- 归一化层，包括 Trabelsi 等人 (2018) 提出的复数 BatchNorm、LayerNorm 和 RMSNorm；
- 如 Eilers 等人 (2023) 介绍的复数注意力层；
PyTorch 已经通过实现 Wirtinger 微积支持复数神经网络的优化。然而，要真正探索复数神经网络的能力，仍缺少一些核心构建块。torchcvnn 的目标就是填补这一空白，并提供一个帮助 PyTorch 用户深入挖掘复数神经网络领域的库。
torchcvnn 热忱欢迎各位为 torchcvnn 核心库 或 示例代码库 做出贡献，无论是发现 Bug、提出改进建议，还是参与源代码编写。所有组件均在项目文档中有所描述。torchcvnn 团队将于 2025 年 7 月在罗马参加 IJCNN 2025，届时将参加关于“复数和超复数神经网络”的专题会议。
如何加入 PyTorch 生态系统
如果您正在开发支持 PyTorch 社区的项目，欢迎申请加入生态系统。请在申请前查看 PyTorch 生态评审流程，确保您符合最低期望标准。
干杯！
PyTorch 生态工作组