我们很高兴地宣布 ExecuTorch，这是我们全新的解决方案，在 Arm、Apple 和 Qualcomm Innovation Center 等行业领导者的支持下，可在移动和边缘设备上实现设备端推理功能。
作为 PyTorch Edge 对设备端 AI 堆栈和生态系统未来愿景的一部分，ExecuTorch 解决了设备端 AI 生态系统中的碎片化问题。它提供了一种设计，通过提供扩展点，可以无缝地集成第三方，从而在专用硬件上加速机器学习模型。我们的合作伙伴贡献了自定义委托实现，以优化其各自硬件平台上的模型推理执行。
我们创建了大量文档，提供了有关 ExecuTorch 架构、其高级组件、在 ExecuTorch 上运行的示例 ML 模型以及在各种硬件设备上导出和运行模型的端到端教程的更多详细信息。我们很高兴看到社区利用 ExecuTorch 构建的所有创新用例。
ExecuTorch 的主要组成部分
ExecuTorch 提供了一个紧凑的运行时，具有轻量级操作符注册表，涵盖 PyTorch 模型生态系统，并提供简化的路径在边缘设备上执行 PyTorch 程序。这些设备范围从手机到由我们的合作伙伴构建的特定委托驱动的嵌入式硬件。此外，ExecuTorch 附带一个软件开发工具包 (SDK) 和工具链，为 ML 开发人员提供符合人体工程学的用户体验，可以在一个 PyTorch 工作流中完成模型创作、训练和设备委托。这套工具使 ML 开发人员能够执行设备端模型分析和更好的 PyTorch 模型调试方法。
ExecuTorch 从头开始以可组合的方式架构，允许 ML 开发人员决定利用哪些组件以及在需要时扩展它们的入口点。这种设计为 ML 社区提供了以下优势
- 可移植性：兼容各种计算平台，从高端手机到高度受限的嵌入式系统和微控制器。
- 生产力：使开发人员能够使用相同的工具链和 SDK，从 PyTorch 模型创作和转换，到调试和部署到各种平台，从而提高生产力。
- 性能：通过轻量级运行时以及利用包括通用 CPU 和专用微处理器（如 NPU 和 DSP）在内的完整硬件功能的能力，为最终用户提供无缝且高性能的体验。
PyTorch Edge：从 PyTorch Mobile 到 ExecuTorch
将研究和生产环境拉近是 PyTorch 的一个基本目标。ML 工程师越来越多地使用 PyTorch 在高度动态和不断发展的环境中创作和部署机器学习模型，从服务器到手机和嵌入式硬件等边缘设备。
随着 AI 在增强现实 (AR)、虚拟现实 (VR)、混合现实 (MR)、移动、物联网和其他领域的日益普及，对可扩展、模块化并与 PyTorch 堆栈对齐的端到端设备端解决方案的需求不断增长。
PyTorch Edge 基于相同的基本原则，即通过低摩擦的开发和部署过程将各种 ML 模型（涵盖视觉、语音、NLP、翻译、排名、完整性和内容创建任务）部署到边缘设备，从而改进研究到生产。它提供了一个框架堆栈，涵盖了 PyTorch 社区关心的所有设备端用例。
PyTorch Edge 提供了核心组件的可移植性，这是到达具有不同硬件配置、性能和效率的各种设备所必需的。这种可移植性通过允许针对目标用例进行定制开发优化来实现，并通过定义良好的入口点、表示和工具将所有这些整合到一个繁荣的生态系统中，从而提高开发人员的生产力。
PyTorch Edge 是 PyTorch 设备端 AI 堆栈和生态系统的未来。我们很高兴看到社区在我们的行业合作伙伴委托支持下，利用 ExecuTorch 的设备端推理功能在移动和边缘设备上构建什么。
了解更多关于 PyTorch Edge 和 ExecuTorch 的信息.