ExecuTorch 运行时概述¶
本文讨论 ExecuTorch 运行时的设计，该运行时在智能手机、可穿戴设备和嵌入式设备等边缘设备上执行 ExecuTorch 程序文件。主要执行 API 的代码位于 executorch/runtime/executor/ 路径下。
在阅读本文档之前，我们建议您阅读 ExecuTorch 工作原理。
从最高层面来看，ExecuTorch 运行时负责
加载由模型 Lowering 过程中的
to_executorch()步骤生成的二进制.pte程序文件。执行实现 Lowered 模型的系列指令。
请注意，截至 2023 年末，ExecuTorch 运行时仅支持模型推理，尚不支持训练。
此图显示了导出和执行 ExecuTorch 程序的高层流程和所涉及的组件
运行时还负责
管理加载和执行期间使用的内存，可能跨越 SRAM 和 DRAM 等多个内存区域。
将诸如
"aten::add.out"之类的符号化操作符名称映射到实现这些操作符语义的具体 C++ 函数或内核。将模型的预定部分分派给后端委托进行加速。
可选地在加载和执行期间收集性能分析数据。
设计目标¶
ExecuTorch 运行时设计用于运行在各种边缘设备上，从现代智能手机 CPU 到资源受限的微控制器和 DSPs。它对将执行委托给一个或多个后端以利用特定于架构的优化和现代异构架构提供了头等支持。它足够小巧和可移植，可以直接在没有操作系统、动态内存或线程的裸金属嵌入式环境中运行。
低执行开销¶
内存¶
核心运行时库在不包含内核或后端构建时小于 50kB。
常量张量直接指向
.pte文件数据，避免数据复制。这些数据块的对齐方式可以在.pte文件创建时调整。后端委托可以选择在模型初始化后卸载其预编译数据，从而降低峰值内存使用。
可变张量的内存布局提前规划，并打包到一小组用户分配的缓冲区中，从而提供对内存位置的精细控制。这在具有异构内存层次结构的系统上特别有用，允许将数据放置到（例如）靠近将操作数据的核心的 SRAM 或 DRAM 中。
CPU¶
模型执行是对指令数组的简单循环，其中大多数是指向内核和后端委托的函数指针。这使得执行开销很小，每个操作的开销约为微秒到纳秒级。
操作（如“add”或“conv3d”）的实现可以针对特定目标系统进行完全自定义，而无需修改原始模型或生成的
.pte文件。
熟悉的 PyTorch 语义¶
ExecuTorch 是 PyTorch 堆栈的一等公民，并尽可能复用 API 和语义。
ExecuTorch 使用的 C++ 类型与核心 PyTorch 的
c10::和at::库中的相应类型源码兼容，ExecuTorch 提供aten_bridge用于在两者之间转换。这对于已经使用 PyTorch C++ 类型的项目可能会有所帮助。诸如
aten::add和aten::sigmoid之类的操作符在 ExecuTorch 和核心 PyTorch 之间的语义是相同的。ExecuTorch 提供测试框架以确保这一点，并帮助测试这些操作符未来的实现。
可移植的代码和架构¶
ExecuTorch 运行时在实现时考虑了可移植性，因此用户可以将其构建到各种目标系统上。
C++ 语言考量¶
代码兼容 C++17，以便与较旧的工具链一起使用。
运行时不使用异常或 RTTI，但也不排斥它们。
代码兼容 GCC 和 Clang，也已使用多种专有嵌入式工具链构建过。
代码仓库提供 CMake 构建系统，以便于集成。
操作系统考量¶
运行时不进行直接的系统调用。所有对内存、文件、日志和时钟的访问都通过运行时平台抽象层 (PAL) 以及注入的接口（如 DataLoader 和 MemoryAllocator）进行抽象。有关详细信息，请参阅运行时 API 参考。
应用程序可以通过 MemoryManager、MemoryAllocator、HierarchicalAllocator 和 DataLoader 类控制所有内存分配。核心运行时不直接调用 malloc() 或 new，也不调用像 std::vector 这样在底层进行分配的类型。这使得以下成为可能：
在没有堆的环境中运行，但如果需要仍可使用堆。
在模型加载和执行期间避免堆上的同步。
控制不同类型数据使用哪个内存区域。例如，一组可变张量可以位于 SRAM 中，而另一组位于 DRAM 中。
轻松监控运行时使用了多少内存。
但是，请注意，特定的内核或后端实现可能会使用任意的运行时或操作系统功能。用户应仔细查阅所使用的内核和后端库的文档。
线程考量¶
核心运行时不进行线程操作或锁定，也不使用线程局部变量。但是，它与更高层级的同步机制配合良好。
每个
Program实例是不可变的，因此是完全线程安全的。多个线程可以并发访问同一个Program实例。每个
Method实例是可变的但自包含的，因此是条件线程安全的。多个线程可以并发访问和执行独立的Method实例，但对单个实例的访问和执行必须串行化。
但是，请注意
在
Program::load_method()期间可能会读取两个全局表：内核注册表和后端注册表。实际上，这些表仅在进程/系统加载时修改，并且在第一个
Program加载之前实际处于冻结状态。但某些应用程序可能需要了解这些表，特别是如果在进程/系统加载后手动修改它们。
特定的内核或后端实现可能有其自身的线程限制。用户应仔细查阅所使用的内核和后端库的文档。
延伸阅读¶
有关 ExecuTorch 运行时的更多详细信息，请参阅
