内核库选择性构建¶

选择性构建 是 ExecuTorch 上的一种构建模式，它使用模型元数据来指导 ExecuTorch 构建。此构建模式包含 CMake 上可用的构建工具 API。ExecuTorch 用户可以使用选择性构建 API 来构建具有最小二进制大小的 ExecuTorch 运行时二进制文件，方法是仅包含模型所需的运算符。

本文档旨在通过列出可用的 API、提供高层架构概述和展示示例，帮助 ExecuTorch 用户更好地使用选择性构建。

预读: ExecuTorch 运行时概述, ExecuTorch 的高层架构和组件

设计原则¶

为什么选择性构建？ 许多 ExecuTorch 用例都受到二进制大小的限制。选择性构建可以在不影响对目标模型支持的情况下，减小 ExecuTorch 运行时的二进制大小。

我们选择什么？ 我们的核心 ExecuTorch 库大约为 50kB，不包含运算符/内核或委托。如果我们链接内核库（例如 ExecuTorch 内部可移植内核库），由于未使用的内核被注册到 ExecuTorch 运行时中，整个应用程序的二进制大小会激增。选择性构建能够对内核库应用过滤器，以便只链接实际使用的内核，从而减小应用程序的二进制大小。

我们如何选择？ 选择性构建提供 API，允许用户传入操作信息，即从目标模型导出的运算符元数据。选择性构建工具将收集这些操作信息，并为所有链接的内核库构建过滤器。

高层架构¶

请注意，所有选择性构建工具都在构建时运行（与编译时或运行时区分开）。因此，选择性构建工具只能访问来自用户输入或模型的静态数据。

基本流程如下所示

对于我们计划运行的每个模型，我们从中提取操作信息，可以通过手动或通过 Python 工具进行。操作信息将被写入 yaml 文件并在构建时生成。
操作信息聚合器 将收集这些模型操作信息，并将它们合并到一个操作信息 yaml 文件中。
内核解析器 接收链接的内核库以及合并的操作信息 yaml 文件，然后决定将哪些内核注册到 ExecuTorch 运行时中。

API¶

我们公开了一个 CMake 宏 [gen_selected_ops](https://github.com/pytorch/executorch/blob/main/build/Codegen.cmake#L12)，允许用户指定操作信息

gen_selected_ops(
  LIB_NAME         # the name of the selective build operator library to be generated
  OPS_SCHEMA_YAML  # path to a yaml file containing operators to be selected
  ROOT_OPS         # comma separated operator names to be selected
  INCLUDE_ALL_OPS  # boolean flag to include all operators
)

选择所有操作¶

如果此输入设置为 true，则表示我们将注册从所有链接到应用程序的内核库中的所有内核。如果设置为 true，则实际上关闭了选择性构建模式。

从模式 yaml 中选择操作¶

背景：每个内核库都设计为具有与之关联的 yaml 文件。有关此 yaml 文件的更多信息，请参阅内核库概述。此 API 允许用户直接传入内核库的模式 yaml，从而有效地允许注册库中的所有内核。

从运算符列表中选择根操作¶

此 API 允许用户传入运算符名称列表。请注意，此 API 可以与上面的 API 结合使用，我们将从两个 API 输入的并集中创建一个允许列表。

示例演练¶

在 CMakeLists.txt 中，我们有以下逻辑

set(_kernel_lib)
if(SELECT_ALL_OPS)
  gen_selected_ops("" "" "${SELECT_ALL_OPS}")
elseif(SELECT_OPS_LIST)
  gen_selected_ops("" "${SELECT_OPS_LIST}" "")
elseif(SELECT_OPS_YAML)
 set(_custom_ops_yaml ${EXECUTORCH_ROOT}/examples/portable/custom_ops/custom_ops.yaml)
  gen_selected_ops("${_custom_ops_yaml}" "" "")
endif()

然后在调用 CMake 时，我们可以执行

cmake -D… -DSELECT_OPS_LIST="aten::add.out,aten::mm.out”

或

cmake -D… -DSELECT_OPS_YAML=ON

从运算符名称列表或内核库的模式 yaml 中进行选择。