内核库选择性构建¶

选择性构建是 ExecuTorch 上的一种构建模式，它使用模型元数据来指导 ExecuTorch 构建。这种构建模式包含在 CMake 上可用的构建工具 API。ExecuTorch 用户可以使用选择性构建 API 构建具有最小二进制大小的 ExecuTorch 运行时二进制文件，方法是仅包含模型所需的运算符。

本文档旨在通过列出可用的 API、提供高级架构概述并展示示例，帮助 ExecuTorch 用户更好地使用选择性构建。

预读：ExecuTorch 运行时的概述，ExecuTorch 的高级架构和组件

设计原则¶

为什么选择性构建？ 许多 ExecuTorch 使用案例都受到二进制大小的限制。选择性构建可以在不影响对目标模型支持的情况下减小 ExecuTorch 运行时的二进制大小。

我们选择什么？ 我们的核心 ExecuTorch 库大约有 50kB，没有运算符/内核或委托。如果我们链接了内核库（例如 ExecuTorch 内部可移植内核库），整个应用程序的二进制大小会激增，因为未使用的内核会注册到 ExecuTorch 运行时。选择性构建能够对内核库应用过滤器，因此只有实际使用的内核会被链接，从而减小应用程序的二进制大小。

我们如何选择？ 选择性构建提供 API，允许用户传入op info，这是从目标模型派生的运算符元数据。选择性构建工具将收集这些 op info 并为所有被链接的内核库构建一个过滤器。

高级架构¶

请注意，所有选择性构建工具都在构建时运行（区别于编译时或运行时）。因此，选择性构建工具只能访问用户输入或模型的静态数据。

基本流程如下

对于我们计划运行的每个模型，我们都从中提取 op info，方法是手动或通过 Python 工具。Op info 将写入 yaml 文件并在构建时生成。
一个op info 聚合器将收集这些模型 op info 并将它们合并到单个 op info yaml 文件中。
一个内核解析器会接收链接的内核库以及合并的 op info yaml 文件，然后决定将哪些内核注册到 ExecuTorch 运行时。

API¶

我们公开了一个 CMake 宏[gen_selected_ops](https://github.com/pytorch/executorch/blob/main/build/Codegen.cmake#L12)，允许用户指定 op info

gen_selected_ops(
  LIB_NAME         # the name of the selective build operator library to be generated
  OPS_SCHEMA_YAML  # path to a yaml file containing operators to be selected
  ROOT_OPS         # comma separated operator names to be selected
  INCLUDE_ALL_OPS  # boolean flag to include all operators
)

选择所有运算符¶

如果此输入设置为 true，则意味着我们正在注册从链接到应用程序的所有内核库中注册的所有内核。如果设置为 true，它实际上是关闭选择性构建模式。

从 schema yaml 中选择运算符¶

上下文：每个内核库都设计有与之关联的 yaml 文件。有关此 yaml 文件的更多信息，请参阅内核库概述。此 API 允许用户直接传入内核库的 schema yaml，有效地将库中的所有内核列入白名单以进行注册。

从运算符列表中选择根运算符¶

此 API 允许用户传入运算符名称列表。请注意，此 API 可以与上面的 API 结合使用，并且我们将从两个 API 输入的并集创建白名单。

示例演练¶

在 CMakeLists.txt 中，我们有以下逻辑

set(_kernel_lib)
if(SELECT_ALL_OPS)
  gen_selected_ops("" "" "${SELECT_ALL_OPS}")
elseif(SELECT_OPS_LIST)
  gen_selected_ops("" "${SELECT_OPS_LIST}" "")
elseif(SELECT_OPS_YAML)
 set(_custom_ops_yaml ${EXECUTORCH_ROOT}/examples/portable/custom_ops/custom_ops.yaml)
  gen_selected_ops("${_custom_ops_yaml}" "" "")
endif()

然后在调用 CMake 时，我们可以执行以下操作

cmake -D… -DSELECT_OPS_LIST="aten::add.out,aten::mm.out”

或者

cmake -D… -DSELECT_OPS_YAML=ON

从运算符名称列表或内核库的 schema yaml 中选择。