使用 XNNPACK 后端构建和运行 ExecuTorch¶
以下教程将使您熟悉如何利用 ExecuTorch XNNPACK 委托来加速您的 ML 模型，使用 CPU 硬件。它将介绍如何将模型导出和序列化为二进制文件，以定位 XNNPACK 委托后端并在支持的目标平台上运行模型。为了快速入门，请使用 ExecuTorch 存储库中的脚本，其中包含有关导出和生成二进制文件的说明，这些文件用于演示此流程的几个示例模型。
在本教程中，您将学习如何导出 XNNPACK 降低的模型并在目标平台上运行它
将模型降低到 XNNPACK¶
import torch
import torchvision.models as models
from torch.export import export, ExportedProgram
from torchvision.models.mobilenetv2 import MobileNet_V2_Weights
from executorch.backends.xnnpack.partition.xnnpack_partitioner import XnnpackPartitioner
from executorch.exir import EdgeProgramManager, ExecutorchProgramManager, to_edge_transform_and_lower
from executorch.exir.backend.backend_api import to_backend
mobilenet_v2 = models.mobilenetv2.mobilenet_v2(weights=MobileNet_V2_Weights.DEFAULT).eval()
sample_inputs = (torch.randn(1, 3, 224, 224), )
exported_program: ExportedProgram = export(mobilenet_v2, sample_inputs)
edge: EdgeProgramManager = to_edge_transform_and_lower(
exported_program,
partitioner=[XnnpackPartitioner()],
)
我们将使用从 TorchVision 库下载的 MobileNetV2 预训练模型来完成此示例。将模型降低的流程从导出模型 to_edge 开始。我们使用 XnnpackPartitioner 调用 to_backend api。分区器会识别适合 XNNPACK 后端委托使用的子图。之后，将使用 XNNPACK 委托 flatbuffer 架构序列化识别的子图，并将每个子图替换为对 XNNPACK 委托的调用。
>>> print(edge.exported_program().graph_module)
GraphModule(
(lowered_module_0): LoweredBackendModule()
(lowered_module_1): LoweredBackendModule()
)
def forward(self, b_features_0_1_num_batches_tracked, ..., x):
lowered_module_0 = self.lowered_module_0
lowered_module_1 = self.lowered_module_1
executorch_call_delegate_1 = torch.ops.higher_order.executorch_call_delegate(lowered_module_1, x); lowered_module_1 = x = None
getitem_53 = executorch_call_delegate_1[0]; executorch_call_delegate_1 = None
aten_view_copy_default = executorch_exir_dialects_edge__ops_aten_view_copy_default(getitem_53, [1, 1280]); getitem_53 = None
aten_clone_default = executorch_exir_dialects_edge__ops_aten_clone_default(aten_view_copy_default); aten_view_copy_default = None
executorch_call_delegate = torch.ops.higher_order.executorch_call_delegate(lowered_module_0, aten_clone_default); lowered_module_0 = aten_clone_default = None
getitem_52 = executorch_call_delegate[0]; executorch_call_delegate = None
return (getitem_52,)
我们在降低后打印图，以显示插入用于调用 XNNPACK 委托的新节点。委托给 XNNPACK 的子图是每个调用站点上的第一个参数。可以观察到，大多数 convolution-relu-add 块和 linear 块能够委托给 XNNPACK。我们还可以看到无法降低到 XNNPACK 委托的运算符，例如 clone 和 view_copy。
exec_prog = edge.to_executorch()
with open("xnnpack_mobilenetv2.pte", "wb") as file:
exec_prog.write_to_file(file)
在降低到 XNNPACK 程序之后，我们可以将其准备用于 executorch 并将模型保存为 .pte 文件。 .pte 是一种存储序列化 ExecuTorch 图的二进制格式。
将量化模型降低到 XNNPACK¶
XNNPACK 委托还可以执行对称量化的模型。要了解量化流程并学习如何量化模型，请参阅 自定义量化 说明。出于本教程的目的，我们将利用方便地添加到 executorch/executorch/examples 文件夹中的 quantize() python 辅助函数。
from torch.export import export_for_training
from executorch.exir import EdgeCompileConfig, to_edge_transform_and_lower
mobilenet_v2 = models.mobilenetv2.mobilenet_v2(weights=MobileNet_V2_Weights.DEFAULT).eval()
sample_inputs = (torch.randn(1, 3, 224, 224), )
mobilenet_v2 = export_for_training(mobilenet_v2, sample_inputs).module() # 2-stage export for quantization path
from torch.ao.quantization.quantize_pt2e import convert_pt2e, prepare_pt2e
from torch.ao.quantization.quantizer.xnnpack_quantizer import (
get_symmetric_quantization_config,
XNNPACKQuantizer,
)
def quantize(model, example_inputs):
"""This is the official recommended flow for quantization in pytorch 2.0 export"""
print(f"Original model: {model}")
quantizer = XNNPACKQuantizer()
# if we set is_per_channel to True, we also need to add out_variant of quantize_per_channel/dequantize_per_channel
operator_config = get_symmetric_quantization_config(is_per_channel=False)
quantizer.set_global(operator_config)
m = prepare_pt2e(model, quantizer)
# calibration
m(*example_inputs)
m = convert_pt2e(m)
print(f"Quantized model: {m}")
# make sure we can export to flat buffer
return m
quantized_mobilenetv2 = quantize(mobilenet_v2, sample_inputs)
量化需要进行两阶段导出。首先，我们使用 export_for_training API 在将模型提供给 quantize 实用程序函数之前捕获模型。在执行量化步骤后，我们现在可以利用 XNNPACK 委托来降低量化导出的模型图。从这里开始，该过程与将非量化模型降低到 XNNPACK 的过程相同。
# Continued from earlier...
edge = to_edge_transform_and_lower(
export(quantized_mobilenetv2, sample_inputs),
compile_config=EdgeCompileConfig(_check_ir_validity=False),
partitioner=[XnnpackPartitioner()]
)
exec_prog = edge.to_executorch()
with open("qs8_xnnpack_mobilenetv2.pte", "wb") as file:
exec_prog.write_to_file(file)
使用 aot_compiler.py 脚本降低¶
我们还提供了一个脚本，用于快速降低和导出一些示例模型。您可以运行该脚本以生成降低的 fp32 和量化模型。此脚本仅用于方便起见，它执行与前两节中列出的步骤相同的步骤。
python -m examples.xnnpack.aot_compiler --model_name="mv2" --quantize --delegate
请注意上面的示例中：
-—model_name指定要使用的模型-—quantize标志控制是否应该量化模型-—delegate标志控制我们是否尝试将图的一部分降低到 XNNPACK 委托。
生成的模型文件将被命名为 [model_name]_xnnpack_[qs8/fp32].pte，具体取决于提供的参数。
使用 CMake 运行 XNNPACK 模型¶
导出 XNNPACK 委托模型后，我们现在可以使用 CMake 尝试使用示例输入运行它。我们可以构建和使用 xnn_executor_runner，它是一个用于 ExecuTorch 运行时和 XNNPACK 后端的示例包装器。我们首先从配置 CMake 构建开始，如下所示
# cd to the root of executorch repo
cd executorch
# Get a clean cmake-out directory
rm -rf cmake-out
mkdir cmake-out
# Configure cmake
cmake \
-DCMAKE_INSTALL_PREFIX=cmake-out \
-DCMAKE_BUILD_TYPE=Release \
-DEXECUTORCH_BUILD_EXTENSION_DATA_LOADER=ON \
-DEXECUTORCH_BUILD_EXTENSION_MODULE=ON \
-DEXECUTORCH_BUILD_EXTENSION_TENSOR=ON \
-DEXECUTORCH_BUILD_XNNPACK=ON \
-DEXECUTORCH_ENABLE_LOGGING=ON \
-DPYTHON_EXECUTABLE=python \
-Bcmake-out .
然后，您可以使用以下命令构建运行时组件
cmake --build cmake-out -j9 --target install --config Release
现在您应该能够在 ./cmake-out/backends/xnnpack/xnn_executor_runner 处找到构建的可执行文件，您可以使用生成的模型运行可执行文件，如下所示
./cmake-out/backends/xnnpack/xnn_executor_runner --model_path=./mv2_xnnpack_fp32.pte
# or to run the quantized variant
./cmake-out/backends/xnnpack/xnn_executor_runner --model_path=./mv2_xnnpack_q8.pte
