调试后端委托¶
我们提供了一系列实用函数,以便用户深入了解在 to_backend()
阶段图模块发生了什么。
获取委托摘要¶
get_delegation_info()
方法提供了在 to_backend()
调用后模型发生情况的摘要
from executorch.devtools.backend_debug import get_delegation_info
from tabulate import tabulate
# ... After call to to_backend(), but before to_executorch()
graph_module = edge_manager.exported_program().graph_module
delegation_info = get_delegation_info(graph_module)
print(delegation_info.get_summary())
df = delegation_info.get_operator_delegation_dataframe()
print(tabulate(df, headers="keys", tablefmt="fancy_grid"))
示例打印输出
Total delegated subgraphs: 86
Number of delegated nodes: 473
Number of non-delegated nodes: 430
op_type |
委托图中的出现次数 |
非委托图中的出现次数 |
|
---|---|---|---|
0 |
aten__softmax_default |
12 |
0 |
1 |
aten_add_tensor |
37 |
0 |
2 |
aten_addmm_default |
48 |
0 |
3 |
aten_arange_start_step |
0 |
25 |
… |
|||
23 |
aten_view_copy_default |
170 |
48 |
… |
|||
26 |
总数 |
473 |
430 |
从表中可以看出,运算符 aten_view_copy_default
在委托图中出现了 170 次,在非委托图中出现了 48 次。用户可以使用此类信息进行调试。
可视化委托图¶
要查看更详细的视图,请使用 format_delegated_graph()
方法获取整个图的打印输出字符串,或使用 print_delegated_graph()
直接打印
from executorch.exir.backend.utils import format_delegated_graph
graph_module = edge_manager.exported_program().graph_module
print(format_delegated_graph(graph_module)) # or call print_delegated_graph(graph_module)
它将打印整个模型以及后端使用的子图。fx 提供的通用调试函数(如 print_tabular()
或 print_readable()
)只会显示 call_delegate
,但会隐藏后端使用的子图,而此函数会公开子图中的内容。
在下面的示例打印输出中,观察到 embedding
和 add
运算符被委托给 XNNPACK
,而 sub
运算符则没有。
%aten_unsqueeze_copy_default_22 : [num_users=1] = call_function[target=executorch.exir.dialects.edge._ops.aten.unsqueeze_copy.default](args = (%aten_arange_start_step_23, -2), kwargs = {})
%aten_unsqueeze_copy_default_23 : [num_users=1] = call_function[target=executorch.exir.dialects.edge._ops.aten.unsqueeze_copy.default](args = (%aten_arange_start_step_24, -1), kwargs = {})
%lowered_module_0 : [num_users=1] = get_attr[target=lowered_module_0]
backend_id: XnnpackBackend
lowered graph():
%aten_embedding_default : [num_users=1] = placeholder[target=aten_embedding_default]
%aten_embedding_default_1 : [num_users=1] = placeholder[target=aten_embedding_default_1]
%aten_add_tensor : [num_users=1] = call_function[target=executorch.exir.dialects.edge._ops.aten.add.Tensor](args = (%aten_embedding_default, %aten_embedding_default_1), kwargs = {})
return (aten_add_tensor,)
%executorch_call_delegate : [num_users=1] = call_function[target=torch.ops.higher_order.executorch_call_delegate](args = (%lowered_module_0, %aten_embedding_default, %aten_embedding_default_1), kwargs = {})
%aten_sub_tensor : [num_users=1] = call_function[target=executorch.exir.dialects.edge._ops.aten.sub.Tensor](args = (%aten_unsqueeze_copy_default, %aten_unsqueeze_copy_default_1), kwargs = {})