ExecuTorch 中的内存规划检查

在 ExecuTorch 的内存规划 Pass 之后，内存分配信息存储在 ExportedProgram 的节点上。在此，我们展示一种旨在检查内存分配并可视化所有活动张量对象的工具。

用法

用户应在调用 to_executorch() 后添加此代码，它会将存储在节点上的内存分配信息写入文件路径 “memory_profile.json”。该文件与 Chrome 跟踪查看器兼容；有关解释结果的更多信息，请参见下文。

from executorch.util.activation_memory_profiler import generate_memory_trace
generate_memory_trace(
    executorch_program_manager=prog,
    chrome_trace_filename="memory_profile.json",
    enable_memory_offsets=True,
)

• prog 是 ExecuTorchProgramManager 的实例，由 to_executorch() 返回。

• 将 enable_memory_offsets 设置为 True 以显示每个张量在内存空间中的位置。

Chrome 跟踪

打开 Chrome 浏览器标签页，导航到 chrome://tracing/。上传生成的 .json 文件以查看。 MobileNet V2 模型示例

请注意，由于我们正在重新利用 Chrome 跟踪工具，因此在这种情况下，坐标轴的含义可能与您之前遇到的其他 Chrome 跟踪图不同

• 水平轴尽管以秒 (s) 标记，但实际上表示兆字节 (MB)。

• 垂直轴具有 2 级层次结构。第一级 “pid” 表示内存空间。对于 CPU，所有内容都分配在一个 “空间” 上；其他后端可能有多个。在第二级中，每行代表一个时间步。由于节点将按顺序执行，因此每个节点代表一个时间步，因此您将拥有与行数一样多的节点。

进一步阅读

• 内存规划