torch.jit.trace¶
- torch.jit.trace(func, example_inputs=None, optimize=None, check_trace=True, check_inputs=None, check_tolerance=1e-05, strict=True, _force_outplace=False, _module_class=None, _compilation_unit=<torch.jit.CompilationUnit object>, example_kwarg_inputs=None, _store_inputs=True)[源代码][源代码]¶
跟踪函数并返回一个可执行文件或
ScriptFunction
,它将使用即时编译进行优化。跟踪非常适用于仅对
Tensor
和Tensor
的列表、字典和元组进行操作的代码。使用 torch.jit.trace 和 torch.jit.trace_module,您可以将现有模块或 Python 函数转换为 TorchScript
ScriptFunction
或ScriptModule
。您必须提供示例输入,并且我们运行该函数,记录对所有张量执行的操作。独立函数的生成记录会产生 ScriptFunction。
nn.Module.forward 或 nn.Module 的生成记录会产生 ScriptModule。
此模块还包含原始模块拥有的任何参数。
警告
跟踪仅正确记录不依赖于数据(例如,在张量中没有数据条件语句)并且没有任何未跟踪的外部依赖项(例如,执行输入/输出或访问全局变量)的函数和模块。跟踪仅记录在给定张量上运行给定函数时完成的操作。因此,返回的 ScriptModule 将始终对任何输入运行相同的跟踪图。当您的模块预期根据输入和/或模块状态运行不同的操作集时,这有一些重要的含义。例如,
跟踪不会记录任何控制流,如 if 语句或循环。当此控制流在您的模块中是恒定的时,这很好,并且它通常内联控制流决策。但有时控制流实际上是模型本身的一部分。例如,循环神经网络是对输入序列(可能是动态长度)的循环。
在返回的
ScriptModule
中,在training
和eval
模式下具有不同行为的操作将始终表现得好像它处于跟踪期间的模式,无论 ScriptModule 处于哪种模式。
在这些情况下,跟踪将不合适,而
脚本化
是更好的选择。如果您跟踪此类模型,您可能会在后续模型调用中静默地获得不正确的结果。当执行可能导致生成不正确跟踪的操作时,跟踪器将尝试发出警告。- 参数
func (可调用对象 或 torch.nn.Module) – 将使用 example_inputs 运行的 Python 函数或 torch.nn.Module。func 参数和返回值必须是张量或(可能嵌套的)包含张量的元组。当模块传递给 torch.jit.trace 时,仅运行和跟踪
forward
方法(有关详细信息,请参阅torch.jit.trace
)。- 关键字参数
example_inputs (元组 或 torch.Tensor 或 None, 可选) – 将在跟踪时传递给函数的示例输入元组。默认值:
None
。应指定此参数或example_kwarg_inputs
。假设跟踪操作支持这些类型和形状,则生成的跟踪可以使用不同类型和形状的输入运行。example_inputs 也可能是一个张量,在这种情况下,它会自动包装在一个元组中。当值为 None 时,应指定example_kwarg_inputs
。check_trace (
bool
, 可选) – 检查通过跟踪代码运行的相同输入是否产生相同的输出。默认值:True
。例如,如果您的网络包含非确定性操作,或者您确定网络是正确的,即使检查器失败,您可能需要禁用此选项。check_inputs (列表 的 元组, 可选) – 应用于对照预期检查跟踪的输入参数元组列表。每个元组等效于一组将在
example_inputs
中指定的输入参数。为了获得最佳结果,请传入一组检查输入,这些输入代表您期望网络看到的输入形状和类型空间。如果未指定,则原始example_inputs
用于检查check_tolerance (float, 可选) – 在检查器过程中使用的浮点比较容差。这可用于在已知原因(例如运算符融合)导致结果在数值上发散的情况下放宽检查器的严格性。
strict (
bool
, 可选) – 在严格模式下运行跟踪器,或者不运行(默认值:True
)。仅当您希望跟踪器记录您的可变容器类型(当前为list
/dict
)并且您确定您在问题中使用的容器是constant
结构并且不被用作控制流(if、for)条件时,才关闭此选项。example_kwarg_inputs (dict, 可选) – 此参数是示例输入的关键字参数包,将在跟踪时传递给函数。默认值:
None
。应指定此参数或example_inputs
。字典将通过跟踪函数的参数名称进行解包。如果字典的键与跟踪函数的参数名称不匹配,则会引发运行时异常。
- 返回
如果 func 是 nn.Module 或 nn.Module 的
forward
,trace 返回一个ScriptModule
对象,该对象具有一个包含跟踪代码的forward
方法。返回的 ScriptModule 将具有与原始nn.Module
相同的子模块和参数集。如果func
是一个独立函数,则trace
返回 ScriptFunction。
示例(跟踪函数)
import torch def foo(x, y): return 2 * x + y # Run `foo` with the provided inputs and record the tensor operations traced_foo = torch.jit.trace(foo, (torch.rand(3), torch.rand(3))) # `traced_foo` can now be run with the TorchScript interpreter or saved # and loaded in a Python-free environment
示例(跟踪现有模块)
import torch import torch.nn as nn class Net(nn.Module): def __init__(self) -> None: super().__init__() self.conv = nn.Conv2d(1, 1, 3) def forward(self, x): return self.conv(x) n = Net() example_weight = torch.rand(1, 1, 3, 3) example_forward_input = torch.rand(1, 1, 3, 3) # Trace a specific method and construct `ScriptModule` with # a single `forward` method module = torch.jit.trace(n.forward, example_forward_input) # Trace a module (implicitly traces `forward`) and construct a # `ScriptModule` with a single `forward` method module = torch.jit.trace(n, example_forward_input)