torch.nn.utils.get_total_norm

torch.nn.utils.get_total_norm(tensors, norm_type=2.0, error_if_nonfinite=False, foreach=None)

计算张量迭代器的范数。

范数是针对各个张量的范数计算的，就好像各个张量的范数被连接成一个单一向量一样。

参数

• tensors (Iterable[Tensor] 或 Tensor) – 张量的迭代器或将被归一化的单个张量

• norm_type (float) – 使用的 p-范数的类型。可以是 'inf' 表示无穷范数。

• error_if_nonfinite (bool) – 如果为 True，则当 tensors 的总范数为 nan、inf 或 -inf 时抛出错误。默认值：False

• foreach (bool) – 使用更快的基于 foreach 的实现。如果为 None，则对 CUDA 和 CPU 原生张量使用 foreach 实现，并为其他设备类型静默回退到较慢的实现。默认值：None

返回

张量的总范数（视为单个向量）。

返回类型

Tensor