快捷方式

torch.nn.utils.clip_grads_with_norm_

torch.nn.utils.clip_grads_with_norm_(parameters, max_norm, total_norm, foreach=None)[source]

根据预先计算的总范数和期望的最大范数,缩放参数迭代器的梯度。

梯度将通过以下计算进行缩放

grad=gradmax_normtotal_norm+1e6grad = grad * \frac{max\_norm}{total\_norm + 1e-6}

梯度会被就地修改。

此函数等效于预先计算总范数的 torch.nn.utils.clip_grad_norm_()

参数
  • parameters (Iterable[Tensor] 或 Tensor) – 张量迭代器或将要进行梯度归一化的单个张量

  • max_norm (float) – 梯度的最大范数

  • total_norm (Tensor) – 用于裁剪的梯度的总范数

  • foreach (bool) – 使用更快的基于 foreach 的实现。如果为 None,则对 CUDA 和 CPU 原生张量使用 foreach 实现,并为其他设备类型静默回退到较慢的实现。默认值:None

返回值

None

返回类型

None

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得您的问题解答

查看资源