torch.nn.utils.clip_grads_with_norm_

torch.nn.utils.clip_grads_with_norm_(parameters, max_norm, total_norm, foreach=None)

根据预计算的总体范数和期望的最大范数，缩放参数迭代器的梯度。

梯度将通过以下计算进行缩放

$$grad = grad * \frac{max\_norm}{total\_norm + 1e-6}$$

梯度将在原地修改。

此函数与 torch.nn.utils.clip_grad_norm_() 等价，具有预计算的范数总和。

参数:

• 参数（可迭代[Tensor]或 Tensor）- 一个 Tensor 的可迭代对象或单个 Tensor，其梯度将被归一化

• max_norm (浮点数) – 梯度的最大范数

• total_norm (张量) – 用于剪切的梯度总范数

• foreach (布尔值) – 使用基于 foreach 的快速实现。如果 None ，则使用 CUDA 和 CPU 原生张量的 foreach 实现并静默回退到慢速实现。默认： None

返回值:

无。

返回类型:

无。