快捷键

结构化 ¶

class torch.nn.utils.prune.LnStructured(amount, n, dim=-1)[source][source] ¶

根据它们的 L n -范数剪枝张量中的(当前未剪枝)整个通道。

参数:
  • amount (int 或 float) – 要剪枝的通道数量。如果 float ,应在 0.0 和 1.0 之间,表示要剪枝的参数比例。如果 int ,则表示要剪枝的参数绝对数量。

  • n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅 torch.norm()p 参数的有效条目文档。

  • dim (int, 可选) – 定义要剪枝的通道的 dim 指数。默认:-1。

classmethod apply(module, name, amount, n, dim, importance_scores=None)[source][source]

动态添加剪枝和张量的重新参数化。

添加了前向预钩子,该钩子使动态剪枝和张量的重新参数化(基于原始张量和剪枝掩码)成为可能。

参数:
  • module (nn.Module) – 包含要剪枝的张量的模块

  • 名称(str)- 在 module 中参数名称,剪枝将在此参数上执行。

  • amount (int 或 float) – 要剪枝的参数数量。如果 float ,应在 0.0 和 1.0 之间,表示要剪枝的参数比例。如果 int ,则表示要剪枝的参数绝对数量。

  • n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅 torch.norm()p 参数的有效条目文档。

  • dim (int) – 定义剪枝通道的 dim 指数。

  • importance_scores (torch.Tensor) – 用于计算剪枝掩码的相同形状的重要性得分张量。该张量中的值表示正在剪枝的参数中对应元素的重要性。如果未指定或为 None,则将使用模块参数代替。

apply_mask(module)[source]

简单处理被剪枝的参数与生成的掩码之间的乘法。

从模块中获取掩码和原始张量,并返回剪枝后的张量版本。

参数:

module (nn.Module) – 包含要剪枝的张量的模块

返回值:

输入张量的修剪版本

返回类型:

pruned_tensor (torch.Tensor)

compute_mask(t, default_mask)[source][source]

计算并返回输入张量 t 的掩码。

从基础掩码 default_mask (如果张量尚未剪枝,则应为全 1 掩码)开始,通过在指定维度上使用最低 L n -范数将通道置零,生成应用于 default_mask 的掩码。

参数:
  • t (torch.Tensor) – 表示要剪枝的参数的张量

  • 默认掩码(torch.Tensor)- 基础掩码,来自之前的剪枝迭代,应用新掩码后需要遵守。与 t 维度相同。

返回值:

应应用于 t 的掩码,与 t 具有相同的维度

返回类型:

掩码(torch.Tensor)

引发:

IndexError - 如果 self.dim >= len(t.shape)

prune(t, default_mask=None, importance_scores=None)[source]

计算并返回输入张量的修剪版本 t .

根据指定的剪枝规则 compute_mask()

参数:
  • t (torch.Tensor) – 要剪枝的 tensor(与 default_mask 维度相同)。

  • importance_scores (torch.Tensor) – 重要性分数 tensor(与 t 形状相同),用于计算剪枝 t 的掩码。该 tensor 中的值表示正在剪枝的 t 中相应元素的重要性。如果未指定或为 None,则使用 tensor t 替代。

  • default_mask (torch.Tensor, 可选) – 前一次剪枝迭代的掩码,如果有的话。在确定剪枝应作用的 tensor 部分时需要考虑。如果为 None,则默认为全一的掩码。

返回值:

张量 t 的修剪版本。

remove(module)[源代码] ¶

从模块中移除修剪重新参数化。

被修剪的参数 name 将永久修剪,而参数 name+'_orig' 将从参数列表中移除。同样,缓冲区 name+'_mask' 也将从缓冲区中移除。

注意

自剪枝操作不可撤销或逆转!


© 版权所有 PyTorch 贡献者。

使用 Sphinx 构建,并使用 Read the Docs 提供的主题。

文档

PyTorch 的全面开发者文档

查看文档

教程

深入了解初学者和高级开发者的教程

查看教程

资源

查找开发资源并获得您的疑问解答

查看资源