随机结构化 ¶
- class torch.nn.utils.prune.RandomStructured(amount, dim=- 1)[source][source]¶
随机剪枝整个(当前未剪枝的)张量中的通道。
- 参数:
amount(int 或 float)- 要修剪的参数数量。如果
float
,应在 0.0 和 1.0 之间,表示要修剪的参数比例。如果int
,表示要修剪的参数的绝对数量。dim(int,可选)- 定义要剪枝的通道的 dim 索引。默认:-1。
- @classmethod apply(module, name, amount, dim=- 1)[source][source] ¶
动态添加剪枝和张量的重新参数化。
添加了前向预钩子,该钩子使动态剪枝和张量的重新参数化(基于原始张量和剪枝掩码)成为可能。
- 参数:
module (nn.Module) – 包含要剪枝的张量的模块
名称(str)- 在
module
中参数名称,剪枝将在此参数上执行。amount(int 或 float)- 要修剪的参数数量。如果
float
,应在 0.0 和 1.0 之间,表示要修剪的参数比例。如果int
,表示要修剪的参数的绝对数量。dim(int,可选)- 定义要剪枝的通道的 dim 索引。默认:-1。
- apply_mask(module)[source]¶
简单处理被剪枝的参数与生成的掩码之间的乘法。
从模块中获取掩码和原始张量,并返回剪枝后的张量版本。
- 参数:
module (nn.Module) – 包含要剪枝的张量的模块
- 返回值:
输入张量的修剪版本
- 返回类型:
pruned_tensor (torch.Tensor)
- compute_mask(t, default_mask)[source][source]¶
计算并返回输入张量
t
的掩码。从基础掩码
default_mask
(如果张量尚未剪枝,则应为全 1 掩码)开始,生成一个随机掩码,并将其应用于default_mask
的顶部,通过随机将通道置零来指定张量的 dim。- 参数:
t (torch.Tensor) – 表示要剪枝的参数的张量
default_mask (torch.Tensor) – 前几次剪枝迭代的基础掩码,在应用新掩码后需要遵守。与
t
具有相同的维度。
- 返回值:
应应用于
t
的掩码,与t
具有相同的维度- 返回类型:
掩码(torch.Tensor)
- 引发:
IndexError – 如果
self.dim >= len(t.shape)
- prune(t, default_mask=None, importance_scores=None)[source]¶
计算并返回输入张量的修剪版本
t
.根据指定的剪枝规则
compute_mask()
。- 参数:
t (torch.Tensor) – 要剪枝的 tensor(与
default_mask
维度相同)。importance_scores (torch.Tensor) – 重要性分数 tensor(与
t
形状相同),用于计算剪枝t
的掩码。该 tensor 中的值表示正在剪枝的t
中相应元素的重要性。如果未指定或为 None,则使用 tensort
替代。default_mask (torch.Tensor, 可选) – 前一次剪枝迭代的掩码,如果有的话。在确定剪枝应作用的 tensor 部分时需要考虑。如果为 None,则默认为全一的掩码。
- 返回值:
张量
t
的修剪版本。
- remove(module)[源代码] ¶
从模块中移除修剪重新参数化。
被修剪的参数
name
将永久修剪,而参数name+'_orig'
将从参数列表中移除。同样,缓冲区name+'_mask'
也将从缓冲区中移除。注意
自剪枝操作不可撤销或逆转!