torch.autograd.graph.Node.register_prehook¶
- 抽象 Node.register_prehook(fn)[source][source] ¶
注册反向前钩。
每次计算与节点相关的梯度时都会调用钩子。钩子应具有以下签名:
hook(grad_outputs: Tuple[Tensor]) -> Tuple[Tensor] or None
钩子不应修改其参数,但可以可选地返回一个新的梯度,该梯度将替换
grad_outputs
。此函数返回一个句柄,该句柄具有一个
handle.remove()
方法,用于从模块中移除钩子。注意
请参阅向后钩子执行,以获取有关此钩子何时执行以及其执行相对于其他钩子的顺序的更多信息。
示例:
>>> a = torch.tensor([0., 0., 0.], requires_grad=True) >>> b = a.clone() >>> assert isinstance(b.grad_fn, torch.autograd.graph.Node) >>> handle = b.grad_fn.register_prehook(lambda gI: (gI[0] * 2,)) >>> b.sum().backward(retain_graph=True) >>> print(a.grad) tensor([2., 2., 2.]) >>> handle.remove() >>> a.grad = None >>> b.sum().backward(retain_graph=True) >>> print(a.grad) tensor([1., 1., 1.])
- 返回类型:
可移除句柄