[PyTorch] Tensor.retain_grad()

 

a.reatain_grad()를 통해 gradient가 사라지는 것을 예방할 수 있다.

계산그래프에서 leaf node가 아닌 tensor의 gradient는 계산 후 날라가는데, retain_grad를 통해 날라가지 않고 붙잡을 수 있다.

 

https://blog.paperspace.com/pytorch-hooks-gradient-clipping-debugging/

Debugging and Visualisation in PyTorch using Hooks