a.reatain_grad()를 통해 gradient가 사라지는 것을 예방할 수 있다. 계산그래프에서 leaf node가 아닌 tensor의 gradient는 계산 후 날라가는데, retain_grad를 통해 날라가지 않고 붙잡을 수 있다. https://blog.paperspace.com/pytorch-hooks-gradient-clipping-debugging/ Debugging and Visualisation in PyTorch using Hooks In this post, we cover debugging and Visualisation in PyTorch. We go over PyTorch hooks and how to use them to debug our backpass, visualise ..