[논문 읽기] FlowNet(2015), Learning Optical Flow with Convolutional Networks

FlowNet, Learning Optical Flow with Convolutional Networks

 PDF, Optical Flow, Philipp, et al, arXiv 2015

 

Summary

 

 Optical Flow를 예측하기 위한 network.

 

 기본적으로 두 이미지를 입력 받아서 optical flow를 예측하는데, 두 가지 architecture를 제안한다.

 

 

 FlowNetCorr는 두 개의 이미지로 부터 각각 feature를 뽑은 뒤에 correlayion layer를 통해 하나로 합쳐 준다.

 

 

 좀 복잡한데 두 피쳐맵의 패치 값들을 내적해서 하나의 피쳐맵으로 쌓아 올리는 것으로 생각해보면 될 것 같다.

 

 

 refinement 내부 구조 인데 down sampling된 feature map을 원래 이미지 크기로 복원하는 과정이다.

 

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch