딥러닝 공부방

PWC-Net, CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume PDF, Optical Flow, Deqing Sun, Xiaodong Yang, Ming-Yu Liu, Jan Kautz, arXiv 2017 GIST 컴퓨터 비전 과제로 제출한 결과물 입니다. Summary 해당 논문은 Optical Flow를 prediction 하기 위한 딥러닝 모델입니다. 위 그림을 보면 빠른 running time, 적은 파라미터 수로 낮은 error를 달성하는 것을 살펴볼 수 있는데, 그 만큼 효과적인 모델을 제안합니다. 저자의 아이디어는 고전적인 optical flow 알고리즘의 세 가지 원칙을 CNN 모델에 적용하는 것입니다. 세 가지 원칙은 (1..

FlowNet, Learning Optical Flow with Convolutional Networks PDF, Optical Flow, Philipp, et al, arXiv 2015 Summary Optical Flow를 예측하기 위한 network. 기본적으로 두 이미지를 입력 받아서 optical flow를 예측하는데, 두 가지 architecture를 제안한다. FlowNetCorr는 두 개의 이미지로 부터 각각 feature를 뽑은 뒤에 correlayion layer를 통해 하나로 합쳐 준다. 좀 복잡한데 두 피쳐맵의 패치 값들을 내적해서 하나의 피쳐맵으로 쌓아 올리는 것으로 생각해보면 될 것 같다. refinement 내부 구조 인데 down sampling된 feature map을 원래..

밀집 옵티컬플로우 - 밀집 옵티컬 플로우는 모든 픽셀에 대해 옵티컬플로우를 계산하는 방법입니다. 주로 파네백 알고리즘(Farneback's algorithm)을 이용하여 구현하게 됩니다. 옵티컬 플로우에 대한 설명은 여기 포스팅을 참조할 수 있습니다. [파이썬 OpenCV] 영상의 모션 벡터 - 루카스 카나데 옵티컬 플로우 - cv2.calcOpticalFlowPyrLK 옵티컬플로우 - Optical flow 옵티컬플로우는 연속하는 두 프레임(영상)에서 카메라 또는 객체의 움직임에 의해 나타나는 객체의 이동 정보 패턴을 의미합니다. 픽셀이 어떻게 움직였는지를 화 deep-learning-study.tistory.com 밀집 옵티컬 플로우 계산 함수 - cv2.calcOpticalFlowFarneback ..

옵티컬플로우 - Optical flow 옵티컬플로우는 연속하는 두 프레임(영상)에서 카메라 또는 객체의 움직임에 의해 나타나는 객체의 이동 정보 패턴을 의미합니다. 픽셀이 어떻게 움직였는지를 화살표로 나타내고 있습니다. 옵티컬플로우 활용 분야 손떨림을 보정해서 동영상을 저장하는 용도, 동영상을 압축할 때도 움직임 정보를 잘 활용하면 적은 bit를 활용해서 화질이 좋은 동영상으로 압축하는 데에 이용할 수 있습니다. OpenCV 옵티컬플로우 계산 함수 (1) 루카스-카나데 알고리즘(Locas-Kanade algorithm) 루카스-카나데 알고리즘은 지정한 점들에 대해 옵티컬플로우를 계산하는 방법입니다. (주로) Sparse points에 대한 이동 벡터를 계산합니다. 특정 픽셀에서 옵티컬플로우 벡터를 계산합..