딥러닝 공부방

MAST, A Memory-Augmented Self-Supervised Tracker PDF, Video SSL, Zihang Lai, Erika Lu, Weidi Xie, CVPR 2020 Summary self-supervised 방식으로 모델을 학습하여 video object segmentation task를 수행합니다. video frame이 진행될 수록 객체에 occlusion 등이 발생할 수 있어 error 가 축적됩니다. MAST는 reference frame을 여러개 사용하여 target과의 affinity matrix를 계산합니다. 여러 reference frame을 사용한다면 중간 frame에서 occlusion이 발생하였을 때의 위험을 감소시킬 수 있을 것입니다. 모델이 pixel-..

Self-supervised Learning for Video Correspondence Flow PDF, Video SSL, Zihang Lai, Weidi Xie, BMVC 2019 Summary Tracking Emerges by Colorizing VIdeos의 문제점을 개선한 논문입니다. Tracking Emerges by Colorizing Videos는 (1) 흑백 이미지를 입력으로 하여 모델을 학습시켰기 때문에 RGB 색상 채널 사이의 correlation을 포착하지 못합니다. 또한 (2) ground truth video frame의 pair로 학습을 하여 tracker drifting 문제가 발생합니다. 해당 논문은 위에서 언급한 문제점을 개선하기 위해 4가지 방법을 제안합니다. (1)..

Tracking Emerges by Colorizing Videos PDF, Video SSL, Carl Vondrick, Abhinav Shrivastava, Alireza Fathi, Sergio Guadarrama, Kevin Murphy, ECCV 2018 Summary Unlabeled Video 데이터의 색상을 활용하여 colorization 모델을 학습합니다. 흑백 frame에서 직접 색상을 예측하는 대신에 reference frame와 target frame 사이의 유사도를 계산한 후, reference frame의 색상을 copy하여 유사도를 사용해 target frame의 색상을 예측합니다. 비디오에서 색상은 일반적으로 temporally stable 합니다. 갑자기 불이 켜지거나 꺼지..