[논문 읽기] Mining Better Samples for Contrastive Learning of Temporal Correspondence(2021)

Mining Better Samples for Contrastive Learning of Temporal Correspondence

 PDF, Video SSL, Sangryul Jeon, Dongbo Min, Seungryong Kim, Kwanghoon Sohn, CVPR 2021

 

Summary

 

 Contrastive learning을 활용하여 correspondence matching을 수행하는 video SSL 논문입니다.

 

 

 해당 논문은 matching uncertainty를 측정하기 위해 3가지 기준을 사용합니다. (1) pixel-level에서 Forward-backward consistency, (2) image-level에서 optimal transport, (3) video-level에서 temporal coherence 을 통합하여 사용합니다.

 

 

 또한 Contrastive learning을 활용하기 위하여 positive sample과 negative sample을 정의하는 방법을 소개합니다. negative sample을 정의할 때는 hardness를 정의할 수 있는 Dynamic Curriculum을 제안합니다.

 

Cheking consistency

 Forward-backward constraint가 만족하면 Q는 1 그렇지않으면 0의 값을 갖습니다. Forwad-backward consistency를 체크하기 위해 backward, forward에 대한 similarity score에 argmax oprator를 두 번 적용합니다.

 

 

Solving optimal transport problem

 위에서 계산한 similarity는 many-to-one matching problem을 갖고 있습니다. optiaml transport 알고리즘을 적용해 one-to-one problem으로 해결합니다.

 

 

 위 식은 T의 행과 열에 너무 큰 값을 갖지 않도록 제한하는 효과가 있습니다. optimal transport algoritm은 sinkhorn 알고리즘을 사용합니다.

 

Imposing temporal coherence constraint

 confidence score T가 배경이나 반복되는 패턴에의해 모호한 matching에 덜 민감하도록 영역을 제한합니다. local window 크기는 temporal distance에 따라 변경합니다.

 

 

Selection

 contrastive learning을 위해 positive sample을 정의합니다. 위에서 계싼한 confidence C 행렬에서 값이 1인 pixel을 positive로 정의합니다.

 

 

 

Semi-hard negatives

 많은 수의 easy negative는 hard negative의 영향을 감소시켜 성능에 악영향을 줄 수 있습니다. 이를 완화하기 위하여 negative의 hardness를 할당하고 하한과 상한을 제한합니다.

 

 

 상한은 0.9 고정값을 사용하고 하한은 Dynamic curriculum을 사용하여 정의합니다. positive correspondence의 분산에 반비례하여 하한값을 사용합니다.

 

 

Loss function

 

전체 알고리즘

 

 

Experiment

 

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch