반응형
Contrastive Learning of Image Representations with Cross-Video Cycle-Consistency
PDF,
Video SSL
, Haiping Wu, Xiaolong Wang, arXiv 2021
Summary
VIdeo 도메인에 contrastive SSL 방법을 적용한 논문입니다.
기존 비디오 contrastive SSL 방법은 동일한 비디오 내의 frame를 positive로 정의하고, 다른 비디오 내의 frame을 negative로 정의했습니다. 그러다보니 다른 비디오 사이에 고양이나 테니스 선수가 존재해도 negative로 정의된다는 문제점이 발생합니다.
해당 논문은 서로 다른 video 내 frame이 동일한 객체를 나타낸다면 positive로 활용할 수 있도록 합니다. 이 방법을 구현하기 위하여 cycle consistency loss를 사용합니다. 즉, 기존의 동일 비디오 내 frame을 positive로 사용하는 contrastive loss와 cycle loss를 함께 사용하여 모델을 학습합니다.
Experiment
my github
Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch
공부 목적으로 논문을 리뷰하고 해당 논문 파이토치 재구현을 합니다. Contribute to Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch development by creating an account on GitHub.
github.com
반응형