[논문 읽기] DetCo(2021), Unsupervised Contrastive Learning for Object Detection

DetCo: Unsupervised Contrastive Learning for Object Detection

 PDF, Object Detection SSL, Enze Xie, Jian Ding, Wenhai, Xiohang Zhan, ICCV 2021

 

Summary

 

 DetCo는 Object Detection을 위한 SSL 방법입니다.

 

 

 이전의 OD SSL 방법(DenseCL, InsLoc, PatchReID)은 detection-friendly pretext task를 위해 설계되어 OD에서 성능은 뛰어나지만 classification에서의 성능은 오히려 감소합니다.

 

 논문에서 제안하는 DetCO는 Detection, Classification 두 task에서 높은 성능을 보이도록 pretext를 설계합니다. 이를 위해 MoCOv2를 기반으로 설계하며 (1) Multi-level Supervision, (2) Global and Local Contrastive Learning을 제안합니다.

 

 

 DetCo는 아래의 loss function을 사용합니다.

 

 

(1) Multi-level Supervision

 전통적인 OD 모델은 multi-scale 정보를 혼합하는 FPN 구조를 사용합니다. 이에 영감을 받아 DetCo도 multi-scale에서 feature map을 추출하여 loss function에 사용합니다.

 

 

 

 

 

 4개의 feature map으로부터 특징을 추출하여 Loss를 계산하는데 각 level마다 가중치를 다르게 설정합니다. PSPNet으로부터 영감을 받아 shallow layer의 가중치는 deep layer보다 낮게 설정합니다.

 

(2) Global and Local Contrastive Learning

 Global과 Local Contrastive Learning을 적용하여 image-level representation과 instance-level representation을 함께 향상시킵니다. 이미지를 9개 patch로 짤라 local patch를 만들고 encoder에 전달하여 9개의 local feature를 얻습니다. 이 feature들은 concat하여 MLP로 전달하여 하나의 feature representation을 얻습니다. 이 feature representation을 사용하여 global <-> local contrastive loss와 local <-> local contrastive loss를 계산합니다.

 

 

 

Experiment

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch