[논문 읽기] CutMix(2019), Regularization Strategy to Train Strong Classifiers with Localizable Features

 안녕하세요, 오늘 읽은 논문은 CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features 입니다.

 

 CutMix는 모델이 객체의 차이를 식별할 수 있는 부분에 집중하지 않고, 덜 구별되는 부분 및 이미지의 전체적인 구역을 보고 학습도록 하여 일반화와 localization 성능을 높이는 방법입니다. 또한 train set과 test set의 분포가 다른 경우를 의미하는 OOD(out of distribution)와 이미지가 가려진 sample, adversarial sample에서의 robustness도 좋은 성능을 나타냅니다.

 

 

 다른 augmentation 기법과 비교한 표입니다. CutMix는 classification, localization, detection 세가지 task에 좋은 성능을 나타내고 있습니다.

 

CutMix

CutMix는 이미지의 부분 영역을 다른 이미지의 부분영역으로 대체합니다.

 

original image

cutmix

 

 

 CutMix는 우선 두 개의 이미지를 선택합니다. 그 이후에 람다를 균일 분포(0,1)에서 sample 합니다. 람다는 부분 영역과 전체 영역의 비율을 조절하는 파라미터 입니다. 

이미지의 부분 영역 (r_x, r_y, r_w, r_h)을 선택하기 위해 r_x와 r_y는 균일 분포(0,W), (0,H)에서 sample합니다. r_w와 r_h는 위의 람다와 관련된 식으로 계산합니다.

 

 하나의 이미지에서 계산된 부분 영역은 제거하고, 제거된 영역을 다른 이미지의 부분 영역으로 대체합니다. 그리고 람다를 아래 식으로 다시 계산합니다.

 

 다시 계산한 람다를 traget label을 조정하는데 사용합니다.

 

 

 CutMix로 생성한 이미지로 학습한 신경망을 CAM으로 확인한 결과입니다. 모델이 이미지의 특정 부부만을 보고 판단하는 것이아니라 전체적인 영역을 보고 판단합니다.

 

 

 CutMix로 학습한 PyramidNet과 ResNet이 기존 모델보다 좋은 성능을 나타내고 있습니다.

 

Performance

---

참고자료

[1] https://arxiv.org/abs/1905.04899