반응형
PseudoSeg, Designing Pseudo Labels for Semantic Segmentation(2020)
semi segmentation 논문.
pixel label이 존재하면, 이미지에 weak augmentation을 준 뒤 모델로 전달하여 얻은 prediction과 gt사이의 cross entropy loss를 계산.
unlabeled image에 대해서는 strong augmentation을 가한뒤에 얻은 prediction과 pseudo label 사이의 cross entropy를 계산한다.
그러면 pseudo label을 어떻게 얻을까?
grad-CAM과 decode의 출력값을 활용한다.
grad-CAM은 prediction에 높은 영향력이 있는 region을 검출하는데, 이는 pseudo label을 생성하는데 적합하지 않다. 따라서 region 사이의 similarity를 기준으로 weighted sum을 한다.
여기에는 학습가능한 파라미터가 존재하므로 이를 학습하기 위한 loss가 따로 존재한다. gt와 비교를 통해 학습.
위를 self-attention grad-CAM(SGC)라고 하는데, SGC로 얻은 map과 decoder의 출력값과 fusion해 refinement한다.
over-confidence를 방지하기 위하여 Norm에 prediction과 m을 둘다 넣어줌.
이렇게 얻은 map을 pseudo label로 활용한다.
반응형