[논문 읽기] Panoptic Feature Pyramid Networks(2019)

Panoptic Feature Pyramid Networks

 PDF, Panoptic Segmentation, Alexander, et al. arXiv 2019

 

Summary

 Panoptic segmentation task를 수행하기 위한 semantic, instance seg task에 대한 single network 입니다.

 

 semantic branch와 instance branch로부터 출력값을 얻어 heuristic하게 panoptic format을 만들어주는데,

 

 해당 논문은 Feature Pyramid Network(FPN)을 활용합니다.

 

 

 Instance branch는 Mask RCNN을 사용합니다.

 

 

 Semantic branch는 FPN의 multi-feature를 add하여 하나의 semantic map을 생성합니다.

 

 joint training을 하기 때문에 Loss는 instance, semantic loss가 합쳐집니다. 각 task의 loss에 어느 정도 weight를 주냐에 따라 성능이 달라집니다. 실험적으로 찾아야하는 값입니다.

 

 논문에서 재밌는 점은 Instance loss의 가중치를 0으로 두면 semantic task가 되는데, instance loss를 가해주면 semantic task의 성능이 향상됩니다. 반대도 마찬가지입니다. 이는 각 task에서 서로의 정보가 필요하다는 것을 나타냅니다.

 

Experiment

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch