[논문 읽기] Panoptic Segmentation(2018)

Panoptic Segmentation

 PDF, Segmentation, Alexander Kirillov, Kaiming He, Ross Girshick, Carsten Rother, Piotr Dollar, arXiv 2018

 

Summary

 오랜만에 업로드하는 segmentation 논문 입니다 ㅎㅎ segmentation을 연구하게 될 것 같아서 앞으로 자주 업로드 할꺼 같네요

 

 해당 논문은 Panoptic Segmentation을 정의하고 metric을 제안합니다. 왜 새로운 task를 정의하는 걸까요?

 

 논문은 The proposed task requires generating a coherent scene segmentation that is rich and complete, an important step toward real-world vision systems 라고 설명합니다.

 

panoptic segmentation

 

 Panoptic segmentation은 semantic segmentation + instance segmentation이 합쳐진 것입니다.

 

 semantic segmentation은 pixel에 class를 label하고 각 instance 사이의 구분이 없습니다. (b)를 보면 모든 자동차라 파랑색으로 표현되고 각 자동차에 대한 구분이 없는 것을 확인할 수 있습니다.

 

 instance segmentation은 이미지내의 object를 검출합니다. 검출된 object는 class가 부여되진 않지만 개별 object에 대해 구분을 합니다.

 

 Panotic segmentation은 object의 class와 instance를 함께 구분합니다. 그러면 어떻게 레이블이 되어 있냐면 [class][instance id]로 레이블을 합니다.

 

PQ Computation

 논문에서 제안하는 metric 입니다.

 

 우선 predicted와 gt를 matching을 하는데 IoU가 50보다 큰 경우에 둘을 matching을 합니다.

 

 matching된 prediction과 gt를 기준으로 metric을 계산합니다.

 

 

 

 

 논문에서 정의한 metric이 얼마나 합리적인지 여러 실험을 해보는데 관심 있으신 분들은 해당 논문을 확인하면 좋을 것 같아요 ㅎㅎ

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch