[논문 읽기] Single Network Panoptic Segmentation for Street Scene Understanding(2019)

Single Network Panoptic Segmentation for Street Scene Understanding

 PDF, Panoptic Segmentation, Dann de Geus, Panagiotis Meletis, Gijs Dubbelman, arXiv 2019

 

Summary

 

 semantic branch와 instance branch로 구성된 single network를 사용하여 panoptic segmentation을 수행합니다.

 

 

 해당 논문은 (1) Inter-branch information exchange, (2) improved heuristics을 제안하여 이전 방법보다 성능을 향상시킵니다.

 

(1) Inter-branch information exchange

 

 Segmantic branch의 정보를 instance branch로 전달합니다. 왜 전달할까요??

 

 instance branch의 예측값은 thing prediction만을 포함하므로 semantic branch의 thing에 대한 예측값이 더 낫다고 설명합니다. 따라서 정보 손실이 발생하는데 이를 보상하기 위하여 다음의 방법을 사용합니다. semantic branch의 softmax이전 출력값을 nomalize하고 feature extractor의 normalized 된 feature와 concat를 합니다. 이후에 3x3 conv를 적용하고 이 출력값을 instance branch로 전달합니다. 이를 통해서 instance, semantic branch의 성능을 향상시킵니다.

 

(2) Advanced merging heuristics

 

 instance, semantic branch의 출력값을 merging하여 panoptic output을 생성합니다. semantic branch 출력값의 things를 stuff로 대체하고 thing은 instance의 출력값을 사용합니다.

 

Experiment

 

 multiple network에 비해 single이 prediction time이 훨씬 빠릅니다.

 

 

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch