[논문 읽기] Object-Contextual Representations for Semantic Segmentation(2019)

Object-Contextual Representations for Semantic Segmentation

 PDF, Semantic Segmentation, Yuhui et al, arXiv 2019

 

Summary

 segmentation에서 pixel의 class는 pixel이 위치한 object class 입니다. object region 정보를 활용해서 pixel의 representation을 증가시키는 방법을 제안합니다. 즉, object region을 구성하고 각 pixel과 object region 관계를 이용하여 contextual 정보를 활용합니다.

 

 

 이 OCR 모듈은 backbone network 끝 단에 추가하여 사용합니다.

 

 

 우선 soft object region을 계산합니다. 이미지를 K개의 soft object region으로 분할합니다. 각 region은 k class 수 많큼 존재하며 2D map의 형태입니다. 각 entty는 그에 해당하는 픽셀이 class k에 속하는 정도를 나타냅니다.

 

 

 그다음에 object region representation을 계산합니다. 이전에 계산한 object region을 softmax로 normalize 하여 x의 가중치로 활용합니다. k 클래스의 object region representation은 다음과 같습니다.

 

 

 object contextual representation을 계산합니다. object region representation과 pixel 사이의 관계를 계산합니다.

 

 

 여기서 사용하는 k:kernel은 다음과 같으며 파이와 프사이는 1x1 conv -> BN -> ReLU로 이루어진 함수입니다.

 

 

 이제 augmented representation을 계산합니다.

 

 

 y는 object contexual representation을 나타냅니다.

 

 object contextual representation을 pixel에 주입하여 성능을 개선할 수 있다는 것을 보여주는 논문이다.

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch