Open-World Entity Segmentation
https://arxiv.org/abs/2107.14228
Open-World Entity Segmentation
We introduce a new image segmentation task, called Entity Segmentation (ES), which aims to segment all visual entities (objects and stuffs) in an image without predicting their semantic labels. By removing the need of class label prediction, the models tra
arxiv.org
class agnostic 하게 segmentation 하는 모델이다. entity를 segment 하는데, entity는 stuff와 thing 모두를 포함한다. class-agnostic한 segmentation을 하므로 class prediction에 신경쓸 필요가 없다. 따라서 class-specific하게 학습된 모델보다 localization 능력이 향상된다.
FCOS의 center-based representation과 CondInst의 generate kernel 방식을 사용한다.
FPN에 부착된 head는 kernel, entityness, centerness, locaization 을 출력한다. localization은 바운딩박스를 생성하기 위함이고 추후에 NMS를 사용하여 output을 정제하기 위함이다. entityness와 centerness는 probability map이다.
논문에서 제안하는 방식은 global kernel bank를 사용하여 conv weight 를 생성한다.
entity들이 공통적으로 지니고 있는 property와 entity 사이에 서로 다른 property를 추출하기 위해 dynamic weight와 static weight를 생성한다. 생성된 weight들을 순열방식으로 7개의 path를 만들어서 training에 활용.
inference는 dynamic weight로만 이루어진 7번 path만을 사용.
또 overlab suppression 방법을 제안한다. 모델이 예측한 mask가 overlap 될 수 있는데 이를 억제하는 역할이다.
7번 path에 존재하는 3개의 weight를 mask feature map에 적용하여 평균낸 값을 사용한다.
또 학습시에도 loss를 가한다.
