딥러닝 공부방

Object-Contextual Representations for Semantic Segmentation PDF, Semantic Segmentation, Yuhui et al, arXiv 2019 Summary segmentation에서 pixel의 class는 pixel이 위치한 object class 입니다. object region 정보를 활용해서 pixel의 representation을 증가시키는 방법을 제안합니다. 즉, object region을 구성하고 각 pixel과 object region 관계를 이용하여 contextual 정보를 활용합니다. 이 OCR 모듈은 backbone network 끝 단에 추가하여 사용합니다. 우선 soft object region을 계산합니다. 이미지를 K..

Generative Moment Matching Network PDF, Generative Model, Yujia et al, arXiv 2015 Summary GAN은 generator와 discriminator 두 모델을 사용하여 minmax 손실 함수를 통해 학습이 진행됩니다. 논문에서 제안하는 GMMN은 하나의 신경망을 이용하며 Maximym Mean Discrepancy loss를 최소화하면서 학습을 진행합니다. 그러면 Maximum Mean Discrepancy loss(MMD loss)는 무엇일 까요? data sample과 generated sample 사이의 통계값이 같아지도록 학습을 진행합니다. 만약 통계값이 같다면 동일한 분포에서 추출된 샘플이라고 가정합니다. 신경망은 다음과 같이 구..

Zero-Shot Instance Segmentation PDF, Zero-Shot Segmentation, Ye et al, CVPR 2021 Summary 해당 논문은 zero shot instance segmentation task를 제안하는 논문이다. zero shot instance segmentation(ZSI)의 베이스 라인을 제공하고 논문에서 제안하는 방법이 zero shot object detection(ZSD)에서 SOTA 성능을 달성한다. 5가지 구성요소가 존재한다. (1) backbone, (2) BA-RPN, (3) Sync-bg, (4) zero-shot detector, (5) semantic mask head zero-shot detection RoI Align을 거쳐서 vi..

Learning unbiased zero-shot semantic segmentation networks via transductive transfer PDF, Zero-Shot Segmentation, Haiyang et al, IEEE 2020 Summary self-traning process를 model의 prediction 값을 pseudo label로 사용하는 대신에, unseen image로 진행한다. transfuctive zero-shot은 unseen image를 사용하는 분야 중 하나이다. true image를 self-training에 사용하기 때문에 부정확한 pseudo label로 인해 발생하는 negative transfer 문제를 해결할 수 있다. source data(see..

Language-Driven Semantic Segmentation PDF, Zero-Shot Segmentation, Anonymous, ICLR 2022 open review Summary CLIP을 segmentation에 적용한 페이퍼이다. Inference시에 label를 flexible하게 넣어줄 수 있다. 즉, 이미지에서 원하는 객체만 찾을 수 있다는 말. class를 dog와 other만 넣어주면 나머지는 other로 분류한다. Text encoder은 pre-trained CLIP을 freezing하여 사용한다. image encoder은 DPT를 사용하는데 DPT는 pretrained ViT를 encoder로 사용하고 decoder DPT를 random 초기화하여 학습시킨다. text ..

Recursive Training for Zero-Shot Semantic Segmentation PDF, Zero-Shot Segmentation, Ce et al, arXiv 2021 Summary generative 방법을 사용하는 Zero shot semantic segmentation은 generator가 얼마나 unseen image를 잘 생성하는지에 따라 성능이 좌우된다. generator가 seen data로만 학습이 되기 때문에 seen에 bias가 되어있는데, 해당 논문은 그 문제점을 해결하기 위한 method를 제안한다. generator를 recursive training하는건데, generator가 생성한 이미지를 classifier로 전달하여 confidence를 추출한다. 그러..

https://www.youtube.com/watch?v=P-m1Qv6-8cI&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=3 graph representation 의 선택에 대해서 소개한다 그래프 또는 네트워크의 구성요소는 무엇일까? 네트워크는 객체들의 두 종류로 구성된다 이 객체들을 노드(node) 또는 정점(vertice)라고 부른다. 이들 사이에 상호작용 또는 엣지를 갖는다. 그래프에 대해 무엇이 중요할까? 그래프는 common language이다. 적절한 graph representation을 선택하는 것은 중요하다. node와 edge를 무엇으로 선택하는지는 중요하다. 데이터셋이 주어졌을 때, node와 edge를 어떻게 선택할까? 유향 그래프와 무향 그래..

https://www.youtube.com/watch?v=aBHC6xzx9YI&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=2 이번 강의에서는 graph 머신 러닝과 넓은 분야에 적용한 영향들을 소개한다. 여러 종류의 task를 fomulate 한다. graph가 적용되는 예시를 보여준다. protein은 amino acid의 sequence인데 graph를 사용하여 protein의 3D 구조를 예측할 수 있다. 구글의 AlphaFold가 문제를 풀었다. node가 amino acid이고 edge가 가까운 amino acid. 여러 약을 혼합해서 먹을때 발생하는 부작용도 graph problem으로 볼 수 있다/ 위 drug 문제를 grpah 로 어떻게 fomulat..

https://www.youtube.com/watch?v=JAB_plj2rbA&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=1 graph는 관계 또는 상호작용으로 entities를 분석하거나 설명하기 위한 일반적인 언어이다. entity들이 위 그림처럼 그래프 구조 또는 연결에 따라 관계된다. 많은 데이터들이 그래프로 표현된다. 더 나은 예측을 위해 이 관계 구조의 이점을 어떻게 취해야 할까? 복잡한 도메인은 풍부한 관계 구조를 갖고 있고 이는 ralational graph로 표현될 수 있다. 관계들을 모델링 함으로써 더 나은 성능을 얻을 수 있다. 오늘날 딥러닝은 간단한 데이터에 특화되어있다. text나 speech 같은 seqeunce 데이터, 이미지는 고정된 크..

Consistent Structural Relation Learning for Zero-Shot Segmentation PDF, Zero-Shot Segmentation, Peike et al, neurips 2020 Summary seen과 unseen 사이의 structural relation을 사용하여 생성된 unseen visual feature를 제한한다. seen과 unseen에 대한 word embedding이 갖고 있는 관계 정보를 이용하여 unseen 을 제한한다면, generator는 더 좋은 unseen visual feature를 생성할 것이다. Generator generator는 생성모델이 아니라 L개의 layer로 이루어져 있다. 그래프 구조를 사용하여 word embeddin..