딥러닝 공부방

End-to-End Object Detection with Adaptive Clustering Transformer Minghang Zheng, Peng Gao, Xiaogang Wang, HongshengLi, Hao Dong, arXiv 2020 PDF, Object Detection By SeonghoonYu July 31th, 2021 Summary This paper improve the computational complexity of DETR by replacing self-attention module in DETR with ACT(adaptive clustering transformer). Also they presents MTKD(Multi-Task Knowledge Distillati..

Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution Yunpeng Chen, Haoqi Fan, Bing Xu, Facebook AI, arXiv 2029 PDF, Video By SeonghoonYu July 31th, 2021 Summary Drop an Octave is motivated from idea about the information is conveyed at different frequencies where higher frequencies are usually encoded with fine details and lower frequencies are usu..

Shannon's Information Measures Shannon's information measure에는 4가지 유형이 있습니다. 1. entropy 2. conditional entropy 3. mutial information 4. conditional mutual information Entropy의 정의와 함께 시작하겠습니다. Entropy 컴퓨터 사이언스에서 bit와 정보 이론에서 bit는 다릅니다. 캄퓨터 사이언스에서 bit는 0과 1을 의미하고 정보이론에서는 랜덤 변수의 엔트로피가 bit로 측정됩니다. 엔트로피는 X의 분포만 의존합니다. X가 갖는 실제 값은 상관 없습니다. 다음 예제를 살펴보면 엔트로피는 분포에만 종속적이라는 것을 확인할 수 있습니다. Compact way to re..

트리와 선형모델 선형 회귀는 다음 형태의 모델을 가정합니다. 회귀 트리는 다음 형태의 모델을 가정합니다. 만약 반응 변수와 설명 변수 사이의 관계가 선형이라면 선형 모델이 더 좋은 성능을 갖습니다. 관계가 비선형인 경우에 트리가 더 좋은 성능을 갖습니다. 모델을 선택하는데에 정확도를 제외하고 해석력과 시각화를 고려할 수 있습니다. 트리의 경우 해석력과 시각화가 선형모델보다 뛰어납니다. 위 그림을 보면 데이터가 선형 관계인 경우에 선형 모델이 결정경계를 잘 형성하고, 데이터가 비선형 관계인 경우에 트리가 결정경계를 잘 형성합니다. 트리의 장단점 트리는 설명하기 쉽습니다. 선형 회귀보다 설명하기 더 쉽습니다. 의사결정트리가 다른 기법들보다 인간의 의사결정 과정을 더 밀접하게 반영합니다. 트리는 비전문가도 쉽..

분류 트리(Classification Tree) 분류 트리는 이전에 공부했었던 회귀 트리와 매우 유사하며 차이점은 양적 반응 변수가 아니라 질적 반응 변수를 예측한다는 것입니다. 회귀 트리는 관측값이 속한 terminal node의 평균값을 사용하여 예측했습니다. 이와 반대로 분류 트리는 관측치가 속하는 구역에서 훈련 관측치의 가방 빈번하게 발생하는 클래스에 관측치가 해당하는지를 예측합니다. 따라서 터미널 노드에 해당하는 클래스 예측값(class prediction) 뿐만 아니라 그 구역에 해당하는 훈련 관측치들의 클래스 비율(class proportion)에도 관심이 있습니다. 분류 트리를 구축하기 위해 회귀 트리와 마찬가지로 재귀 이진 분할을 사용합니다. 이진 분할을 위한 기준으로 RSS는 사용할 수..

Invariant Information Clustering for Unsupervised Image Classification and Segmentation Xu Ji, Joao F.Henriques, Andrea Vedaldi, arXiv 2018 PDF, Clustering By SeonghoonYu July 30th, 2021 Summary This paper presents IIC model which acieves SOTA performance on Image clustering and Image segmentation by maximizing the mutual information between the original image and the transformed image from orig..

https://www.edwith.org/bayesiandeeplearning/joinLectures/14426 Bayesian Deep Learning 강좌소개 : edwith - 최성준 www.edwith.org 최성준 교수님의 Bayesian Deep Learning 강의를 정리합니다. Random Process 랜덤 프로세스는 랜덤 변수의 확장판 랜덤 벡터를 무한의 차원으로 확장하고 싶은 경우나 무한한 랜덤 변수를 설명하고 싶은 경우 Random process 이다.(주사위를 무한번 던지기) 즉, 무한 차원의 random variable을 정의하고 싶을 때 사용하는 것이 random process. 수학적으로 함수와 무한 차원은 같다. 함수의 공간에 확률을 부여한다고도 말할 수 있다. t에 따라 ..

Tree Pruning 트리를 구축하는 과정에서 이전 포스팅에서 살펴본 재귀이진분할은 데이터에 과적합할 위험이 있습니다. 이러한 문제를 해결하기 위한 적합한 대안은 Pruning 입니다. 가장 큰 트리를 만든 다음에 이것을 prune하여 서브트리를 얻는 것입니다. 그러면 tree를 어떤 기준으로 pruning 해야 할까요? 직관적으로 subtree를 선택하는 목적은 가장 낮은 test error를 도출하는 것입니다. 주어진 subtree에 대하여 cross-validation 혹은 validation set apporach를 사용하여 test error를 계산할 수 있습니다. 하지만 모든 가능한 subtree에 대하여 CV하는 것은 불가능해보입니다. 대신에 subtree를 선택하는 방법을 살펴보겠습니다...

회귀 트리(Regression Tree) 의사결정트리(decision tree)는 회귀와 분류 문제를 풀 수 있습니다. 그 중에서 회귀 문제를 어떻게 푸는지 살펴보겠습니다. 위 그림은 야구 선수들의 경력과 안타 수에 따른 연봉 데이터셋에 대해 예측을 수행하기 위한 회귀 트리 입니다. 트리의 맨 위는 years

GCNet, Non-local Networks Meet Squeeze-Excitation Networks and Beyond Yue Cao, Jiarui Xu, Stephen Lin, Fangyum Wei, Han Hu, arXiv 2019 PDF, Video By SeonghoonYu July 27th, 2021 Summary This paper observes that the global contexts modeled by non-local network are almost the same for different query positions within an image. They calculate the global context abount only one query because calculat..