딥러닝 공부방

Unsupervised Feature Learning via Non-Parametric Instance Discrimination Zhirong Wu, Yuanjun Xiong, Stella X.Yu, Dahua Lin, arXiv 2018 PDF, Self-Suervised Learning, By SeonghoonYu, July 22th, 2021 Summary The feature representations can be learned by discriminating among individual instances without any notion of semantic categories. We can find that Figure shows an image from class leopard is r..

Learning Deep Representations by Mutual Information Estimation and Maximization R Devon Hjelm, Alex Fedorov, Samuel Lavoie-Marchildon, arXiv 2018 PDF, SSL By SeonghoonYu July 21th, 2021 Summary This paper updates model's parameters by maximizing mutial information between immediate feature maps and flattened last feature maps obtained from ConvNet. To do this, they use Jensen-Shannon divergence(..

부분 최소 제곱(PLS, Partial Least Squares) 부분 최소 제곱(PLS)는 PCR(주성분 회귀)의 supervised alternative 입니다. PLS는 기존 특징의 선형 결합으로 이루어진 새로운 특징 집합 ($Z_1, ... , Z_M$)을 식별합니다. 그리고나서 이 M개의 특징을 사용하여 최소 제곱 방법을 통해 선형 모델을 적합(fit) 합니다. PCR과 가장 큰 차이점은 supervised way 라는 것입니다. 반응 변수 Y를 사용하여 새로운 특징들을 식별하기 때문에 기존 특징들을 잘 설명할 뿐만아니라 반응 변수와 연관성이 있습니다. 즉, PLS는 반응 변수와 설명 변수 사이를 설명하는 방향을 찾습니다. 우선, p개의 설명 변수들을 standardizing 한 후에, 기존 변..

Deep Clustering for Unsupervised Learning of Visual Features Mathilde Caron, Piotr Bojanowski, Armand Joulin, Matthijs Douze, arXiv 2018 PDF, Self Supervised Learning By SeonghoonYu July 15th, 2021 Summary This paper is clustering based self-supervised learning in an offline fashion. This model jointly learns the parameters of a neural network and the cluster assignments of the resulting feature..

SlowFast Networks for Video Recognition Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, Kaiming He, arXiv 2018 PDF, Video By SeonghoonYu July 20th, 2021 Summary They presents a two-pathway SlowFast model for video recognition. Two pathways seperately work at low and high temporal resolutions. (1) One is Slow pathway designed to capture sementic information that can be given by a few sparse f..

The Billionaire Space Race The rivalry or contest that has recently been dubbed the “billionaire space race” has taken a turn for the worst for Amazon founder and richest person in the world, Jeff Bezos. After a string of announcements that expressed success for the initiatives, tests, and accomplishments of Bezos' Blue Origin, British billionaire Richard Branson's own space tourism venture, Vir..

제약조건(constraint) 또는 추가조건(side condition)이 주어진 상황에서 함수의 최대값이나 최소값을 구해야하는 경우가 있습니다. 예를 들어 $x^2 + y^2 = 1$ 조건에서 함수 f(x,y)의 최대값을 찾는 경우입니다. 이 경우에 (x,y)는 g(x,y) = 1 의 등위선(level curve) 입니다. 이번 포스팅에서 이런 종류의 문제를 다루는 방법에 대해 공부하겠습니다. 라그랑주 승수법(Lagrange Multipliers) S는 x가 g(x) = c를 만족하는 R^n의 집합이라고 하겠습니다. f의 정의역을 S로 제한할 때도 f의 극소값, 극대값은 유효하여 최대, 최소값은 극값이 됩니다. 다음 정리는 제약조건에서 극값을 구하는 데 필요조건을 제공합니다. flS는 함수 f의 정의역..

이계도함수 판정법(Second-Derivative Test for Local Extrema) 임계점(x0)에서 함수의 이차 편미분 행렬인 헤시안이 양의 정부호(positive definite)이면 x0은 극소점(relative minimum) 입니다. 비슷하게, 임계점에서 함수의 헤시안이 음의 정부호이면 x0은 극대점(relative maximum)입니다. 헤시안 행렬이 양의 정부호, 음의 정부호를 판단하는 방법은 다음과 같습니다. a가 0보다 크고, B의 determinant가 0 이상이면 헤시안 행렬은 양의 정부호 입니다. 만약, a가 0보다 작고 determinant가 0보다 크면 해시안 행렬은 음의 정부호 입니다. 2x2 보다 큰 nxn 크기의 해시안 행렬에서 양의 정부호는 다음과 같이 판별할 수..

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments Mathilde Caron, Ishan Misra, Jullien Mairal, Priya Goyal, Piotr Bojanowski, Armand Joulin arxiv 2020 PDF, Self-Supervised Learning By SeonghoonYu July 19th, 2021 Summary This paper propose an online clustering-based self-supervised method learning visual features in an online fashion without supervision Typical clusterin..

Self-Labelling via Simultaneous Clustering and Representation Learning Yuki M. Asano, Christian Rupprecht, Andrea Vedaldi arxiv 2019 PDF, Self-Supervised Learning By SeonghoonYu July 19th, 2021 Summary 신경망이 출력한 feature vector를 clustering에 할당하는데, 이 할당하는 과정을 최적 운송(optimal transport) 문제로 보고 sinkhorn algorithm으로 assignment matrix Q를 계산합니다. Q는 feature vector와 clustering의 유사도를 계산하여 clustering을 할당하는 역할..