딥러닝 공부방

극점의 일계도함수 판정법(First-Derivative Test for Local Extrema) 모든 극점(extremum)은 임계점(critical point) 입니다. 함수 f가 n개의 변수를 취하는 실함수이고 미분가능(differentiable)합니다. 그리고 점 x0에서 극점(local extremum)을 갖는다면 Df(x0)=0 이 됩니다. 즉, x0은 함수 f의 임계점(critical point)입니다. 만약 함수의 최대 최소값이나 극점을 찾으려 할때, 임계점들만 고려하면 됩니다. 함수의 최대값과 최소값을 찾는 몇 가지 예제를 풀어보겠습니다. 위 함수에서 임계점은 (0,0)만 존재합니다. 그리고 f(x,y) >= 0 이기 때문에 (0,0) 은 극소점(relative minumum)이 됩니다...

자연 현상에서 많은 것들은 최대최소작용의 결과입니다. 이번 포스팅에서는 함수의 최대 최소를 찾는 방법을 공부하겠습니다. 극값(Extreme Points) 함수의 그래프에서 가장 기본적인 기하학적 특징은 극값(extreme points) 입니다. 함수는 극값에서 최대, 최소값을 얻습니다. 이러한 극값을 찾는 방법을 알아보겠습니다. 위 정의를 살펴보면 x0의 근방 V에 존재하는 모든 x에 대하여 함수 f(x) >= f(x0)을 만족하는 점 x0을 극소점(local minimum)이라고 부릅니다. 반대로 f(x)

이전 포스팅에서는 일변수함수에 대한 테일러 정리를 살펴보았습니다. 이번에는 다변수함수에 대한 테일러 정리를 공부하겠습니다. 다변수함수에 대한 테일러 정리(Taylor's Theorem for Many Variables) 만약 n개의 변수를 취하는 실함수(real valued function with n variables) f가 x0에서 정의된다면 다음과 같이 정의할 수 있습니다. 그리고나서, 미분가능성의 정의에의해 나머지항 R1(x0,h)는 점 x0에서 1차에서 사라집니다. 그러므로 일차 테일러 공식(First-Order Taylor Formula)는 다음을 얻습니다. xi는 n개의 다변수에 해당하는 변수입니다. 각 개별적인 다변수에대해 hi가 존재합니다. 이차 테일러 공식은 다음과 같습니다. 이차 테일..

안녕하세요, 오늘 읽은 논문은 Consistency-based Semi-supervised Learning for Object Detection 입니다. object detection task는 많은 수의 annotated sample이 필요합니다. 그리고 이를 사람이 직접 annotate하는 데에는 많은 비용이 필요합니다. 해당 논문에서는 unlabeled data를 활용하기 위한 semi-supervised learning 방법을 제안합니다. unlabeled data를 활용하기 위해 (1) consistency loss를 제안하고, back-ground class가 성능에 악영향을 주는 것을 방지하기 위해 (2) Background Elimination(BE)를 제안합니다. labeleing cos..

My Parents It is undeniable that David Hockney is one of the U.K.'s most loved and respected artists. For more than 60 years, Hockney has mesmerized countless people with his innovative art, which is characterized by its bold colors. When Hockney's fans are asked to think of his most impressive painting, many would think of the oil painting titled My Parents. Completed in 1977, My Parents is a f..

이전에 도함수를 공부할 때, 함수의 선형 근사(linear approximation)은 접평면의 방정식과 함수의 근사치를 찾는데 사용되었습니다. 여기서 공부할 테일러 정리(Taylor's theorem)은 이차근사(quadratic approximation)이나 고차근사(higher-order approximation)을 찾는 데 중요하게 다뤄집니다. 테일러 정리는 함수의 정확한 수치적 근삿값을 찾는데에 핵심적인 도구입니다. 이 테일러 정리를 다변수 함수의 최대, 최소에 대한 이계도함수 판정법(second derivative test)를 이해하는데 사용합니다. 다변수 함수에 대한 테일러 정리를 알아보기전에 일변수함수에 대한 테일러 정리를 살펴보겠습니다. 일변수함수에 대한 테일러 정리(Single-Vari..

안녕하세요, 오늘 읽은 논문은 Towards Reducing Labeling Cost in Deep Object Detection 입니다. 이 논문은 Object Detection분야에서 Active Learning을 활용한 논문입니다. object detection 모델을 학습하기 위해서는 label 된 dataset이 필요한데요, 이 label data에 대한 의존도를 낮추기 위한 다양한 active learning 전략이 연구되고 있습니다. 해당 논문에서는 이 active learning이 두 가지 문제점을 갖고 있다고 지적합니다. 기존의 Active Learning의 문제점 1. 신경망이 task에대해 well-trained된 경우에 acquisition function은 의미가 있습니다. 여기서..

안녕하세요, 오늘 읽은 논문은 A Simple Framework for Contrastive Learning of Visual Representations 입니다. 해당 논문은 self supervised learning에서 major component를 연구합니다. 그리고 이 component를 결합하여 sota 성능을 달성합니다. 논문에서 설명하는 major component는 다음과 같습니다. (1) data augmentation contrastive learning은 batch내에 이미지를 추출하여 2개의 transformation을 적용해 각각 query와 key를 생성합니다. 동일한 image에 적용된 transformation은 similar이고, 나머지 batch에 존재하는 다르 이미지에..

안녕하세요, 오늘 읽은 논문은 MoCo, Momentum Contrast for Unsupervised Visual Representation Learning 입니다. MoCo는 contrastive loss를 사용하는 self-supervised model 입니다. MoCo 이전의 contrastive loss mechanism은 end-to-end, memory bank 방식이 존재했습니다. Contrastive loss를 최대한 활용하려면 많은 수의 negative sample가 필요하고 negative sample의 encoder는 query encoder과 consistent 해야 합니다. end-to-end 방법은 mini-batch내에 존재하는 sample들을 negative sample로 ..

China Sends Astronauts to New Space Station On June 17, China successfully launched a team of three astronauts into space. The three astronauts' names are Nie Haisheng, Liu Boming, and Tang Hongbo. They are expected to spend three months on the Tianhe module, which is located at 380 km above Earth. In terms of time, this is China's longest crewed space mission to date and the first in nearly fiv..