딥러닝 공부방

안녕하세요, 오늘 읽은 논문은 CBAM(2018), Convolutional Block Attention Module 입니다. 일반적으로 CNN 모델의 성능을 향상시키는 방법은 depth, width, cardinality 세 가지 요소가 있습니다. depth는 층을 의미하고, width는 필터 수를 의미하며 cardinality는 xepction과 resnext에서 제안된 group convolution에서 group의 수를 의미합니다. CBAM은 위 세가지 요소를 제외하고 attention module을 사용하여 모델의 성능을 향상시킵니다. channel attention module과 spatial attention module로 구성되어 있으며, 각각의 attention module은 채널과 공간..

일반적인 경우에서 미분가능성(Differentiable: The General Case) 이전 포스팅에서는 이변수함수에 대한 미분가능성(Differentiability for Functions of Two Variables)에 대해 살펴보았습니다. 이번에는 R^n에서 R^m으로의 함수 f에 대한 미분 가능성을 정의하겠습니다. 접평면을 구하는 방법에서 Df(x,y)를 공부했었습니다. 점 x0에서 함수 f = (f1, ... , fm)의 도함수 Df(x0)은 성분이 x0에서 t_ij = af_i/ax_j인 행렬 T 입니다. R^n에서 R^m으로의 함수 f가 두 가지 조건을 만족하면 미분 가능하다고 정의합니다. (1) x0에서 편미분이 존재해야 합니다. (2) 아래의 극한이 만족해야 합니다. 여기서 T는 Df..

안녕하세요, 오늘 읽은 논문은 DilatedNet, Multi-Scale Context Aggregation by Dilated Convolutions 입니다. DilatedNet은 segmetation task를 위한 dilated convolution을 사용합니다. dilated convolution은 이미지의 해상도를 낮추지 않고, receptive field를 확장할 수 있습니다. 예를 들어, 기존의 CNN은 max pooling 연산 또는 stride=2인 conv 연산을 통하여 feature map의 크기를 축소한 뒤에 conv 연산을 적용하여 receptive field를 확장합니다. dilated conv는 이과정을 거치지 않아 공간적인 정보 훼손 없이 receptive field를 확장할..

선형근사(Linear Approximation) 다변수 함수 f가 충분히 매끄러울 때, 점(x_0, y_0)에서 함수의 그래프에 접하는 평면의 방정식을 구해보겠습니다. 수직이 아닌 평면의 방정식은 다음의 형태를 갖습니다. 만약 위 식이 함수의 그래프에 접하는 평면이라면 x와 y축을 따르는 기울기는 x와 y에 대한 함수 f의 변화율인 af/ay와 af/ax와 같아야 합니다. 따라서 a와 b는 다음과 같아야 합니다. 상수 c는 x=x0, y=y0인 경우에 z = f(x0, y0)이라는 사실로부터 구할 수 있습니다. 따라서 선형 근사(linear approximation)은 다음과 같이 구할 수 있습니다. 위 방정식은 만약 f가 충분히 smooth한 경우에 (x0, y0)에서 함수 f의 그래프에 접하는 평면의..

편도 함수(Partial Derivatives) 편미분은 다른 변수들은 고정되어 있고, 하나의 변수 x_j에 대해 함수 f를 미분하는 것입니다. 몇 가지 예제를 살펴보겠습니다. 예제 1 예제 2 참고자료 및 그림출처 Jerrold E. Marsden의 Vector Calculus

안녕하세요! 오늘 읽은 논문은 CircleNet: Anchor-free Detection with Circle Representation 입니다. 거의 이주 만에 논문을 읽어보는 것 같아요..ㅎㅎ 요즘 수학이 부족하다는 것을 많이 느껴서 수학만 공부하고 있네요ㅎㅎ 이 논문에 관심을 갖게 된 계기는 앵커 박스를 사용하지 않는 Anchor-free detection 이기 때문입니다. anchor box based detection 모델을 구현해보면서, anchor box를 설계하는 것이 너무 복잡했어요. free anchor의 필요성을 느끼고 있던 와중에 이 논문을 알게되어서 읽게 되었습니다ㅎㅎ CircleNet은 신장에 존재하는 사구체를 검출하기 위한 모델이며, 기존의 사각형의 바운딩박스가 아닌 원 모양의..

극한(Limits) 극한의 개념을 살펴보기 전에, 함수 f의 정의역(domain)은 열린 집합(Open Set) A라고 가정하겠습니다. A에 속하는 x가 A의 점 또는 A의 경계점에 접근할 때, 함수 f의 극한을 찾는 법을 살펴보겠습니다. 집합 A가 열린 집합이고, 함수 f가 다변수 함수에 대한 벡터 함수이라고 하겠습니다. 점 x0이 A에 존재하거나 A의 경계점이고, b의 근방이 N이라고 하겠습니다. 만약 x가 A와 x0의 근방에 존재하며, 이를 만족하는 x0의 근방이 존재한다면, x가 x0으로 접근할 때 함수 f는 궁극적으로 N에 속합니다. x0은 A에 속할 필요가 없습니다. 즉, 임의로 주어진 b의 근방 N에서 x가 x0으로 접근할 때, f는 결국 N안에 존재합니다. 이는 x가 x0에 가까워지면서, ..

경계점(Boundary Points) x의 근방(neighborhood of x)는 x를 포함하는 열린 집합을 의미합니다. 경계점은 모든 x의 근방이 적어도 A의 한 점을 포함하고, 동시에 A에 속하지 않는 점을 포함하는 경우에 x를 A의 경계점(boundary point)이라고 합니다. 위 정의에서 x는 A에 속할수도, 속하지 않을 수도 있습니다. 만약 x가 A에 속한다면, x의 근방이 적어도 A에 속하지 않는 점을 하나라도 포함해야 경계점이 됩니다. x가 A에 속하지 않는 경우에는 x의 근방이 A에 속하는 점을 적어도 하나를 포함해야 경계점이 됩니다. open set의 정의에 따르면, open set에 존재하는 점 x는 경계점이 될 수 없습니다. open set에 포함되어 있는 점은 open set의..

차원축소 방법(Dimension Reduction Methods) 차원축소 방법은 p개의 변수 X1, X2, ... ,Xp를 변환하여, 변환된 변수들로 선형제곱 모델을 적합(fit)하는 것입니다. p개의 X1~Xp에서 m개의 Z1~Zm으로 변환된 변수들은 X1~Xp의 선형 결합으로 나타냅니다. 변환된 변수들로 다음과 같이 최소제곱 모델을 fit할 수 있습니다. 이러한 차원축소 방법은 일반적으로 선형제곱 모델보다 뛰어납니다. 차원축소 방법은 기존의 p+1(절편 포함)개의 변수를 m+1개의 변수로 축소하기 때문입니다. 변수의 수가 줄어들었으므로 bias를 증가시키고 variance를 감소합니다. 즉, overfitting을 방지합니다. 이전에 살펴보았던 변수 선택 방법과 수축법과 비슷한 효과를 나타냅니다. ..

라쏘와 능형 회귀의 또 다른 구성(Another Formulation for Ridge Regression and the Lasso) 이전 포스팅에서 살펴보았던 라쏘와 능형회귀가 다음의 문제를 푼다고 가정해보겠습니다. 위 식은 R1 + R2