딥러닝 공부방

A model for the projective plane 사영 공간(projective space) P^2는 Euclidean 공간 R^3에서 원점을 지나는 모든 직선의 집합으로 생각할 수 있습니다. k에 따라 변화하는 모든 벡터 k(x1,x2,x3)^T의 집합은 원점을 지나는 직선을 형성합니다. 이러한 직선은 사영 공간 P^2에서 한 점을 나타냅니다. 이러한 관점으로 P^2에서 선은 원점을 지나는 평면을 의미합니다. 두 직선은 한 평면에 놓여있고, 임의의 두 평면은 직선에서 교차합니다. P^2 공간에서는 스케일 값에 관계없이 한 점을 유일하게 정의할 수 있으므로 마지막 항 x3로 좌표값을 나눈 (x1/x3, x2/x3, 1)을 일반적으로 한 점을 표현하는 대표값으로 간주합니다. R^3 공간 상의 원점..

평행한 선의 교점(Intersection of parallel lines) 두 평행한 직선은 유클리드 공간에서는 만나지 않지만, 사영 공간 $P^2$에서는 만납니다. 두 선 ax + by + c = 0과 ax + by + c' = 0을 고려하겠습니다. 이 둘은 l = (a, b, c)^T 와 l' = (a, b, c')^T로 나타낼 수 있습니다. 이 둘의 교점을 구하는 것은 어렵지 않습니다. 이전 포스팅에서 배웠던 것 처럼 두 선을 외적하면 됩니다. 여기서 scale factor (c' - c)를 무시하면, 아래와 같은 교점이 됩니다. 이 점을 inhomogeneous로 표현하면, 아래와 같습니다. 이는 2 차원 euclidean 공간에서 유한한 점에 해당하지 않습니다. 이를 homogeneous coo..

안녕하세요, 오늘 읽은 논문은 Convolutional-Recursive Deep Learning for 3D Object Classification 입니다. 3D Sensing 기술의 발전으로 이미지의 색상 RGB와 Depth 정보를 추출할 수 있어, 이 둘을 활용하여 object recognition 성능을 향상시킬 수 있습니다. 해당 논문은 RGB-D 이미지를 분류하기 위해, CNN과 RNN을 활용합니다. CNN은 edge와 같은 low-level 이동 불변 특성을 추출하고, 고차원 특징을 구성하기 위해 이 저차원 특징을 RNN에 전달합니다. 위 그림을 살펴보면 RGB, Depth image에서 각각 특징을 추출하며, 마지막에 결합한 후 classification을 합니다. Convolutional..

안녕하세요 ㅎㅎ!, 오늘 읽은 논문은 Noise or Signal: The Role of Image Backgrounds in Object Recognition 입니다. 해당 논문은 image classification 모델이 이미지 배경으로부터 오는 signal에 의존적인 정도를 실험합니다. 실험 결과를 잠깐 살펴보면, 모델은 객체 뿐만 아니라 배경에서도 정보를 얻어 객체를 분류합니다. 이미지에서 객체를 제거하고, 배경만 있는 dataset으로 학습 한 후 원래 dataset으로 test를 진행하면 모델이 40~50% 정도의 정확도를 보여줍니다. 또한, 객체와 배경이 서로 다른 class로 합성한 이미지로 test 한 경우에, 모델이 오분류를 합니다. 이는 모델이 배경에 depend 하다는 것을 보여줍..

선의 동치 표현(Homogeneous representation of lines) 평면에 존재하는 선은 ax + by + c = 0 과 같은 방정식으로 표현될 수 있습니다. 이를 직선의 방정식이라고 하는데, 어떤 a,b,c를 선택하느냐에 따라 다른 선이 됩니다. 따라서, 선은 일방적으로 벡터 (a,b,c)^T로 표현합니다. 이는 열벡터를 의미합니다. 선과 벡터 (a,b,c)^T는 one-to-one 대응이 아닙니다. 동치 좌표(homogeneous coordinates)에 의해서 선 ax + by + c = 0은 선 (ka)x + (kb)y + (kc) = 0와 동일합니다. 따라서, 벡터 (a,b,c)^T와 k(a,b,c)^T는 동일한 선을 나타냅니다. 그리고 이러한 관계에 있는 벡터들을 동치류(equi..

안녕하세요, 오늘 읽은 논문은 Learning Phrase Representation using RNN Encoder-Decoder for Stistical Machine Translation 입니다. 해당 논문에서는 GRU를 제안합니다. 이전 포스팅에서 살펴보았던 Seq2Seq와 이 논문의 차이점은 (1) LSTM 대신에 GRU를 사용합니다. (2) decoder의 각 셀에 context vector와 embedding vector를 추가합니다. 즉 hidden states 정보뿐만 아니라 embedding, context 정보까지 활용합니다. GRU(Gated Recurrent Units) GRU는 LSTM에서 영감을 받아 탄생한 구조입니다. LSTM보다 단순한 구조를 갖고 있으며, cell을 사용하..

연쇄 법칙(Chain Rule) 합성 함수(composite function)에 대한 미분 법칙을 연쇄 법칙이라고 부릅니다. 다변수 함수에 대한 규칙은 일변수 함수보다 더 심오한 형태를 취합니다. f가 실함수(real-valued function)이고, z=f(y)이며 y는 x의 함수이고 y=g(x)라고 하겠습니다. 그러면 z는 대입에 의해 x의 합수가 됩니다. 즉, z=f(g(x))이며, 다음과 같은 연쇄 법칙을 갖습니다. 만약 f가 3개의 변수(u,v,w)에 대한 실함수이고, z=f(u,v,w) 이며, u,v,w는 x에 대한 함수 u=g(x), v=h(x), w=k(x)인 경우에 z=f(u,v,w)에서 g(x), h(x), k(x)를 대입하면 z=f(g(x),h(x),k(x))가 됩니다. 이 함수에 ..

사영 공간(projective space) projective transformation을 적용한 후에 어떤 geometry 성질이 보존될까요? shape, length, angls, distance, ratios of distance는 아닙니다. 원이 타원으로 나타날 수 있고, projective transformation에서 두 원이 서로 다른 정도로 stretch되면 반지름이 달라집니다. 오직 straightness만이 보존됩니다. 왜 projective geometry가 필요한지 알기 위해서 Euclidean geometry부터 시작해야 합니다. 유클리디안 기하학은 angles와 shapes of object를 설명합니다. 하나의 관점에서 유클리디안 기하학은 골치거리입니다. 두 선이 interse..

안녕하세요, 이번 포스팅에서는 SRCNN을 PyTorch로 구현하고 학습까지 진행한 후에 성능까지 test를 해보겠습니다. 작업 환경은 Google Colab에서 진행했습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] PyTorch 코드로 살펴보는 SRCNN(2014), Image Super-Resolution Using Deep Convolutional Networks 안녕하세요, 오늘 읽은 논문은 SRCNN, Image Super-Resolution Using Deep Convolutional Networks 입니다. 해당 논문은 이미지의 해상도를 높이는 task인 super-resolution 분야에 CNN을 최초로 적용한 논문.. deep-learning-study.tis..

안녕하세요, 오늘 읽은 논문은 SRCNN, Image Super-Resolution Using Deep Convolutional Networks 입니다. 해당 논문은 이미지의 해상도를 높이는 task인 super-resolution 분야에 CNN을 최초로 적용한 논문입니다. SRCNN은 CNN을 사용하여 low-resolution 이미지를 high-resolution 이미지로 mapping 합니다. 즉, 저해상도와 고해상도 사이의 관계를 학습하여 하나의 함수를 만드는 것으로 이해해볼 수 있습니다. SRCNN은 super resolution에서 사용하는 기존의 방법들을 제치고 SOTA 성능을 달성합니다. CNN은 정말 대단하네요 ㅎㅎ 제가 SRCNN을 구현하고, 학습해서 성능을 test한 그림입니다. 화질..