딥러닝 공부방

부분집합 선택(Subset Selection) 부분집합 선택은 반응변수(response, Y)와 관련 없는 설명변수(predictor, X)를 식별하여 제거합니다. 반응변수와 관련 있는 설명변수의 집합에서 선형회귀를 진행하여 모델의 해석력을 높여줍니다. 이번 포스팅에서 (1) 최상의 부분집합 선택, (2) 전진 단계적 선택, (3) 후진 단계적 선택, (4) 하이브리드 방식을 살펴보겠습니다. 1. 최상의 부분집합 선택(Best Subset Selection) 작동원리 (1) 모든 가능한 predictor, p의 선형 결합에 대해 fitting을 진행합니다. (2) 총 2^p번의 fitting이 진행됩니다. (3) predictor을 1개 포함한 모델에서 RSS가 가장 낮은 모델이 M1로 선택합니다. (4..

직선의 방정식(Equations of Lines) 평면과 직선은 방정식으로 표현될 수 있는 기하학적인 객체입니다. 여기서는 직선의 방정식을 벡터 덧셈, 스칼라 곱을 사용하여 알아보겠습니다. 벡터 a의 끝점을 통과하고 벡터 v의 방향인 직선의 방정식은 다음과 같이 표현합니다. t는 모든 실수이고, tv는 벡터 v의 모든 스칼라 곱입니다. 직선 l은 a와 tv를 변으로하는 평행사변형의 모든 대각 요소의 끝접이며, l = a + tv로 표현합니다. 즉, a의 끝점을 지나고 방향이 v인 직선의 방정식은 l = a + tv 입니다. 예제 문제를 한번 살펴보겠습니다. 동일한 직선은 여러가지 방정식으로 나타낼 수 있습니다. 주어진 선에서 a 대신에 다른 점을 선택하면 됩니다. 예를 들어, 직선의 방정식 l = a +..

실함수의 기하학(The Geometry of Real-Valued Functions) 실함수를 graph, level curve, level surface로 시각화하여 이해해보도록 하겠습니다. 함수와 사상(Fuctions and Mappings) 함수는 정의역(domain)으로 R^n 공간에 있는 부분 집합 A을 갖고 있고, 이 부분 집합을 R^m 공간에 있는 공역(codomain)으로 전달합니다. 공역(codomain)의 차원에 따라 함수의 명칭이 달라집니다. m > 1 인 경우 함수 f를 벡터 함수(vector-valued function)이라고 부릅니다. m = 1 인 경우 함수 f를 스칼라 함수(scalar-valued function)이라고 합니다. 예를 들어, scalar-valued func..

안녕하세요! 모델을 학습하는 경우에 batch size에 대해 고민이 많으실 텐데요. 3개의 논문을 공부하고, 제가 생각하는 배치 사이즈 선택 가이드 라인을 정리해보았습니다 ㅎㅎ!! 많은 분들에게 도움이 되었으면 합니다. 해당 글은 computer vision 관점에서 작성하였습니다. NLP 등 다른 분야에서 활동하시는 분들에게는 이 포스팅이 도움 안될 수 있습니다. ㅎㅎ Batch normalization batch normalization은 입력값 x를 평균 0, 분산 1로 표준화하여 활성화 함수로 전달하고 활성화 함수 출력값을 분포를 고르게 합니다. x를 표준화 하는 과정에서 배치 사이즈 단위로 평균과 분산값을 계산하는데요. 어떤 배치 사이즈를 선택하느냐에 따라 평균과 분산값이 달라지므로 성능에 영..

Resampling Methods Resampling Methods는 training data의 서로 다른 부분 집합을 사용하여 동일한 통계 모델을 여러번 fitting 하는 것을 의미합니다. 모델 평가(model assessment), 모델 선택(model selection)을 위해 사용합니다. 1. Validation Set Approach 전체 데이터 셋을 동일한 크기를 가진 2개의 집합으로 분할하여 training set, validation set을 만듭니다. 영향력이 큰 관측지가 어느 set에 속하느냐에 따라 MSE가 달라집니다. 관측치의 일부만 train에 속하여 높은 bias를 갖습니다. 2. LOOCV(Leave-One-Out Cross-Validation) 단 하나의 관측값(x1, y1..

Classification 분류는 범주형 자료를 다룹니다. 더미 변수를 활용하면 범주형 자료를 선형 회귀로도 풀 수 있지만, X의 범위가 제한되지 않고 Y값을 확률로 출력하지 않는 문제점이 있습니다. 1. 로지스틱 회귀(Logistic Regression) p(X) 확률을 logistic function을 사용합니다. 최대 가능도가 높은 값을 갖는 계수 B0, B1을 추정합니다. X가 2개 이상일 때는 다음과 같이 확장할 수 있습니다. 특징 결정 경계를 선형으로 예측합니다. X의 분포가 가우시안이 아닌 경우에 LDA보다 좋은 성능을 나타냅니다. 출력값을 확률로 나타낼 수 있습니다. Y가 2개 이상인 경우에 LDA를 주로 사용합니다. 2. 선형 판별 분석(LDA, Linear Discriminant Ana..

코드 출처 [1] https://github.com/JWarmenhoven/ISLR-python [2] https://github.com/emredjan/ISL-python 선형 회귀(Linear Regression) 필요한 라이브러리 import # 필요한 라이브러리 import import pandas as pd import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import axes3d import seaborn as sns from sklearn.preprocessing import scale import sklearn.linear_model as skl_lm from sklearn.metrics import m..

Mathematics for Machine Learning를 공부하고 정리한 포스팅입니다. 2.4 벡터 공간(Vector Spaces) 지금까지 연립 밪엉식을 살펴보았고, 어떻게 푸는지를 알아보았습니다. 연립 방정식은 행렬로 간단히 표현할 수 있다는 것을 확인 했습니다. 이제, 벡터로 이루어지는 벡터 공간에 대해 살펴보겠습니다. 이 책 초반부에 벡터는 덧셈과 스칼라 곱이 가능한 객체로 특징지었습니다. 그리고 두 조건을 만족하면 동일한 객체로 간주했었습니다. 이제 이것을 공식화하고 벡터 집합의 요소와 이 요소들로 정의되는 연산을 살펴보겠습니다. 2.4.1 군(Groups) 군에 대한 내용이 나오는데 읽어봐도 잘 모르겠습니다. 2.4.2 벡터 공간(Vector Spaces) 벡터 공간은 두 벡터의 덧셈과 스..

Mathematics for Machine Learning를 공부하고 정리한 포스팅입니다. 2.3.2 기본 행 연산(Elementary Transformations) 연립 방정식을 풀기위한 핵심은 기본 행 연산(elementary transformation)입니다. 기본 행 연산은 정답을 변화시키지 않고 연립방정식을 간단한 형태로 변환합니다. 기본 행 연산에는 세 가지가 있습니다. (1) 두 행을 교환하기(행렬에서 행은 방정식을 나타냅니다. (2) 행에 상수를 곱하기 (3) 서로 다른 두 행을 더하기 행렬에 기본 행 연산을 거쳐서 행 사다리꼴(row-echelon form)으로 바꾸면 특이해와 일반해를 쉽게 구할 수 있습니다. 다음 예제를 통해 살펴보겠습니다. 위 연립 방정식을 첨가행렬(augmented..

최대 우도 추정에 대해서 공부하다가 이해가 잘 되도록 쉽게 설명해주는 유튜브가 있어서 내용을 정리해봤습니다!! 출처 : www.youtube.com/watch?v=XepXtl9YKwc 예를 들어, 쥐들의 무게를 잰다고 가정해보겠습니다. 최대 우도의 목적은 데이터 분포를 맞추기 위한 최적의 방법을 찾는 것입니다. 다양한 데이터 타입에 대한 다양한 분포가 존재합니다. 정규분포, 지수분포, 감마분포 등등 여러 분포가 존재합니다. 데이터 분포를 맞추려고 하는 이유는 작업하기가 쉽고 더 일반적이기 때문입니다. 이 경우에 몸무게가 정규 분포를 따른다고 생각할 수 있습니다. 정규분포는 많은 것들을 의미합니다. 첫 번째로 대부분의 쥐 몸무게는 평균에 가깝습니다. 두 번째로 쥐 몸무게가 평균을 중심으로 대칭입니다. 관측..