딥러닝 공부방

서포트 벡터 머신(Support Vector Machine) 서포트 벡터 머신(SVM, support vector machine)은 서포트 벡터 분류기(support vector classifier)의 확장으로, 커널(kernel)을 사용하여 변수 공간을 확장한 결과입니다. 변수와 출력값 사이의 비선형 관계를 설명하기 위하여 변수 공간을 확장해야 하는데, SVM은 커널을 사용하여 효율적인 연산량으로 변수 공간을 확장한 방법입니다. 서포트 벡터 분류기 문제에 대한 해는 관측값들의 내적만이 관련이 있습니다. 두 관측치 사이의 내적은 다음과 같이 주어집니다. 선형 서포트 벡터 분류기(Linear support vector classifier)는 다음과 같이 나타낼 수 있습니다. 여기서 n개의 파라미터 $\al..

비선형 결정 경계에서 분류(Classification with Non-linear Decision Boudaries) 만약 두 class 사이의 경계가 선형이면, 두 개의 class를 지닌 dataset에서 서포트 벡터 분류기(support vector classifier)는 자연스러운 선택입니다. 하지만 비선형 class 경계를 지닌 데이터셋의 경우에는 어떨까요? 위 그림을 살펴보면 Support vector classifier가 찾은 선형 경계가 두 class 분류를 수행하지 못합니다. 이처럼 변수와 출력값 사이의 비선형 관계가 존재하는 경우에 선형 분류기는 성능이 좋지 않습니다. 이 경우에 변수들의 고차 다항식, 3차, 2차를 사용하여 feature space를 확장함으로써 class 사이의 비선형..