딥러닝 공부방

서포트 벡터 분류기(Support Vector Classifiers) 위 그림 같은 경우에 training observation은 분리 초평면(separating hyperplane)에 의해 분류되지 않습니다. 이처럼 두 class에 속하는 관측치(observation)들이 항상 초평면에 의해 분류되는 것은 아닙니다. 또한 관측치가 하나 추가되면 위 그림처럼 초평면이 급격하게 변화될 수 있습니다. 마진이 급격하게 감소했는데 마진은 observation에 할당된 class의 확신을 의미하므로 문제가 발생할 수 있습니다. 이처럼 분리 초평면에 기반한 분류기는 하나의 개별 관측치에 민감하게 반응할 수 있습니다. 또한 과적합을 유발할 수 있습니다. 이 경우에 관측값들을 완벽하게 두 클래스로 분리하지 않는 초평면..

초평면(Hyperplane)에 대하여 p차원 공간에서, 초평면은 p-1 차원인 평평한 affine 부분 공간 입니다. 예를 들어, 2차원 공간에서 초평면은 평평한 1차원 부분공간 입니다. 즉, 선 입니다. 3차원에서 초평면은 평평한 2차원 부분공간이며 이는 평면입니다. p > 3인 경우에는 초평면을 시각화하기가 어렵지만 p-1 차원인 평평한 부분 공간인 것은 여전히 유효합니다. 2차원에서 초평면의 수학적인 정의는 다음의 방정식으로 정의합니다. 2차원의 초평면은 1차원 선입니다. 2차원 파라미터 $\beta _0, \beta _1, \beta_ 2$가 존재하며 $X_1, X_2$는 초평면 상 임의의 점입니다. 위 식은 임의의 p차원으로 확장할 수 있습니다. 즉 p차원에 대한 초평면은 아래의 식으로 정의합니..