딥러닝 공부방

최적의 모델 선택(Choosing the Optimal Model) 최상의 부분 집합 선택, 전진 선택, 후진 선택으로 모델의 집합을 생성합니다. 모델의 집합 중에 어느 모델이 최고의 성능을 갖고 있는지 판단해야 합니다. RSS가 가장 낮은 모델을 선택하거나, R2값이 가장 큰 모델을 선택하는 것은 training error와 연관되어 있으므로 부정확합니다. 따라서 test error가 낮은 모델을 선택해야 합니다. test error를 측정하는 방법은 (1) 과적합으로 인한 편상을 고려하도록 훈련오차를 조정하여 test error를 간접적으로 추정할 수 있습니다. (2) validation set approach 또는 cross-validation approach를 사용하여 test error를 직접 ..

Resampling Methods Resampling Methods는 training data의 서로 다른 부분 집합을 사용하여 동일한 통계 모델을 여러번 fitting 하는 것을 의미합니다. 모델 평가(model assessment), 모델 선택(model selection)을 위해 사용합니다. 1. Validation Set Approach 전체 데이터 셋을 동일한 크기를 가진 2개의 집합으로 분할하여 training set, validation set을 만듭니다. 영향력이 큰 관측지가 어느 set에 속하느냐에 따라 MSE가 달라집니다. 관측치의 일부만 train에 속하여 높은 bias를 갖습니다. 2. LOOCV(Leave-One-Out Cross-Validation) 단 하나의 관측값(x1, y1..