부분집합 선택(Subset Selection) 부분집합 선택은 반응변수(response, Y)와 관련 없는 설명변수(predictor, X)를 식별하여 제거합니다. 반응변수와 관련 있는 설명변수의 집합에서 선형회귀를 진행하여 모델의 해석력을 높여줍니다. 이번 포스팅에서 (1) 최상의 부분집합 선택, (2) 전진 단계적 선택, (3) 후진 단계적 선택, (4) 하이브리드 방식을 살펴보겠습니다. 1. 최상의 부분집합 선택(Best Subset Selection) 작동원리 (1) 모든 가능한 predictor, p의 선형 결합에 대해 fitting을 진행합니다. (2) 총 2^p번의 fitting이 진행됩니다. (3) predictor을 1개 포함한 모델에서 RSS가 가장 낮은 모델이 M1로 선택합니다. (4..
