[ISLR] 트리와 선형 모델, 트리의 장단점

트리와 선형모델

 선형 회귀는 다음 형태의 모델을 가정합니다.

 

 

 회귀 트리는 다음 형태의 모델을 가정합니다.

 

 

 만약 반응 변수와 설명 변수 사이의 관계가 선형이라면 선형 모델이 더 좋은 성능을 갖습니다. 관계가 비선형인 경우에 트리가 더 좋은 성능을 갖습니다.

 

 

 모델을 선택하는데에 정확도를 제외하고 해석력과 시각화를 고려할 수 있습니다. 트리의 경우 해석력과 시각화가 선형모델보다 뛰어납니다. 위 그림을 보면 데이터가 선형 관계인 경우에 선형 모델이 결정경계를 잘 형성하고, 데이터가 비선형 관계인 경우에 트리가 결정경계를 잘 형성합니다.

 

트리의 장단점

• 트리는 설명하기 쉽습니다. 선형 회귀보다 설명하기 더 쉽습니다.
• 의사결정트리가 다른 기법들보다 인간의 의사결정 과정을 더 밀접하게 반영합니다.
• 트리는 비전문가도 쉽게 해석할 수 있으며 그래픽으로 나타내기도 싶습니다.
• 트리는 더미변수(가변수)를 만들지 않고도 질적 설명변수들을 쉽게 처리할 수 있습니다.
• 트리는 회귀 및 분류 기법들과 동일한 수준의 정확도를 제공하지 않습니다.

 

 트리의 성능은 배깅, 부스팅, 랜덤 포레스트 같은 방법을 사용하여 향상될 수 있습니다.

 

---

참고자료 및 그림 출처

Gareth James의 An Introduction to Statistical Learning