[통계학] 17. 추정법과 점추정량 - 적률법, 최대가능도추정법, 일치성, 비편향성, 효율성

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다.

(k-mooc 통계학의 이해2, 여인권)을 수강하면서 공부한 내용을 정리해보았습니다.

 

---

 

 점추정량 구하는 방법과 좋은 점추정량이 가져야할 성질에 대해서 알아보겠습니다.

 

---

1. 점추정

 점추정은 미지의 모수를 표본의 어떤 함수(통계량, statistic)를 이용하여 어떤 값으로 추정하는 과정입니다.

 

 세가지 추정방법이 있습니다.

(1) 적률법(method of moments)

(2) 최대가능도추정법(maximum likelihood estimation)

(3) 최소제곱법(least squares estimation)

 여기서는 (1)과 (2)만 알아보도록 하겠습니다. (3)은 나중에 회귀분석을 공부할 때 알아보겠습니다.

 

2. 적률법 - method of moments

 moments 는 기댓값 E(X)를 의미합니다.

 대부분 확률분포에서 모수는 기댓값으로 표시하는 것을 이용하여 표본의 기댓값을 통해 모수를 추정하는 방법입니다.

 표본의 기댓값, 분산을 모수로 추정하는 방법입니다.

 

3. 최대가능도추정법 - maximum likelihood estimation

(1) 최대가능도추정법이란?

 가능도(likelihood, 우도) 함수를 미분해서 기울기가 0인 위치에 존재하는 최대가능도추정량(MLE)를 찾는 방법입니다.

 

 $X$ ~ $B(10, \theta)$에서 $\theta$는 성공확률을 의미하며, 이는 이항분포입니다.

 x는 고정되고 $\theta$에 따른 값을 보겠습니다.

 이를 그래프로 나타내면 다음과 같습니다.

 여기서 최대 높이의 위치를 최대가능도추정량(MLE)라고 합니다.

 곡률(curvature)은 모수에 대한 자료의 정보량인데 이를 이용하여 최대가능도추정량을 찾을 수 있습니다.

 

 가능도(likelihood, 우도)함수를 $\theta$로 미분하면 최대가능도추정량이 나옵니다.

 

(2) 가능도함수

 가능도함수를 $\theta$로 미분하면 최대가능도추정량을 찾을 수 있습니다.

 가능도함수는 $\theta$의 함수입니다.

 

 가능도함수는 로그를 취하는 것이 쉬울 때가 많습니다.

 위 식을 $\theta$로 미분하면 최대가능도추정치를 얻을 수 있습니다.

 

4. 베이지안 추론

 베이지안 추론에 대해 잠깐 알아보겠습니다.

 베이지안 추론은 사후분포에 관심을 갖습니다.

 가능도 함수를 이용하여 다음과 같이 표시할 수 있습니다.

 

5. 추정량 - estimator

 추정량은 확률변수, 추정치는 실제 관측값(실제 모수)을 의미합니다.

직관적인 추정량

 점추정량이 연속확률분포를 따르면, 연속확률분포에서 어떤 점에서의 확률이 0인 것 처럼 점추정량과 모수가 정확하게 일치할 확률은 0입니다.

 추정량은 구간추정과 가설검정에서의 기준통계량으로 사용됩니다.

 

 좋은 추정량을 판단하는 3가지 기준이 있습니다.

(1) 일치성(consistency)

(2) 비편향성(unbiasedness, 불편성)

(3) 효율성(efficiency)

 

6. 일치성 - consistency

 표본크기 n이 커지면 추정량은 모수로 수렴한다는 것을 의미합니다.

 큰수의 법칙(대수의 법칙)을 이용했습니다.

 

 

7. 비편향성 - unbiasedness, 불편성

 편향(편의)는 추정량의 기댓값 - 실제값을 의미합니다.

 편향이 0인 경우 비편향 추정량을 의미합니다.

 표준편차의 경우에는 편향이 발생하지만 일치성도 만족하고 편차의 좋은 추정량이기 때문에 사용합니다.

 

8. 효율성 -efficiency

 추정량을 비교할 때 사용하는 측도입니다.

 MSE(mean square error)는 대표적인 비교 기준입니다.

 동일한 표본크기에서 $MSE(\hat\phi_1) \leq MES(\hat\phi_2)$ 이면, $\hat\phi_1$이 $\hat\phi_2$보다 더 효율적입니다.

 즉 MSE값이 작아야 효율적입니다.  

 

9. 추정법과 점추정의 성질 정리

''

---

 

 이상으로 추정법과 점추정에 대해 알아보았습니다. 감사합니다.