[벡터 미적분학] 해시안(Hessian)

해시안(Hessian) 

 일변수함수에서 임계점 중 극점이 되는 판별법은 f''(x0) > 0 이면 극대점, f''(x0) < 0 이면 극소점 입니다.

 

 하지만 다변수함수에서 이계편도함수(second derivative)는 상당히 복잡합니다. 이를 위해 헤시안(Hessian)이라고 불리는 이계편도함수의 표현법을 소개하겠습니다. 이 해시안은 이차 함수(Quadratic function)과 관련이 있습니다.

 

 다음과 같이 표현되는 경우에 이차 함수(Quadratic function)라고 합니다.

 

 

 이를 행렬의 곱으로 나타내면 다음과 같습니다.

 

 

 만약 3개의 변수를 받는 경우, n =3은 다음과 같습니다.

 

 

 이것을 이차 함수(quadratic function)이라고 합니다. [aij]는 대칭 행렬이라고 가정합니다.

 

 이제 해시안(Hessian)을 정의하겠습니다. 해시안 행렬은 어떤 함수의 이계도함수를 이용하여 행렬을 만든 것입니다.

 

출처: https://angeloyeo.github.io/2020/06/17/Hessian.html

 

점 x0에서 함수 f의 해시안은 다음과 같이 정의되는 이차 함수 입니다.

 

 

 편미분의 교환법칙이 성립하므로 이차편도함수 행렬은 대칭입니다.

 

 이 함수는 주로 임계점(critical points) x0에서 사용됩니다. 이 경우에 Df(x0)=0 이 되므로 테일러식은 다음과 같이 됩니다.

 

 

 따라서 임계점에서의 해시안은 f의 테일러 급수에서 상수가 아닌 첫 번째 항이 됩니다.

 

 n개의 변수를 받는 이차 함수 g가 모든 h에 대해 g(h) >= 0 이 만족하고 h=0인 경우에만 g(h) = 0 이면 이 이차 함수 g를 양의 정부호(positive-definite)라고 부릅니다. 유사하게, 모든 h에 대하여 g(h) <= 0을 만족하고 h = 0인 경우에만 g(h)=0 이면 이 이차 함수 g(h)를 음의 정부호(negative-definite)라고 합니다.

 

 다음 포스팅에서는 이 해시안 행렬을 사용하여 이계도함수 판정법에대해 공부해보겠습니다. 감사합니다.

---

참고자료 및 그림 출처

Jerrold E. Marsden의 Vector Calculus