[정보 이론] Shannon's Information Measures

Shannon's Information Measures

 Shannon's information measure에는 4가지 유형이 있습니다.

 

1. entropy

2. conditional entropy

3. mutial information

4. conditional mutual information

 

 Entropy의 정의와 함께 시작하겠습니다.

 

Entropy

 

 

 컴퓨터 사이언스에서 bit와 정보 이론에서 bit는 다릅니다. 캄퓨터 사이언스에서 bit는 0과 1을 의미하고 정보이론에서는 랜덤 변수의 엔트로피가 bit로 측정됩니다.

 

 엔트로피는 X의 분포만 의존합니다. X가 갖는 실제 값은 상관 없습니다. 다음 예제를 살펴보면 엔트로피는 분포에만 종속적이라는 것을 확인할 수 있습니다.

 

 

Compact way to represent entropy

 엔트로피는 평균을 사용하여 간단히 표현할 수 있습니다.

 

 

 엔트로피는 평균의 관점에서 표현할 수 있습니다. 랜덤 변수 X의 엔트로피는 확률 분포 p(x)의 함수이며 X에 포함되어 있는 정보의 평균을 측정하거나 X의 outcom이 밝혀지고나서 제거된 uncertainty의 평균을 의미합니다.

 

Binary Entropy Function

 

 binary entropy function은 h(0) = h(1) = 0 인 함수입니다. 0과 1에서 연속적이며 0.5에서 최대값 1을 갖습니다. 

 

 

 binary entropy function은 다음과 같이 해석할 수 있습니다.

 

 

 $\gamma$는 사건이 발생할 확률이라고 가정하겠습니다. $\gamma$가 0또는 1인 경우에 동전의 결과는 결정론적이므로 outcome을 표현하기 위해 0 비트가 필요합니다. $\gamma$가 0.5인 경우에는 앞면, 뒷면의 확률이 동일하므로 공정한 결과를 나타낼 것입니다. outcome을 표현하기 위하여 1bit의 정보가 필요합니다.

 

Joint Entropy

 

Conditional Entropy

 

 

(1) Proposition

 

 이 성질은 X와 Y 둘다 밝혀지고 나서 제거된 불확실성의 총량은 X가 밝혀지고 제거된 불확실성과 X가 알려진 상태에서 Y가 밝혀지고 제거된 불확실성의 합이 동일하다는 것을 나타냅니다.

 

Mutual Information between two random variables

 상호정보량은 두 랜덤변수 사이의 조건부확률과 주변확률 사이의 비율의 평균으로 해석해볼 수 있습니다. 

 

(1) Proposition

 

 단일 랜덤 변수에 대한 상호정보량은 엔트로피와 동일합니다. 따라서 X의 엔트로피를 X의 self-information이라고도 합니다.

 

(2) Proposition

 

 X와 Y 사이의 상호정보량은 Y가 주어진 경우에 X에 대해 얻을 수 있는 정보의 총량 혹은 불확실성의 감소로 해석할 수 있습니다. 또한 상호정보량은 symmetric 합니다. 

 

 상호정보량은 Set theoretical formula와 유사합니다.

 

 

 H(x,y)는 x와 y 정보의 합집합, H(ylx)는 x가 알려진 후 남아있는 y의 정보량, I(x;y)는 x와 y의 정보 교집합으로 생각할 수 있습니다. 위 그림이 정말 직관적이네요 ㅎㅎ

 

Mutual Information between X and Y conditioning on Z

 

(1) Proposition

 

---

출처: Coursera Information Theory 강의

https://www.coursera.org/learn/information-theory/home/info

Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera