Shannon's Information Measures Shannon's information measure에는 4가지 유형이 있습니다. 1. entropy 2. conditional entropy 3. mutial information 4. conditional mutual information Entropy의 정의와 함께 시작하겠습니다. Entropy 컴퓨터 사이언스에서 bit와 정보 이론에서 bit는 다릅니다. 캄퓨터 사이언스에서 bit는 0과 1을 의미하고 정보이론에서는 랜덤 변수의 엔트로피가 bit로 측정됩니다. 엔트로피는 X의 분포만 의존합니다. X가 갖는 실제 값은 상관 없습니다. 다음 예제를 살펴보면 엔트로피는 분포에만 종속적이라는 것을 확인할 수 있습니다. Compact way to re..
