딥러닝 공부방

Chain Rule for Entropy 엔트로피에서도 연쇄 법칙이 성립합니다. 이전 포스팅에서의 entropy diagram을 생각해 보았을 때, H(1,2) = H(1) + H(2$\mid$1)은 당연합니다. Chain Rule for Conditional Entropy 조건부 엔트로피에 대해서도 연쇄 법칙이 성립합니다. Chain Rule for Mutual Information Chain Rule for Conditional Mutual Information 증명은 너무 어렵네요..ㅎㅎ 다른 증명입니다. 출처: Coursera Information Theory 강의 https://www.coursera.org/learn/information-theory/home/info Coursera | Onl..

Continuity of Shannon's Information Measuers for Fixed Finite Alphabets All Shannon's information measures are continuous when the alphabets are fixed and finite. For countable alphabets, Shannon's information measures are everywhere discontinuous 이번 내용에서 배우는 내용은 이 책의 범위에 벗어나지만 어느정도 이해를 해야합니다. finite alphabets와 countable alphabets 사이에 큰 차이점이 존재합니다. finite alphabets에서는 shannon's information measu..

Shannon's Information Measures Shannon's information measure에는 4가지 유형이 있습니다. 1. entropy 2. conditional entropy 3. mutial information 4. conditional mutual information Entropy의 정의와 함께 시작하겠습니다. Entropy 컴퓨터 사이언스에서 bit와 정보 이론에서 bit는 다릅니다. 캄퓨터 사이언스에서 bit는 0과 1을 의미하고 정보이론에서는 랜덤 변수의 엔트로피가 bit로 측정됩니다. 엔트로피는 X의 분포만 의존합니다. X가 갖는 실제 값은 상관 없습니다. 다음 예제를 살펴보면 엔트로피는 분포에만 종속적이라는 것을 확인할 수 있습니다. Compact way to re..