Continuity of Shannon's Information Measuers for Fixed Finite Alphabets
- All Shannon's information measures are continuous when the alphabets are fixed and finite.
- For countable alphabets, Shannon's information measures are everywhere discontinuous
이번 내용에서 배우는 내용은 이 책의 범위에 벗어나지만 어느정도 이해를 해야합니다.
finite alphabets와 countable alphabets 사이에 큰 차이점이 존재합니다. finite alphabets에서는 shannon's information measures가 continuous, countable alphabets에서는 shannon's information measure가 discontinuous 입니다.
Variational distance
Variational distance는 수학에서 L1 distance를 의미합니다. 이 variational distance는 entropy 함수의 continuity가 무엇을 의미하는지 설명합니다.
variational distance에서 p와 q가 충분히 가까우면 두 분포의 엔트로피 차이는 엡실론보다 작습니다.
출처: Coursera Information Theory 강의
https://www.coursera.org/learn/information-theory/home/info
Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera
Learn online and earn valuable credentials from top universities like Yale, Michigan, Stanford, and leading companies like Google and IBM. Join Coursera for free and transform your career with degrees, certificates, Specializations, & MOOCs in data science
'수학 > 정보이론' 카테고리의 다른 글
| [정보 이론] 엔트로피에서 연쇄 법칙(Chain Rule for Entropy) (0) | 2021.08.02 |
|---|---|
| [정보 이론] Shannon's Information Measures (0) | 2021.07.30 |