情報理論は,「通信」に関連して出てくる以下の2つの最も根源的な問いに答えるための理論です。
- データは,究極的にはどこまで圧縮可能なのか? (答え: エントロピー)
- 通信において,究極的にはどこまでの伝送速度を達成できるのか? (答え: チャネル容量)
このことから,情報理論は通信理論の一部であると考えることができます。
しかしながら, 情報理論は,統計物理(熱力学),コンピュータサイエンス(コルモゴロフ複雑性(Kolmogorov complexity)あるいはalgorithmic complexity),統計的推測(Occam’s Razor: “The simplest explanatoin is best”),確率統計(最適な仮説検定と推定)などの諸問題とも深く関連しており,広大な広がりを持った理論です。
このブログでは[1]の参考文献を参考にしながら,情報理論の基礎に関する記事をこれから書いていくことにします。
[参考文献]
[1] T. M. Cover and J. A. Thomas, Elements of Information Theory, Second Edition, Wiley, 2006.