情報理論の基礎(1)

情報理論は,「通信」に関連して出てくる以下の2つの最も根源的な問いに答えるための理論です。

  • データは,究極的にはどこまで圧縮可能なのか? (答え: エントロピー)
  • 通信において,究極的にはどこまでの伝送速度を達成できるのか? (答え: チャネル容量)

このことから,情報理論は通信理論の一部であると考えることができます。
しかしながら, 情報理論は,統計物理(熱力学),コンピュータサイエンス(コルモゴロフ複雑性(Kolmogorov complexity)あるいはalgorithmic complexity),統計的推測(Occam’s Razor: “The simplest explanatoin is best”),確率統計(最適な仮説検定と推定)などの諸問題とも深く関連しており,広大な広がりを持った理論です。

このブログでは[1]の参考文献を参考にしながら,情報理論の基礎に関する記事をこれから書いていくことにします。

[参考文献]

[1]  T.  M. Cover and J. A. Thomas,  Elements of Information Theory, Second Edition, Wiley, 2006.