自己情報量とは、特定の事象がどれだけの情報を持っているかを表す尺度のことです。
言い換えると、自己情報量は、その事象の起こりにくさを数値化したもので、事象が予測しにくい、つまり起こりにくいほど、その自己情報量は大きくなります。
ある事象が起こる確率を\(p\)とした場合、自己情報量\(I\)は、以下のように表されます。
\[I=-\log_2 p\]
自己情報量において、対数の底は、通常、2を用います。対数の底を2とした場合、自己情報量の単位は、ビットになります。
確率\(p\)の自己情報量\(I\)をグラフにすると、以下になります。
\(p=1\)のとき、自己情報量は0です。一方、\(p\)が小さくなればなるほど、自己情報量は急激に大きくなります。