平均情報量とは、離散型確率分布の各事象の発生確率の自己情報量の期待値のことです。
離散型確率分布を\(P(x_i)\)とした場合、平均情報量\(H\)は、以下のように表されます。
\[H=-\sum_{i=1}^{n}P(x_i)\log_2 P(x_i)\]
平均情報量は、離散型確率分布を持った事象の不確実性や予測の難しさを定量的に示します。
離散型確率分布が一様の場合、平均情報量は最大になります。一方、離散型確率分布の形状が偏るほど、平均情報量は減少します。
なお、対数の底を2とした場合、平均情報量の単位は、ビットになります。