交差エントロピーとは、予測された確率分布が真の確率分布からどれだけ離れているかを測定するものです。
離散型確率分布において、真の確率分布を\(p(x_i)\)、予測された確率分布を\(q(x_i)\)とした場合、交差エントロピー\(H(p,q)\)は、以下のように表されます。
\[H(p,q)=-\sum_{i=1}^{n}p(x_i)\log_e q(x_i)\]
交差エントロピーの対数の底は、一般的に、ネイピア数\(e\)が利用されます。
予測された確率が真の確率よりも小さいときに、交差エントロピーは増加します。特に、真の確率よりも予測された確率が極端に低い場合、交差エントロピーは非常に大きくなります。
そして、真の確率分布と予測された確率分布が等しいとき、交差エントロピーは最小になります。