バッチ勾配降下法とは、以下の手順で機械学習モデルを最適化する勾配降下法のことです。
1. 機械学習モデルを特徴付けるパラメーター(重みやバイアスなど)の初期値を設定します。
2. 機械学習モデルの性能を評価するために、損失関数を定義します。
3. すべての訓練データを用いて、損失関数の総和を求めます。
4. この総和を用いて、各パラメーターに対する損失関数の勾配を計算します。
5. この勾配に学習率を掛けた値をパラメーターから引きます。
6. 損失関数の値の変化が非常に小さくなるまで手順3〜5を繰り返します。
バッチ勾配降下法では、すべての訓練データを用いてパラメーターを更新するため、勾配の方向が安定し、収束が安定する可能性が高いです。
バッチ勾配降下法では、すべての訓練データを用いてパラメーターを更新するため、計算に時間が掛かります。また、局所的な最適解に陥り易い傾向があります。