バッチ勾配降下法

バッチ勾配降下法とは、以下の手順で機械学習モデルを最適化する勾配降下法のことです。

1. 機械学習モデルを特徴付けるパラメーター(重みやバイアスなど)の初期値を設定します。

2. 機械学習モデルの性能を評価するために、損失関数を定義します。

3. すべての訓練データを用いて、損失関数の総和を求めます。

4. この総和を用いて、各パラメーターに対する損失関数の勾配を計算します。

5. この勾配に学習率を掛けた値をパラメーターから引きます。

6. 損失関数の値の変化が非常に小さくなるまで手順3〜5を繰り返します。

バッチ勾配降下法のメリット

バッチ勾配降下法では、すべての訓練データを用いてパラメーターを更新するため、勾配の方向が安定し、収束が安定する可能性が高いです。

バッチ勾配降下法のデメリット

バッチ勾配降下法では、すべての訓練データを用いてパラメーターを更新するため、計算に時間が掛かります。また、局所的な最適解に陥り易い傾向があります。