機械学習において、確率的勾配降下法とは、以下の手順で機械学習モデルを最適化する勾配降下法のことです。
1. 機械学習モデルを特徴付けるパラメーター（重みやバイアスなど）の初期値を設定します。
2. 機械学習モデルの性能を評価するために、損失関数を定義します。
3. 訓練データからランダムに一つのデータを選びます。
4. 選んだデータに対して、各パラメーターに対する損失関数の勾配を計算します。
5. この勾配に学習率を掛けた値をパラメーターから引きます。
6. 訓練データが1周するまで手順3〜5を繰り返します。
7. 損失関数の値の変化が非常に小さくなるまで手順6を繰り返します。
確率的勾配降下法では、一つの訓練データごとにパラメーターを更新するため、高速に機械学習モデルの最適化ができ、局所的な最適解に陥りにくい傾向があります。
確率的勾配降下法では、更新の度に、一つの訓練データに偏ったパラメーター更新がなされるため、収束に時間が掛かる場合があります。