学習率とは、機械学習モデルがデータから学ぶ速度を決めるハイパーパラメータのことです。
学習率が大き過ぎると、大雑把に学習が進み、機械学習モデルの性能が下がる場合があります。また、最適解に収束しにくくなることもあります。
一方、学習率が小さ過ぎると、機械学習モデルの性能が上がることもあるものの、学習に時間が掛かります。さらに、学習率が非常に小さい場合は、局所的な最適解にトラップされるリスクが高くなることもあります。
よって、機械学習モデルごとに、適切な学習率を選択する必要があります。