坂を転がり落ちて最小値を見つける——機械学習のエンジン
勾配降下法は、最急降下方向に繰り返しステップを踏むことで関数の最小値を求めます。勾配(微分)が「下り坂」の方向を教えてくれ、学習率が各ステップの大きさを制御します。
グラフは f(x) = x⁴ − 3x² + 2 を示しています——2つの谷(局所最小値)を持つ地形です。ある点から出発して、アルゴリズムは坂を一歩ずつ下り、谷底に達するまで進みます。これがニューラルネットワークの学習方法——損失景観の上を「坂道を転がり落ちる」のです。
AIに 「x = 2 から降下して」 または 「学習率を大きくするとどうなる?」 と聞いてみましょう。