梯度下降：方向乘上步長Gradient descent: direction times step size

IDL115 · CH03 · KP02 · 3/44
梯度指向局部上升最快方向；取負號才能下坡。 / The negative gradient points downhill.

優化問題Objective

從初始權重出發，反覆降低損失。 / Start from an initial parameter value.

min⁡wf(w)(1)\min_{\boldsymbol w}f(\boldsymbol w)\qquad\text{(1)}

更新量Increment

新位置 = 舊位置 + 更新量。 / New value equals old value plus the increment.

Δwk=−η∇f(wk)(2),(4)\Delta\boldsymbol w_k=-\eta\nabla f(\boldsymbol w_k)\quad\text{(2),(4)}

參數更新Update

學習率 η 控制每一步有多大。 / The learning rate controls step length.

wk+1=wk−η∇f(wk)\boldsymbol w_{k+1}=\boldsymbol w_k-\eta\nabla f(\boldsymbol w_k)
教材 / Source KP2 · 目錄 / Index