動量：把歷史方向帶進下一步Momentum carries past directions

IDL115 · CH03 · KP05 · 10/44
同向分量累積，反覆左右的分量可能互相抵消。 / Consistent directions accumulate; alternating directions may cancel.

保留歷史Carry history

α 通常介於 0 與 1；初始更新量設零。 / Usually choose 0≤α<1.

Δwk=αΔwk−1−ηgk(8)\Delta w_k=\alpha\Delta w_{k-1}-\eta g_k\quad\text{(8)}

更新位置Move parameters

記得 Δw 已含負梯度方向，所以這裡加上它。 / The increment already includes the descent sign.

wk+1=wk+Δwkw_{k+1}=w_k+\Delta w_k

適用直覺Ravine intuition

狹長谷底有陡峭橫向與平緩縱向，GD 容易來回。 / An elongated valley makes GD zigzag.

教材 / Source KP5 · 目錄 / Index