動量的向量合成Vector addition behind momentum

IDL115 · CH03 · KP05 · 11/44
更新向量 = 歷史慣性 + 目前下坡推力。 / The update combines inertia and the current descent force.

例子：兩個分量Two-component example

歷史向右上，本次梯度更新向右下，垂直分量抵消。 / Opposing vertical components cancel.

αΔwk−1=(0.4,0.3),−ηgk=(0.2,−0.3)\alpha\Delta w_{k-1}=(0.4,0.3),\quad-\eta g_k=(0.2,-0.3)

合成結果Resultant

合成後沿谷底往右。 / The resulting step moves along the valley.

Δwk=(0.6,0)\Delta w_k=(0.6,0)

與 Adam 連結Connection to Adam

Adam 使用梯度的指數平均保存方向，再加逐維縮放。 / Adam averages directions and scales coordinates.

教材 / Source KP5 · 目錄 / Index