RMSProp：記住近期，忘掉遠期RMSProp emphasizes recent gradients

IDL115 · CH03 · KP11 · 27/44
用指數平均，避免所有歷史永久累積。 / Exponential averaging forgets older gradients.

逐維二階原始矩Per-coordinate second raw moment

g² 是逐元素平方；不是整個向量範數平方。 / Square each coordinate.

vt,j=β2vt−1,j+(1−β2)gt,j2(40)v_{t,j}=\beta_2v_{t-1,j}+(1-\beta_2)g_{t,j}^2\quad\text{(40)}

逐維縮放Coordinate scaling

這裡採常見 sqrt(v)+ε 慣例；教材寫 sqrt(v+ε)。 / Epsilon placement is a stated convention.

wt,j=wt−1,j−ηgt,jvt,j+ε(41)w_{t,j}=w_{t-1,j}-\frac{\eta g_{t,j}}{\sqrt{v_{t,j}}+\varepsilon}\quad\text{(41)}

記憶長度Memory length

β₂ 越接近 1，遺忘越慢；通常 0≤β₂<1。 / A larger decay factor remembers longer.

教材 / Source KP11 · 目錄 / Index