AdaGrad：每個維度一把尺AdaGrad uses a separate scale per coordinate

IDL115 · CH03 · KP10 · 25/44

哪個維度累積坡度大，之後就用較小有效學習率。 / Large accumulated gradients reduce the effective step.

梯度平方累積Squared-gradient accumulation

rⱼ 保留第 j 維的歷史平方。 / Accumulate each coordinate separately.

g_{k,j}=\partial_j f_{i_k}(w_k),\quad r_{k,j}=\sum_{\tau=0}^k g_{\tau,j}^2\quad\text{(38)}

修正教材 (39) 的樣本索引與維度混用。 / Keep sample and coordinate indices distinct.

w_{k+1,j}=w_{k,j}-\frac{\eta_k}{\sqrt{\varepsilon+r_{k,j}}}g_{k,j}\quad\text{(39)}

G 對角線是各維分母；不是任意稠密矩陣。 / G is diagonal.

G_{jj}=\sqrt{\varepsilon+r_{k,j}},\quad w_{k+1}=w_k-\eta_kG^{-1}g_k\quad\text{(37)}