AdaGrad 的記憶：只加不減AdaGrad never forgets
對稀疏特徵有利；對長期密集更新可能逐漸縮步。 / Useful for sparse features, but steps may shrink over time.
持續梯度Repeated gradient
若同一維每步 g=2，t 步後累積量為 4t。 / Repeated gradients grow the accumulator.
稀疏維度Sparse coordinate
很少被更新的維度，累積平方較小。 / Infrequent coordinates retain larger effective rates.
RMSProp 的動機Why RMSProp
用逐漸遺忘的平均代替只增不減的總和。 / Replace an ever-growing sum by a moving average.