全梯度：凸平滑下的收斂界Full-gradient convergence under convexity

IDL115 · CH03 · KP09 · 21/44

收斂率是誤差上界下降的速度，不是每一步的實際曲線。 / A rate describes a bound, not an exact trajectory.

前提Assumptions

f 凸、L-smooth、最小值存在，並使用合適全梯度步長。 / Convexity and a suitable step are essential.

距離初始最優點越遠或 L 越大，界的常數越大。 / Initial distance and smoothness affect the constant.

f(w_{t+1})-f^*\le\frac{2L\|w_0-w^*\|_2^2}{t+1}\quad\text{(31)}

O(1/t) 趨近零；不代表有限步驟精確等於最優。 / Objective gaps vanish asymptotically.

f(w_t)-f^*=O(1/t)\longrightarrow0