噪聲地板：上界不是下限Noise floor: an upper bound is not a lower bound

IDL115 · CH03 · KP09 · 23/44

用可精確分析的二次函數觀察固定步長與噪聲。 / Inspect a quadratic with persistent gradient noise.

可算的模型Solvable model

f(w)=w²/2；ξ 是零均值、方差 σ² 的獨立噪聲。 / Assume independent, zero-mean noise.

w_{k+1}=(1-\eta)w_k-\eta\xi_k,\quad\mathbb E\xi_k^2=\sigma^2

0<η<2 時可推導精確長期值，η 小時與 η 同量級。 / The noise floor scales linearly for small η.

\lim_{k\to\infty}\mathbb E f(w_k)=\frac{\eta\sigma^2}{2(2-\eta)}

強凸固定步長：幾何下降加上噪聲項；倍率需配合實際步長。 / A transient term plus a noise term.

\mathbb E[f(w_t)-f^*]\le C(1-\mu\eta)^t+C'\eta