L-smooth：步長為何重要L-smoothness explains safe steps

IDL115 · CH03 · KP02 · 4/44

L 限制梯度變化速度；曲率越大，安全步長越小。 / Larger curvature requires smaller safe steps.

平滑條件Smoothness

梯度改變不能比位置改變快超過 L 倍。 / Gradients are Lipschitz continuous.

\|\nabla f(u)-\nabla f(v)\|_2\le L\|u-v\|_2

在 L-smooth 條件下，可用二次上界控制一步的損失。 / A quadratic upper bound controls progress.

f(w-\eta g)\le f(w)-\eta(1-L\eta/2)\|g\|_2^2

η=1/L 是常用理論選擇；L 未知時需調整或線搜索。 / Use line search when L is unknown.

\eta=1/L\quad\Longrightarrow\quad f(w^+)\le f(w)-\frac{\|g\|_2^2}{2L}\quad\text{(3)}