線搜索：太大就減半Backtracking: halve an oversized step

IDL115 · CH03 · KP04 · 8/44

固定方向，試不同步長；這是每次更新內的內層迴圈。 / Try step lengths along one descent direction.

試探條件Trial condition

教材式 (5)：候選點的損失要低於當前值。 / Test whether the candidate decreases loss.

f(w-\eta\nabla f(w))<f(w)\quad\text{(5)}

失敗則 η←η/2；成功才接受更新。 / Halve the step until accepted.

\eta\leftarrow\eta/2\quad\text{until accepted}

非零全梯度與 L-smooth 下，足夠小的正步長可下降。 / Small positive steps decrease a smooth objective.

0<\eta<1/L\quad\text{is sufficient (6)}