充分下降與精確線搜索Armijo and exact line search

IDL115 · CH03 · KP04 · 9/44

線搜索決定沿某方向走多遠；最陡方向也依所選範數而定。 / Step selection and direction selection are distinct.

Armijo 條件Sufficient decrease

不只下降，還要求足夠的下降量，0<c<1。 / Demand a sufficient reduction.

f(w+\eta p)\le f(w)+c\eta\nabla f(w)^\top p

再限制新點方向導數，避免步長過小；常搭配 Armijo。 / Also control the directional derivative.

教材以歐氏負梯度方向求最佳步長。 / Optimize the step along the negative Euclidean gradient.

\eta_k=\arg\min_{\eta\ge0}f(w_k-\eta\nabla f(w_k))\quad\text{(7)}