凸與非凸:能保證什麼?Convex and nonconvex guarantees

IDL115 · CH03 · KP02 · 5/44
單一碗形與多谷地形,需要不同的結論。 / One-bowl and multi-basin landscapes admit different guarantees.

凸函數Convex objective

適當步長、存在最小值等條件下,可讓目標值趨近全域最小值。 / Appropriate assumptions give global objective convergence.

非凸函數Nonconvex objective

一般只保證接近駐點;駐點可能是局部谷底、鞍點或極大點。 / A stationary point need not be a minimum.

∇f(w)=0\nabla f(\boldsymbol w)=0

初始化Initialization

同一演算法可能走入不同盆地;在圖中切換起點觀察。 / Different starts may enter different basins.