什麼時候停止？四種訊號Four stopping signals

IDL115 · CH03 · KP03 · 6/44
「不再變化」與「已經最優」是兩件事。 / Little change is not proof of optimality.

坡度夠小Small gradient

ε 是容許門檻；小梯度表示接近駐點。 / A small gradient suggests stationarity.

∥∇f(wk+1)∥2≤ϵ\|\nabla f(w_{k+1})\|_2\le\epsilon

損失或梯度變化小Small changes

向量差應使用範數。 / Use a norm for a vector difference.

∣f(wk+1)−f(wk)∣≤ϵf∥∇f(wk+1)−∇f(wk)∥2≤ϵg\begin{aligned}|f(w_{k+1})-f(w_k)|&\le\epsilon_f\\\|\nabla f(w_{k+1})-\nabla f(w_k)\|_2&\le\epsilon_g\end{aligned}

計算預算Budget

達到最大 step 或 epoch 就停；可搭配多個訊號。 / Combine thresholds with a maximum step count.

教材 / Source KP3 · 目錄 / Index