SAM 損失 = 原損失 + 銳度SAM loss equals loss plus sharpness

IDL115 · CH03 · KP13 · 33/44
把「谷底低」與「附近也低」分開量測。 / Measure the center and its neighborhood separately.

代數分解Decomposition

把與 ε 無關的當前損失提出最大化。 / Separate the center loss.

LSAM(w)=L(w)+max⁡∥ϵ∥p≤ρ[L(w+ϵ)−L(w)](50)\mathcal L_{\mathrm{SAM}}(w)=\mathcal L(w)+\max_{\|\epsilon\|_p\le\rho}[\mathcal L(w+\epsilon)-\mathcal L(w)]\quad\text{(50)}

比較兩個谷Compare valleys

相同谷底高度與半徑：曲率越大，最壞鄰居損失越高。 / Larger curvature raises neighborhood loss.

半徑的取捨Radius tradeoff

ρ 過小看不出附近差異，過大則一階近似可能不準。 / Large radii weaken local linear approximations.

教材 / Source KP13 · 目錄 / Index