ASAM：讓鄰域跟著權重尺度ASAM adapts the neighborhood scale

IDL115 · CH03 · KP14 · 38/44

同一函數可用不同尺度的參數表示；量尺也需相應改變。 / Adjust the neighborhood under function-preserving rescaling.

自適應約束Adaptive constraint

T 是正規化算子；球形約束在權重空間可變成橢圓。 / A normalized ball can become an ellipsoid.

\|T_w^{-1}\epsilon\|_p\le\rho

僅針對保留模型函數的重縮放 A，並要求 T 的相容性。 / Restrict A to function-preserving rescalings.

T_{Aw}^{-1}A=T_w^{-1}\quad\text{(56)}

以相容的尺度比較同一模型附近的損失。 / Compare compatible neighborhoods.

\max_{\|T_w^{-1}\epsilon\|_p\le\rho}[\mathcal L(w+\epsilon)-\mathcal L(w)]\quad\text{(57)}