平坦與泛化:動機不是保證Flatness motivates, but does not guarantee

IDL115 · CH03 · KP12 · 31/44
對參數擾動穩健,不等同於對新資料一定準確。 / Parameter robustness does not guarantee test accuracy.

經驗動機Empirical motivation

部分研究觀察到平坦解測試表現較好,SAM 因而受啟發。 / Empirical observations motivate SAM.

尺度問題Scale dependence

相同函數可由不同參數尺度表示,原始平坦度可能不同。 / Equivalent functions may have different raw sharpness.

泛化仍需評估Evaluate generalization

保留驗證與測試資料,分開報告訓練與測試成績。 / Evaluate on held-out data.