同樣低的點,不同寬度的谷Equal minima, different neighborhood widths

IDL115 · CH03 · KP12 · 30/44
平坦看附近一片,不只看谷底那個點。 / Flatness is a neighborhood property.

尖銳谷底Sharp minimum

很小參數擾動就使損失上升很多。 / Small parameter perturbations sharply raise loss.

平坦谷底Flat minimum

相同擾動半徑下,附近損失變化較小。 / Loss varies less in the same neighborhood.

Δρ(w)=max⁡∥ϵ∥≤ρ[L(w+ϵ)−L(w)]\Delta_{\rho}(w)=\max_{\|\epsilon\|\le\rho}[\mathcal L(w+\epsilon)-\mathcal L(w)]

固定比較尺度Hold the scale fixed

比較需同一半徑、參數化與損失尺度。 / Use the same radius and parameterization.