SDS：挑損失上升較多的樣本Select sharpness-sensitive samples

IDL115 · CH03 · KP14 · 37/44
比較每個樣本的損失漲幅，不是拿同一整批損失分所有樣本。 / Rank per-example loss increases.

每筆漲幅Per-example increase

對樣本 i 分別計算擾動前後損失。 / Measure each sample separately.

Δℓi=ℓ(w+ϵ~;xi,yi)−ℓ(w;xi,yi)\Delta\ell_i=\ell(w+\tilde\epsilon;x_i,y_i)-\ell(w;x_i,y_i)

選擇子集Sensitive subset

閾值 α 或指定比例的高漲幅樣本；保留等號歸屬。 / Use a threshold or top fraction.

B+={i∈B:Δℓi>α},B−=B∖B+(55)\mathcal B^+=\{i\in\mathcal B:\Delta\ell_i>\alpha\},\quad\mathcal B^-=\mathcal B\setminus\mathcal B^+\quad\text{(55)}

在子集反傳Subset gradient

只對所選子集做第二階段；空集合需回退或確保至少一筆。 / Ensure the subset is nonempty.

g+=1∣B+∣∑i∈B+∇ℓ(w+ϵ~;xi,yi)g^+=\frac1{|\mathcal B^+|}\sum_{i\in\mathcal B^+}\nabla\ell(w+\tilde\epsilon;x_i,y_i)
教材 / Source KP14 · 目錄 / Index