ESAM:只擾動一部分權重ESAM stochastic weight perturbation

IDL115 · CH03 · KP14 · 36/44
遮罩抽取座標,再除以選中機率補回期望。 / Mask coordinates and rescale to preserve their expectation.

隨機遮罩Bernoulli mask

每個 mⱼ 以 β 機率為 1;0<β≤1。 / Select each coordinate with probability β.

mj∼Bernoulli(β)m_j\sim\mathrm{Bernoulli}(\beta)

逐元素擾動Elementwise perturbation

使用 ⊙ 保持向量維度,修正原文內積記號。 / Use an elementwise product.

ϵ~=1βm⊙ϵ^(54)\tilde\epsilon=\frac1\beta m\odot\hat\epsilon\quad\text{(54)}

條件期望Conditional expectation

遮罩與已算擾動獨立時,各座標期望保持相同。 / Condition on the computed perturbation.

Em[ϵ~j∣ϵ^]=ϵ^j\mathbb E_m[\tilde\epsilon_j\mid\hat\epsilon]=\hat\epsilon_j