ESAM:只擾動一部分權重ESAM stochastic weight perturbation
遮罩抽取座標,再除以選中機率補回期望。 / Mask coordinates and rescale to preserve their expectation.
隨機遮罩Bernoulli mask
每個 mⱼ 以 β 機率為 1;0<β≤1。 / Select each coordinate with probability β.
逐元素擾動Elementwise perturbation
使用 ⊙ 保持向量維度,修正原文內積記號。 / Use an elementwise product.
條件期望Conditional expectation
遮罩與已算擾動獨立時,各座標期望保持相同。 / Condition on the computed perturbation.