一階近似:往上坡推一小步First-order adversarial perturbation

IDL115 · CH03 · KP13 · 34/44
先把鄰域損失近似成線性,再解內層最大化。 / Linearize the inner maximization.

Taylor 近似Taylor approximation

g 是當前點的損失梯度。 / g is the current gradient.

L(w+ϵ)≈L(w)+g⊤ϵ\mathcal L(w+\epsilon)\approx\mathcal L(w)+g^\top\epsilon

歐氏球的解Euclidean-ball solution

g≠0 時,線性化內層有以下精確解。 / This solves the linearized problem.

ϵ^=ρg∥g∥2(p=2)(52)\hat\epsilon=\rho\frac g{\|g\|_2}\quad(p=2)\quad\text{(52)}

數值例子Numerical example

g=(3,4)、ρ=0.1:擾動=(0.06,0.08),長度 0.1。 / The perturbation follows the uphill gradient.

∥g∥2=5,ϵ^=(0.06,0.08)\|g\|_2=5,\quad\hat\epsilon=(0.06,0.08)