命題 4:局部谷底與鞍點Proposition 4: minima and saddles

IDL115 · CH03 · KP15 · 40/44
「沒有壞的局部谷底」不表示「沒有局部谷底」。 / No spurious minima means local minima are global.

局部即全域Local minima are global

在該二次網路條件下,局部極小值不是較差的陷阱。 / Local minima attain the global objective.

鞍點的負曲率Negative curvature at saddles

存在能讓二階變化下降的方向;不表示無噪 GD 從鞍點一定走開。 / A descent-curvature direction exists.

vec⁡(U)⊤∇2L(Ws)vec⁡(U)<0\operatorname{vec}(U)^\top\nabla^2\mathcal L(W_s)\operatorname{vec}(U)<0

零損失的額外條件Extra conditions for zero loss

n≤cd² 之外,原始定理還要求適當隨機資料與高機率條件。 / Sample size alone is insufficient.

d≤n≤cd2with additional data assumptionsd\le n\le c d^2\quad\text{with additional data assumptions}