過參數化：訓得動的理論Overparameterization and optimization

IDL115 · CH03 · KP15 · 39/44
寬度、資料與初始化條件一起決定定理能否使用。 / Width alone is not a complete theorem.

參數比樣本多More parameters than samples

寬或深都可增加參數；本節重點是訓練優化。 / This section concerns training optimization.

淺層模型Shallow quadratic network

固定輸出權重 v，優化隱藏層 W。 / Optimize W with fixed output weights.

h(x)=v⊤σ(Wx),L(W)=12n∑i(yi−h(xi))2h(x)=v^\top\sigma(Wx),\quad\mathcal L(W)=\frac1{2n}\sum_i(y_i-h(x_i))^2

結構前提Structural conditions

σ(z)=z²、k≥2d、v 至少 d 正與 d 負。 / A specific activation and sign pattern are required.

σ(z)=z2,k≥2d\sigma(z)=z^2,\quad k\ge2d
教材 / Source KP15 · 目錄 / Index