過參數化：參數比資料還多，為何還能學好？

深度學習最令人驚訝的現象之一：嚴重過參數化（可學參數遠多於訓練樣本）的網路，往往不只記住訓練集，還能泛化到未見資料。古典統計學預期這應該 overfit，但實務上常非如此——這是現代機器學習的核心謎題之一。

過參數化可能來自寬（每層神經元多）、深（層數多）、或兩者兼具。雖然泛化之謎尚未完全解開，但理論上已證明：在此設定下，梯度法（GD / SGD）儘管面對非凸損失，仍能收斂到全域或近全域極小值 [1, 2, 40]——至少就訓練損失而言，優化是成功的。

淺層網路：Proposition 4

考慮一隱藏層網路：$\boldsymbol{x}\mapsto \boldsymbol{v}^{\top}\sigma(\boldsymbol{W}\boldsymbol{x})$，$\boldsymbol{W}\in\mathbb{R}^{k\times d}$、$\boldsymbol{v}\in\mathbb{R}^{k}$，MSE 損失 $\mathcal{L}(\boldsymbol{W})=\frac{1}{2n}\sum_{i=1}^{n}(y_i-\boldsymbol{v}^{\top}\sigma(\boldsymbol{W}\boldsymbol{x}_i))^2$。

Proposition 4 [40, Theorem 1]：若激活 $\sigma(z)=z^2$（二次）、隱藏層寬度 $k\geq 2d$、輸出層權重 $\boldsymbol{v}$ 中至少有 $d$ 正 $d$ 負，則：

1. 無 spurious local minima：所有局部極小值都是全域極小值——不存在「比全域差但梯度為零」的假解。
2. 鞍點有逃逸方向：任一鞍點 $\boldsymbol{W}_s$ 存在方向 $\boldsymbol{U}$ 使 $\mathrm{vec}(\boldsymbol{U})^{\top}\nabla^{2}\mathcal{L}(\boldsymbol{W}_s)\,\mathrm{vec}(\boldsymbol{U})\lt 0$——Hessian 有嚴格負曲率方向，一階法可逃離。
3. 零訓練損失可達：若 $d\leq n\leq cd^2$（$c\gt 0$ 常數），全域最優達零損失（完美擬合訓練資料）。

Fig. 7 的寓意：在此理論下，幾乎所有局部解都「夠好」、等同全域解——無論初始化如何，優化通常收斂到訓練表現相近的全域級解。不同局部解在訓練資料上表現類似 [11]；神經網路亦隱式把資料映射到 RKHS，使損失曲面更平滑 [13, 21]。

深層網路：Proposition 5

Proposition 5 [2, Theorems 1 & 2]：$l$ 層全連接 ReLU 網路、MSE 損失；資料已正規化（$\|\boldsymbol{x}_i\|_2=1$，最後一維為 $1/\sqrt{2}$）；任意兩筆訓練樣本距離 $\|\boldsymbol{x}_i-\boldsymbol{x}_j\|_2\geq\delta$；權重隨機初始化。則：

• 全批次 GD：若寬度 $m\geq\Omega(\mathrm{poly}(n,l,\delta^{-1})d)$、學習率 $\eta=\Theta\!\bigl(\frac{d\delta}{\mathrm{poly}(n,l)m}\bigr)$，則 $$T=\Theta\!\Bigl(\frac{\mathrm{poly}(n,l)\log(\epsilon^{-1})}{\delta^{2}}\Bigr) \tag{58}$$ 步後以高機率 $1-e^{-\Omega(\log^2 m)}$ 達損失 $\lt \epsilon$。

• Mini-batch SGD（batch 大小 $b$）：寬度 $m\geq\Omega\!\bigl(\frac{\mathrm{poly}(n,l,\delta^{-1})d}{b}\bigr)$、$\eta=\Theta\!\bigl(\frac{bd\delta}{\mathrm{poly}(n,l)m\log^2 m}\bigr)$，則 $$T=\Theta\!\Bigl(\frac{\mathrm{poly}(n,l)\log(\epsilon^{-1})\log^2 m}{\delta^{2}b}\Bigr) \tag{59}$$ 步後同樣高機率收斂到 $\lt \epsilon$。

重點：在適當的過參數化（寬度 $m$ 夠大）與資料分離（$\delta\gt 0$）下，深網也能在多項式時間內把訓練損失降到任意小——這解釋了為何非凸深度優化在實務上「通常能成功」。

理論 vs 泛化

Proposition 4 的第三點與 Proposition 5 都保證訓練損失可任意小，但零訓練損失是否代表測試泛化好，仍是另一個未解問題——本章理論聚焦「優化能否成功」，不直接回答泛化。

教授祕笈：過參數化收斂——坑幾乎一樣深

一句話地圖，一個比喻貫通

主線比喻是「礦區裡的坑幾乎一樣深」。古典統計學說：參數比資料多，模型會過擬合，你掉進哪個坑、坑有多深，全看運氣。深度學習最刺眼的現象卻是：網路嚴重過參數化（可學參數遠多於訓練樣本），訓練不僅經常成功，不同初始化掉進的那些局部極小值，在訓練損失上看起來幾乎一樣好——像整片礦區的坑深度都差不多，沒有「看起來像谷、其實是個淺窪地」的假坑（spurious local minima）。Proposition 4、5 與 Fig. 7 要講的，就是這幅礦區圖為什麼在理論上說得通；它們保證的是訓練損失能被挖到底，不是測試泛化。

鷹架式：先直覺，再符號

先講白話：參數多到離譜，梯度法面對非凸損失，居然還能收到全域或近全域極小值。 過參數化可以來自「寬」（每層神經元多）、「深」（層數多）、或兩者都有。非凸通常意味著到處是鞍點與假谷，實務上卻很少卡死——這兩條命題就是在適當假設下，把「為什麼通常能成功」寫嚴謹。

為什麼需要它？前面整章都在教你怎麼走（GD、SGD、Adam、SAM），還沒回答「這片地本身會不會把你困住」。本節把優化從「演算法技巧」接到「損失曲面的形狀」。

符號逐個拆（Prop 4、Prop 5、式 58–59）

Proposition 4（淺層、一隱藏層）：映射 $\boldsymbol{x}\mapsto \boldsymbol{v}^{\top}\sigma(\boldsymbol{W}\boldsymbol{x})$，$\boldsymbol{W}\in\mathbb{R}^{k\times d}$，$\boldsymbol{v}\in\mathbb{R}^{k}$，損失是 MSE

$$\mathcal{L}(\boldsymbol{W})=\frac{1}{2n}\sum_{i=1}^{n}\bigl(y_i-\boldsymbol{v}^{\top}\sigma(\boldsymbol{W}\boldsymbol{x}_i)\bigr)^{2}.$$

條件：激活 $\sigma(z)=z^{2}$（二次）、寬度 $k\geq 2d$、輸出層 $\boldsymbol{v}$ 至少有 $d$ 個正、$d$ 個負。則三件事成立：

1. 無 spurious local minima：所有局部極小值都是全域極小值——沒有「梯度為零但比全域差一截」的假坑。
2. 鞍點有逃逸方向：任一鞍點 $\boldsymbol{W}_s$ 存在方向 $\boldsymbol{U}$，使 $\mathrm{vec}(\boldsymbol{U})^{\top}\nabla^{2}\mathcal{L}(\boldsymbol{W}_s)\,\mathrm{vec}(\boldsymbol{U})\lt 0$——Hessian 有嚴格負曲率，一階法可以被推走。
3. 零訓練損失可達：若 $d\leq n\leq c d^{2}$（$c\gt 0$ 常數），全域最優可以完美擬合訓練資料。

Fig. 7 的畫面就是：幾乎所有局部解都夠好、等同全域解；不同初始化在訓練集上表現相近。

Proposition 5（深層、ReLU、MSE）：$l$ 層全連接，資料已正規化（$\|\boldsymbol{x}_i\|_2=1$，最後一維 $1/\sqrt{2}$），任兩筆訓練樣本距離 $\|\boldsymbol{x}_i-\boldsymbol{x}_j\|_2\geq\delta\gt 0$，權重隨機初始化。寬度 $m$ 夠大時：

• 全批次 GD：寬度 $m\geq\Omega(\mathrm{poly}(n,l,\delta^{-1})d)$、學習率 $\eta=\Theta(d\delta/(\mathrm{poly}(n,l)m))$，則約

$$T=\Theta\!\Bigl(\frac{\mathrm{poly}(n,l)\log(\epsilon^{-1})}{\delta^{2}}\Bigr) \tag{58}$$

步後，以高機率 $1-e^{-\Omega(\log^{2} m)}$ 把損失降到 $\lt \epsilon$。

• Mini-batch SGD（batch 大小 $b$）：寬度還要再除以 $b$ 的量級，步數（式 59）多一個 $\log^{2} m / b$ 因子，同樣高機率收斂到 $\lt \epsilon$。

重點結構：對 $\epsilon$ 只是對數依賴（要更精只要多走一點），對資料分離 $\delta$ 是 $1/\delta^{2}$（兩筆樣本太像，礦坑邊界糊掉，就要走更久）。

數值真的算一遍：淺層條件與深層步數量級

先看 Prop 4 的門檻。輸入維度 $d=2$，則隱藏層至少 $k\geq 4$，輸出層 $\boldsymbol{v}$ 至少兩個正、兩個負。訓練樣本數要落在 $2\leq n\leq c\cdot 4$；取 $c=3$，則 $n\leq 12$ 時理論保證可以走到零損失。例如 $n=8$、$k=4$：參數個數約 $k\cdot d+k=12$，已經不少於樣本數 8——典型的過參數化，命題卻說假坑不存在、鞍點可逃、訓練可完美擬合。

再看「坑幾乎一樣深」的數字直覺。兩次隨機初始化，訓練損失分別收到 $1.2\times 10^{-3}$ 與 $9\times 10^{-4}$，差在小數點後第四位；古典想像裡，其中一次本該卡在損失 $2.5$ 的假谷。Fig. 7 要你記住的是這張表，不是某一條曲線的造型：

Prop 5 的 $T$ 原文沒給 $\mathrm{poly}$ 的具體係數，下面用示意 $\mathrm{poly}(n,l)=n^{2}l$ 只示範「對數 vs 平方」誰比較痛。取 $n=100$、$l=3$，則 $n^{2}l=30000$。

要更精（A→B）幾乎只多付對數帳單；資料擠在一起（A→C）則按 $1/\delta^{2}$ 漲——分離度比「再多幾個零」貴得多。

懸念與反轉

開場那句「參數比資料多應該過擬合」仍然在你腦海的話，這裡就是翻盤的地方：這些命題把「訓練可以成功」從玄學變成定理，但它們沒有順便把泛化也證完。 零訓練損失只說明礦坑夠深、挖得到底；換一座山（測試集）坑還在不在，原文自己說那是另一個問題。所以你若看到「過參數化所以泛化好」，那是把 Prop 4/5 讀過頭了——本章理論的射程停在優化。

舉一反三的出口

把礦區換成大型樂團：樂手（參數）比曲子小節（樣本）還多，照理該亂成一團；若編制夠寬、聲部正負成對（對應 $k\geq 2d$ 與 $\boldsymbol{v}$ 的正負），命題說沒有「聽起來像完成、其實差一個八度」的假結局，卡關的只是鞍點，一推就走。換成數字練習：$\delta$ 從 $0.5$ 降到 $0.25$，式 (58) 的 $T$ 量級會變成幾倍？不要算 $\mathrm{poly}$，只看 $\delta^{-2}$。

常見誤解點名

• 誤解「無 spurious local minima」＝「沒有任何局部極小值」。意思是局部即全域，不是沒有極小值。
• 誤解「有鞍點就一定卡死」。第二點說鞍點有嚴格負曲率，隨機初始化下 GD 通常逃得掉，不必一上來就上二階法。
• 誤解「Prop 5 保證測試誤差 $\lt \epsilon$」。$\epsilon$ 是訓練損失；式 (58)(59) 的 $T$ 是把訓練損失壓下去的步數。
• 誤解「寬度隨便一點就好」。$m$ 必須大到 $\mathrm{poly}(n,l,1/\delta)$ 那個量級，條件沒滿足時定理不保。

跨知識點掛勾

• KP-12、KP-13：SAM 在「很多谷裡選平坦的」；本節先保證「這些谷的訓練深度差不多」，平坦是下一層的選擇，不是「有沒有谷」的問題。
• KP-2、KP-7：一階法（GD / SGD）在這張曲面上夠用，呼應鞍點可逃。
• KP-9：那時比較 $O(1/t)$ 與 SGD 的鄰域停滯；這裡是過參數化深度網的多項式時間保證，問題從「步長策略」換成「曲面會不會困人」。
• KP-16：會把「優化成功」與「泛化未解」拆開，當全章收網的最後一錘。

換句話重述

過參數化收斂一句話重講：淺層二次網在夠寬、輸出正負成對時沒有假坑、鞍點可逃、樣本不太多時可零訓練損失；深層 ReLU 在夠寬、資料有最小間隔 $\delta$ 時，GD/SGD 能在 $\mathrm{poly}(n,l)\log(1/\epsilon)/\delta^{2}$ 量級的步數把訓練損失壓到任意小——礦坑幾乎一樣深，但換山能不能走是另一題。

一句收尾口訣

「參數再多，假坑消失、鞍點可逃；訓練能挖到底，不代表測試也是同一口井。」