不是所有局部極小值都一樣

反向傳播能找到損失函數的局部極小值，但並非所有局部極小值都同樣好。經驗研究 [20] 顯示：更平坦（flat / smooth）的極小值，往往比尖銳（sharp）的極小值泛化更好。圖（Fig. 6）直觀對比了兩者：

• Sharp minimum（尖銳極小值）：最優解附近損失急劇上升——解在一個「尖峰」上，稍微偏離就代價很大。
• Flat minimum（平坦極小值）：最優解附近損失幾乎不變——解落在一個「寬谷」中，對參數擾動不敏感。

「平坦」指的是：在解的鄰域內，損失值幾乎保持不變，而非只在單一點上驟降。

平坦 vs 尖銳：與泛化的可能關聯

這個觀察暗示了解的平滑度與神經網路對未見測試資料的泛化能力之間可能存在關聯 [20]——平坦解對參數的小擾動（例如測試時的分佈偏移）更穩健。

但這個主張仍在文獻中被辯論。部分研究 [43] 指出，平坦度並非泛化性能的唯一因素，其他機制（如隱式正則化、資料結構等）也可能扮演重要角色。不過，「找更平坦的解」仍是一個有實用價值的優化方向。

與一階方法的呼應

回顧本章開頭（§1）：一階方法（如 SGD）傾向找到更平坦的局部極小值，而二階方法可能收斂到更尖銳的極小值——後者常與較差的泛化相關。這提供了從優化算法選擇到泛化表現的一條直覺線索。

SAM 的動機：主動尋找平坦解

基於「平坦極小值可能泛化更好」的動機，Sharpness-Aware Minimization（SAM） [20] 被提出。SAM 的核心想法是修改優化目標：不只最小化當前點的損失，還要懲罰解的鄰域內的最大損失——迫使算法收斂到「整片鄰域都低」的平坦區域，而非「只在單點低、旁邊就飆高」的尖銳點。

具體的 min-max 公式與演算法細節留到 kp13（§6.1 Vanilla SAM）詳述。這裡只需記住：SAM 是從「平坦極小值可能更好」這個觀察出發，對標準梯度下降的一次有意義的擴展。

教授祕笈：平坦極小值與 SAM 動機——針尖站不住，寬碗才穩

同學，反向傳播能找到「局部最低點」，但最低點長得不一樣。主線比喻就一個：針尖 vs 寬碗。針尖（sharp minimum）在最優點損失確實很低，可旁邊幾乎垂直——參數稍偏、測試資料稍變，損失就飆。寬碗（flat minimum）碗底損失未必是全場最低，但整圈都低，晃一晃還在碗裡。經驗上，寬碗往往比較能泛化；SAM 的動機，就是不要只挖針尖，要主動找寬碗。

先把任務講成一句人話

一句話：不是所有局部極小值都一樣好；鄰域裡損失幾乎不變的寬碗，通常比旁邊立刻變陡的針尖更禁得起擾動——SAM 就是為了把優化目標改成「整圈都低」。

鷹架式：先直覺，再符號

先講畫面，再講公式。Fig. 6 對比兩種谷：

• 針尖（sharp）：解像站在針尖上，損失在最優點附近急劇上升。
• 寬碗（flat）：解像坐在寬碗底，鄰域內損失幾乎保持不變。

「平坦」指的不是「損失值比較高或比較低」，而是對參數微擾不敏感。測試時權重有量化誤差、資料有分佈偏移，都等價於你在解附近被推了一把——針尖上那一把是墜崖，寬碗裡那一把還在碗底。

這個主張有經驗支持，但文獻裡仍在辯論：平坦度不是泛化的唯一原因，隱式正則化、資料結構也可能幫忙。所以這一站的正確態度是「寬碗是值得追的方向」，不是「寬碗已被定理保證一定贏」。

回顧 KP-1：一階方法（尤其 SGD）傾向掉進較平坦的谷，二階方法比較會鑽進針尖。這提供一條從「選算法」到「泛化」的直覺橋。SAM 則更進一步：不靠算法的偶然偏好，而是改寫目標，主動懲罰鄰域裡的高損失。

符號逐個拆（動機層，公式細節留給 KP-13）

標準訓練只做

$$\min_{\boldsymbol{w}}\,\mathcal{L}(\boldsymbol{w}),$$

只在乎當前這一點低不高。SAM 的動機是改成「看整圈」：在半徑 $\rho$ 的鄰域裡，先找損失最大的那一推，再讓 $\boldsymbol{w}$ 去壓低那個最壞情況。白話就是——

• 針尖：單點很低，旁邊很高 $\rightarrow$ 最壞情況很慘，SAM 會重罰。
• 寬碗：單點未必最低，但旁邊也不高 $\rightarrow$ 最壞情況仍然低，SAM 喜歡。

min-max 的精確寫法與 $\boldsymbol{\epsilon}^{*}$ 的求法是 KP-13 的 Vanilla SAM；這裡只要抓住動機：懲罰銳度（sharpness），逼算法離開針尖、走進寬碗。

真的算一遍：看起來更低的針尖，一晃就摔

設一維玩具損失。針尖在 $w=0$ 確實比較低，寬碗比較「墊高」一點，但碗很開：

$$f_{\text{針}}(w)=0.01+50w^{2},\qquad f_{\text{碗}}(w)=0.08+0.5w^{2}.$$

只看最優點，$0.01\lt 0.08$，普通梯度下降會覺得針尖比較香。現在允許參數（或測試條件）偏離 $0.1$、$0.2$、$0.5$，並用 SAM 式的鄰域半徑 $\rho=0.2$ 看「最壞損失」。

SAM 若看 $\rho=0.2$ 鄰域內的最大損失：針尖是 $2.01$，寬碗是 $0.10$——差二十倍。普通訓練會選針尖；看整圈的人會選寬碗。這就是「平坦可能更好」的數字版：泛化在意的是被推一把之後還剩多少，不是你在針尖上拍到的那張最低分。

先留一個反轉

訓練曲線上「訓練損失更低」的那個解，看起來像贏家。上面那張表把這份直覺翻過來：針尖在 $w=0$ 贏了 $0.07$，可是偏個 $0.2$ 就輸了將近 $2$。如果你以為「最低點一定最好」，你已經站上針尖了。SAM 要你改問：旁邊那圈高不高？

換個場景，自己找出同一條路

把參數擾動換成「停車」。針尖是把車停在山脊的刀刃上，座標完美，一陣風就滑下山。寬碗是停在盆地，位置差幾公分無關痛癢。測試資料的偏移就是那陣風。

自己算一題：若寬碗改成 $f(w)=0.08+2w^{2}$，在 $\lvert w\rvert=0.2$ 時損失是多少？還比針尖的 $2.01$ 低嗎？（提示：先算 $2\times 0.04$。）

大家最容易在這裡搞混

第一，「平坦極小值已被嚴格證明一定泛化更好」。錯。有經驗支持，文獻仍在辯論，平坦度不是唯一因素。第二，「平坦＝損失值比較高，所以比較差」。錯。平坦描述的是鄰域形狀，不是單點高低。第三，「SAM 是用來加速每步計算或取代反向傳播」。錯。它改的是優化目標（懲罰鄰域高損失），計算上往往更貴，細節見 KP-13。

跨知識點掛勾

KP-1 已說過：一階方法傾向較平坦的谷，二階方法容易鑽針尖。KP-7 的 SGD 雜訊，常被認為有把解推向寬碗的副作用。KP-9 的「$\eta$ 寬帶子」是另一種「停在鄰域裡晃」——那是收斂精度的帶子；這裡的寬碗是損失地形的形狀，別把兩件事當成同一個 $\eta$。KP-13 會把動機寫成真正的 min-max 公式。

換句話重述

局部極小值有針尖與寬碗兩種長相：針尖單點很低、旁邊驟升；寬碗整圈都低、較禁得起擾動。經驗上寬碗常較能泛化，但仍在辯論。SAM 的動機是懲罰鄰域最大損失，主動離開針尖。

一句話收尾： 別站針尖——要坐寬碗；SAM 看的不是單點多低，是整圈晃不晃得住。