▶ 展示 · 回索引

audit-notes.html

<!doctype html><html lang="zh-Hant"><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1"><title>IDL115 Ch03 稽核與內容對照</title><style>body{font:17px/1.7 "Microsoft JhengHei",Arial;margin:40px auto;max-width:1120px;padding:0 25px;color:#14233c}table{border-collapse:collapse;width:100%}th,td{padding:12px;border-bottom:1px solid #d8e3ef;text-align:left;vertical-align:top}h1,h2{color:#174c9a}a{color:#2563eb}li{margin:14px 0}.en{color:#60748d}</style><h1>內容對照、公式修正與稽核紀錄<br><span class="en">Coverage, mathematical corrections and verification</span></h1><p><a href="index.html">返回目錄 / Back to index</a></p><p>版本 v1 · 2026-10-07 · 44 張獨立資訊圖表。課程代號 IDL115。此檔記錄發布前的內容與互動稽核；部署狀態請參閱 GitHub Actions。</p><h2>來源 / Source</h2><p><a href="https://ndhuccc.github.io/CCC-LNS/IDL_115/Ch03-backprop-optimization/index.html">使用者指定完整教材，KP1–KP16</a><br>Repository source SHA: 06cd5749cf8d9a96bba2deec522629f3e1d41bfa<br>原始教材未修改。內容依教材重新組織；公式編號為對照索引，修正後式子不一定逐字等同原式。</p><h2>數學修正 / Mathematical corrections</h2><ul><li><strong>KP1、KP2</strong>：反向傳播計算梯度，優化器更新權重；非凸 GD 一般只談駐點，不保證局部或全域最優。<br><span class="en">Backprop computes gradients; a generic nonconvex guarantee concerns stationarity.</span></li><li><strong>KP3</strong>：梯度向量的變化量採範數；小梯度可能是鞍點。<br><span class="en">Use a norm for gradient differences; small gradients may occur at saddles.</span></li><li><strong>KP4</strong>：線搜索需先檢查零梯度；最陡方向依範數，圖解採歐氏方向。<br><span class="en">Check stationarity before line search; the steepest direction depends on the norm.</span></li><li><strong>KP6</strong>：δ 已包含激活導數，不重複相乘；先算完梯度，才更新所有參數。<br><span class="en">Delta includes the activation derivative; finish gradients before updating weights.</span></li><li><strong>KP7、KP8</strong>：統一平均損失；保留尾批使用 ceil(n/b)，尾批用實際大小正規化；省略 1/b 會改變步幅。<br><span class="en">Keep mean-loss scaling and use the actual final batch size.</span></li><li><strong>KP8</strong>：方差公式需先定義 n 或 n−1 分母；兩種抽樣的有限母體係數必須一致。<br><span class="en">State the variance convention and finite-population factor.</span></li><li><strong>KP8、KP9</strong>：教材式 (27),(28) 僅保留為來源量級摘要，不能當成一般非凸最優值差定理；新增加權期望梯度平方推導。<br><span class="en">Separate source summaries from an explicitly derived stationarity bound.</span></li><li><strong>KP9</strong>：O(η) 上界不是正的誤差下限；持續噪聲下可有地板，但無噪声时地板为零；不保證路徑永遠困在帶內。<br><span class="en">A noise-floor upper bound is not a universal lower bound.</span></li><li><strong>KP10、KP11</strong>：區分樣本與維度索引；RMSProp、Adam 的二階原始矩採逐維平方，並非整個梯度範數平方或方差。<br><span class="en">Use elementwise raw second moments and consistent indices.</span></li><li><strong>KP11</strong>：Adam 首次更新採 t=1；bias correction 用同一 t；採原始 Adam 的 sqrt(vhat)+ε 慣例。<br><span class="en">Use the completed update count and state epsilon placement.</span></li><li><strong>KP12、KP13</strong>：尖銳極小值是窄谷，不是山峰；線性化擾動只精確解線性近似；暫加擾動後必須移除。<br><span class="en">Sharp minima are valleys; the perturbation solves a linearized inner problem.</span></li><li><strong>KP14</strong>：SWP 用逐元素乘法 ⊙ 保持向量維度；SDS 用每筆損失漲幅；空集合需處理。<br><span class="en">Use an elementwise mask and per-example sensitivity.</span></li><li><strong>KP14</strong>：ASAM 的尺度不變性限於保留模型函數的重縮放與相容算子，不是任意可逆矩陣。<br><span class="en">Restrict invariance to compatible function-preserving rescalings.</span></li><li><strong>KP15、KP16</strong>：n≤cd² 本身不能保證任意資料零損失；P 表示未指定多項式，各處未必相同；訓練成功不等於測試泛化。<br><span class="en">Retain data assumptions and distinguish training from test guarantees.</span></li></ul><h2>核對來源 / Primary references</h2><ul><li><a href="https://arxiv.org/pdf/1412.6980">Kingma & Ba — Adam, Algorithm 1</a></li><li><a href="https://arxiv.org/pdf/2110.03141">Du et al. — ESAM</a></li><li><a href="https://proceedings.mlr.press/v139/kwon21b/kwon21b.pdf">Kwon et al. — ASAM</a></li><li><a href="https://viterbi-web.usc.edu/~soltanol/overparam.pdf">Soltanolkotabi et al. — Theoretical insights into over-parameterized neural networks</a>（找到原始論文來源，但此輪 PDF 下載未成功；KP15 保留為教材條件摘要，不能替代完整原定理。）</li></ul><h2>驗證範圍 / Verification</h2><ul><li>44 頁 KaTeX 嚴格編譯成功；公式與字型嵌入 HTML，不依賴 CDN。</li><li>Chrome 實際開啟所有獨立 HTML；逐頁檢查 initial、min、max、step、reset，共 220 個狀態。</li><li>自動檢查公式右界、區塊交疊、狀態與按鈕、頁尾截切、Canvas 文字包圍盒、JavaScript 例外：全部通過。</li><li>人工檢視 44 頁初始畫面總覽，以及長公式與代表性滑桿極值頁面；發現問題後修正並重跑。</li><li>測試 1600×900、1280×720、960×540、640×360、375×700。固定 16:9 整張同比縮放，窄手機畫面文字會較小，建議大視窗閱讀。</li><li>數值圖是所述玩具模型或速率示意，不是深度網路實驗結果。不是所有頁面都提供真實訓練器。</li><li>ZIP 提供目錄、44 頁與此紀錄；coverage.json 提供逐頁公式對照。</li><li>此輪尚未進行 GitHub 推送、Actions 或 Pages 部署驗證。</li></ul><h2>逐 KP 內容清單 / Page mapping</h2><table><thead><tr><th>KP</th><th>頁數 / Pages</th><th>頁面 / Topics</th></tr></thead><tbody><tr><td>KP1</td><td>2</td><td><a href="kp01-training-map.html">訓練的三個問題</a><br><a href="kp01-first-second-order.html">一階與二階：資訊與成本</a></td></tr><tr><td>KP2</td><td>3</td><td><a href="kp02-gd-update.html">梯度下降：方向乘上步長</a><br><a href="kp02-smoothness.html">L-smooth：步長為何重要</a><br><a href="kp02-convex-nonconvex.html">凸與非凸：能保證什麼？</a></td></tr><tr><td>KP3</td><td>2</td><td><a href="kp03-stopping.html">什麼時候停止？四種訊號</a><br><a href="kp03-saddle.html">梯度為零，為何不是谷底？</a></td></tr><tr><td>KP4</td><td>2</td><td><a href="kp04-backtracking.html">線搜索：太大就減半</a><br><a href="kp04-armijo-exact.html">充分下降與精確線搜索</a></td></tr><tr><td>KP5</td><td>2</td><td><a href="kp05-momentum.html">動量：把歷史方向帶進下一步</a><br><a href="kp05-momentum-vectors.html">動量的向量合成</a></td></tr><tr><td>KP6</td><td>4</td><td><a href="kp06-forward.html">前向：先保存中間計算</a><br><a href="kp06-delta-gradient.html">δ 是什麼？權重梯度怎麼來？</a><br><a href="kp06-hidden-recursion.html">隱藏層：沿所有下游路徑加總</a><br><a href="kp06-backprop-example.html">完整回傳：算完，再更新</a></td></tr><tr><td>KP7</td><td>2</td><td><a href="kp07-sgd-unbiased.html">SGD：用一筆估計全體</a><br><a href="kp07-schedule.html">學習率排程：大步到小步</a></td></tr><tr><td>KP8</td><td>3</td><td><a href="kp08-batch-epoch.html">Batch 與 Epoch：一小批與一整輪</a><br><a href="kp08-batch-update.html">Mini-batch：平均一小批梯度</a><br><a href="kp08-batch-variance.html">抽樣方差：為何大批次更穩？</a></td></tr><tr><td>KP9</td><td>4</td><td><a href="kp09-gd-rate.html">全梯度：凸平滑下的收斂界</a><br><a href="kp09-sgd-rate.html">SGD：先說清楚衡量什麼</a><br><a href="kp09-noise-floor.html">噪聲地板：上界不是下限</a><br><a href="kp09-weighted-bound.html">SGD 上界：從一步下降到加總</a></td></tr><tr><td>KP10</td><td>2</td><td><a href="kp10-adagrad.html">AdaGrad：每個維度一把尺</a><br><a href="kp10-adagrad-history.html">AdaGrad 的記憶：只加不減</a></td></tr><tr><td>KP11</td><td>3</td><td><a href="kp11-rmsprop.html">RMSProp：記住近期，忘掉遠期</a><br><a href="kp11-adam.html">Adam：方向記憶加逐維步幅</a><br><a href="kp11-adam-bias.html">偏差修正：補回從零開始的低估</a></td></tr><tr><td>KP12</td><td>2</td><td><a href="kp12-flat-sharp.html">同樣低的點，不同寬度的谷</a><br><a href="kp12-flat-generalization.html">平坦與泛化：動機不是保證</a></td></tr><tr><td>KP13</td><td>4</td><td><a href="kp13-sam-objective.html">SAM：先找附近最壞，再降低它</a><br><a href="kp13-sam-sharpness.html">SAM 損失 = 原損失 + 銳度</a><br><a href="kp13-sam-perturbation.html">一階近似：往上坡推一小步</a><br><a href="kp13-sam-dual-update.html">一般範數與兩次反傳</a></td></tr><tr><td>KP14</td><td>3</td><td><a href="kp14-esam-swp.html">ESAM：只擾動一部分權重</a><br><a href="kp14-esam-sds.html">SDS：挑損失上升較多的樣本</a><br><a href="kp14-asam.html">ASAM：讓鄰域跟著權重尺度</a></td></tr><tr><td>KP15</td><td>4</td><td><a href="kp15-overparameterization.html">過參數化：訓得動的理論</a><br><a href="kp15-landscape-theorem.html">命題 4：局部谷底與鞍點</a><br><a href="kp15-deep-convergence.html">命題 5：深網收斂與條件</a><br><a href="kp15-deep-width-steps.html">深網定理：寬度、步長、高機率</a></td></tr><tr><td>KP16</td><td>2</td><td><a href="kp16-research-map.html">延伸理論：三個研究方向</a><br><a href="kp16-chapter-summary.html">全章收網：算梯度、走一步、驗結果</a></td></tr></tbody></table></html>