▶ 展示 · 回索引
00-reading-guide.html
<!doctype html><html lang="zh-Hant"><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1"><title>IDL115 第三章：反向傳播與優化 · 完整教學版</title><style>*{box-sizing:border-box}body{margin:0;background:#edf2f9;color:#14263b;font:17px/1.7 "Microsoft JhengHei",sans-serif}header{background:#14263b;color:white;padding:36px max(24px,calc((100vw - 1100px)/2))}h1{font-size:32px;margin:0}main{max-width:1150px;padding:24px;margin:auto}.note,section{background:white;padding:22px;border-radius:14px;margin-bottom:20px}.pending{border-left:5px solid #ea580c}.cards{display:grid;grid-template-columns:repeat(auto-fit,minmax(280px,1fr));gap:12px}.card{display:block;border:1px solid #d4dfed;border-radius:10px;padding:16px;color:#173c75;text-decoration:none}.card:hover,.card:focus-visible{background:#e7efff;outline:2px solid #2563eb}.card span,.card small{display:block;color:#526277}nav{display:flex;flex-wrap:wrap;gap:10px}nav a{color:#1d4ed8}h2{margin-top:0;font-size:23px}small{font-size:13px}</style><header><h1>第三章：反向傳播與優化</h1><div>Backpropagation & Optimization · KP1–KP16 · 49 張完整教學版資訊圖表</div></header><main><div class="note"><b>如何使用</b><p>先依 KP 順序閱讀。每張頁面上方是 16:9 圖解：左側說明、右側互動、下方核心公式。拖動滑桿或按「下一步」，觀察參數與圖解如何變化；English 按鈕切換語言。頁面下方提供概念測驗與可展開的完整講解。</p><p>每張 HTML 可獨立開啟、離線操作或嵌入 iframe。原教材的示範與測驗保留為來源連結，開啟來源需要網路。原文對照區保留來源講解，可能含原有簡化說法；請以圖解與校正提示為準。</p><nav><a href="#kp1">KP1</a><a href="#kp2">KP2</a><a href="#kp3">KP3</a><a href="#kp4">KP4</a><a href="#kp5">KP5</a><a href="#kp6">KP6</a><a href="#kp7">KP7</a><a href="#kp8">KP8</a><a href="#kp9">KP9</a><a href="#kp10">KP10</a><a href="#kp11">KP11</a><a href="#kp12">KP12</a><a href="#kp13">KP13</a><a href="#kp14">KP14</a><a href="#kp15">KP15</a><a href="#kp16">KP16</a></nav></div><div class="note pending"><b>檢閱版 · 2026-10-07</b><p>已完成程式語法、公式解析、互動邏輯與代表性數值檢查。最後修正後的瀏覽器版面複驗仍待完成：目前執行環境阻止 Chromium 啟動。本版以檢閱版發布至 GitHub Pages；最終版面稽核仍待完成。</p></div><section id="kp1"><h2>KP1 · 2 張</h2><div class="cards"><a class="card" href="01-kp01-optimization-map.html"><b>01 · 訓練神經網路：從模型到優化</b><span>Training: model, loss, and optimization</span><small>map · 核心公式 1 組 · 中英切換／操作／測驗</small></a><a class="card" href="02-kp01-first-second-order.html"><b>02 · 一階與二階：資訊量與計算代價</b><span>First and second order: information and cost</span><small>cost · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp2"><h2>KP2 · 3 張</h2><div class="cards"><a class="card" href="03-kp02-gradient-direction.html"><b>03 · 梯度與更新：方向一定要分清楚</b><span>Gradient versus parameter update</span><small>gd · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="04-kp02-learning-rate.html"><b>04 · 學習率：慢、震盪與發散</b><span>Learning rate: slow progress, oscillation, divergence</span><small>gd · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="05-kp02-smoothness-convexity.html"><b>05 · 平滑性與凸性：下降與全域解的條件</b><span>Smoothness and convexity: what is guaranteed?</span><small>landscape · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp3"><h2>KP3 · 2 張</h2><div class="cards"><a class="card" href="06-kp03-stopping-rules.html"><b>06 · 什麼時候停止：四種判斷依據</b><span>Four stopping criteria</span><small>stop · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="07-kp03-saddle-warning.html"><b>07 · 梯度為零：最低點與鞍點的差別</b><span>Zero gradient: minimum or saddle?</span><small>saddle · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp4"><h2>KP4 · 2 張</h2><div class="cards"><a class="card" href="08-kp04-backtracking.html"><b>08 · 線搜索：試一步，不合適就縮小</b><span>Backtracking line search</span><small>line · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="09-kp04-wolfe-steepest.html"><b>09 · Wolfe 條件與最陡方向</b><span>Wolfe conditions and steepest direction</span><small>line · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp5"><h2>KP5 · 2 張</h2><div class="cards"><a class="card" href="10-kp05-momentum-update.html"><b>10 · 動量：把過去方向帶進這一步</b><span>Momentum carries previous motion forward</span><small>momentum · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="11-kp05-momentum-valley.html"><b>11 · 狹長谷地：震盪相消、主方向累積</b><span>Momentum in an elongated valley</span><small>momentum · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp6"><h2>KP6 · 6 張</h2><div class="cards"><a class="card" href="12-kp06-forward-neuron.html"><b>12 · 前向傳播：加權和到預測</b><span>Forward propagation through a neuron</span><small>network · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="13-kp06-chain-rule-gradient.html"><b>13 · 權重梯度：δ 乘上上游輸出</b><span>Weight gradient = delta times upstream activation</span><small>network · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="14-kp06-output-delta.html"><b>14 · 輸出層 δ：損失與激活都要微分</b><span>Output delta: differentiate loss and activation</span><small>network · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="15-kp06-hidden-delta.html"><b>15 · 隱藏層 δ：下游分支加總後傳回</b><span>Hidden delta sums downstream contributions</span><small>network · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="16-kp06-backprop-numeric.html"><b>16 · 完整算例：前向、反向、更新與驗證</b><span>A complete numerical backpropagation example</span><small>backprop · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="17-kp06-backprop-algorithm.html"><b>17 · 一輪訓練：梯度計算與更新分開</b><span>One training step: compute, then update</span><small>map · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp7"><h2>KP7 · 3 張</h2><div class="cards"><a class="card" href="18-kp07-sgd-objective.html"><b>18 · SGD：用一筆估計整體梯度</b><span>SGD estimates the full gradient from one sample</span><small>sampling · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="19-kp07-sgd-noise.html"><b>19 · 同一位置，不同樣本可能指向不同方向</b><span>Different samples, different gradient directions</span><small>sampling · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="20-kp07-sgd-step-schedule.html"><b>20 · SGD 的衰減步長：早期探索，後期縮步</b><span>Decaying SGD steps: exploration then refinement</span><small>noise · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp8"><h2>KP8 · 3 張</h2><div class="cards"><a class="card" href="21-kp08-batch-epoch.html"><b>21 · Batch、Step、Epoch：三個不同計數</b><span>Batch, step, and epoch are different counts</span><small>batch · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="22-kp08-batch-variance.html"><b>22 · 批次大小如何降低梯度噪聲</b><span>Batch size controls gradient-estimate variance</span><small>variance · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="23-kp08-batch-error-cost.html"><b>23 · 小批次梯度：誤差、成本與記憶體</b><span>Mini-batch gradient: error, cost, and memory</span><small>variance · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp9"><h2>KP9 · 4 張</h2><div class="cards"><a class="card" href="24-kp09-gd-rate.html"><b>24 · 全梯度收斂率：O(1/t) 說的是什麼</b><span>Full-gradient rate under convex smooth assumptions</span><small>rates · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="25-kp09-sgd-schedules.html"><b>25 · SGD 步長策略：先認清收斂指標</b><span>SGD schedules and the quantity being bounded</span><small>rates · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="26-kp09-sgd-noise-floor.html"><b>26 · 固定步長的噪聲底：用可解例子看懂</b><span>A solvable example of the fixed-step noise floor</span><small>noise · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="27-kp09-sgd-bound-derivation.html"><b>27 · SGD 上界推導：下降收益與噪聲代價</b><span>Deriving the SGD stationarity bound</span><small>rates · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp10"><h2>KP10 · 2 張</h2><div class="cards"><a class="card" href="28-kp10-adagrad-rule.html"><b>28 · AdaGrad：每個參數有自己的步長</b><span>AdaGrad: one effective step size per coordinate</span><small>adaptive · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="29-kp10-adagrad-sparse.html"><b>29 · AdaGrad 的優點與長期限制</b><span>AdaGrad: sparse features and shrinking steps</span><small>adaptive · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp11"><h2>KP11 · 4 張</h2><div class="cards"><a class="card" href="30-kp11-rmsprop.html"><b>30 · RMSProp：把永久記憶改成近期平均</b><span>RMSProp uses a decaying squared-gradient average</span><small>adaptive · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="31-kp11-adam-moments.html"><b>31 · Adam：方向記憶與尺度記憶</b><span>Adam combines direction and scale estimates</span><small>adaptive · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="32-kp11-adam-bias.html"><b>32 · 偏差修正：從第 1 步開始計數</b><span>Adam bias correction starts at step one</span><small>bias · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="33-kp11-adam-update.html"><b>33 · Adam 完整更新：每個量放在哪裡</b><span>The complete Adam update</span><small>adaptive · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp12"><h2>KP12 · 2 張</h2><div class="cards"><a class="card" href="34-kp12-flat-sharp.html"><b>34 · 平坦與尖銳：同樣谷底，不同敏感度</b><span>Flat versus sharp minima: sensitivity differs</span><small>flat · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="35-kp12-flat-scale.html"><b>35 · 參數量尺：同一函數也能看起來更尖</b><span>Parameter scaling changes apparent sharpness</span><small>scale · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp13"><h2>KP13 · 5 張</h2><div class="cards"><a class="card" href="36-kp13-sam-objective.html"><b>36 · SAM：最小化鄰域中的最壞損失</b><span>SAM minimizes the worst loss in a neighborhood</span><small>sam · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="37-kp13-sam-sharpness.html"><b>37 · SAM 分解：中心損失加上銳度</b><span>SAM = center loss plus sharpness</span><small>flat · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="38-kp13-sam-perturbation.html"><b>38 · 內層近似：沿梯度方向走 ρ</b><span>Linearized SAM perturbation</span><small>sam · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="39-kp13-sam-dual-norm.html"><b>39 · 不同范數的最壞擾動</b><span>Worst perturbations under different norms</span><small>norm · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="40-kp13-sam-two-pass.html"><b>40 · SAM 兩次反傳：擾動點算梯度，原點更新</b><span>SAM: evaluate at the perturbation, update the original</span><small>sam · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp14"><h2>KP14 · 3 張</h2><div class="cards"><a class="card" href="41-kp14-esam-swp.html"><b>41 · ESAM 的 SWP：抽一部分權重擾動</b><span>ESAM stochastic weight perturbation</span><small>mask · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="42-kp14-esam-sds.html"><b>42 · ESAM 的 SDS：挑對擾動敏感的樣本</b><span>Sharpness-sensitive data selection</span><small>selection · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="43-kp14-asam.html"><b>43 · ASAM：讓擾動量尺隨權重改變</b><span>ASAM uses adaptive perturbation geometry</span><small>scale · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp15"><h2>KP15 · 4 張</h2><div class="cards"><a class="card" href="44-kp15-shallow-landscape.html"><b>44 · 淺層二次網路：沒有較差的局部最低點</b><span>Quadratic shallow networks: no spurious local minima</span><small>landscape · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="45-kp15-zero-loss-conditions.html"><b>45 · 零訓練損失：別把定理條件刪掉</b><span>Zero training loss requires additional conditions</span><small>theory · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="46-kp15-deep-convergence.html"><b>46 · 深層過參數化：訓練收斂有前提</b><span>Deep overparameterized convergence is conditional</span><small>theory · 核心公式 2 組 · 中英切換／操作／測驗</small></a><a class="card" href="47-kp15-deep-width-steps.html"><b>47 · 深網定理：寬度、批次與步長一起讀</b><span>Read width, batch, and step-size conditions together</span><small>theory · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><section id="kp16"><h2>KP16 · 2 張</h2><div class="cards"><a class="card" href="48-kp16-theory-frontiers.html"><b>48 · 收斂理論延伸：模型、資料與分析工具</b><span>Convergence theory across models and assumptions</span><small>map · 核心公式 1 組 · 中英切換／操作／測驗</small></a><a class="card" href="49-kp16-chapter-summary.html"><b>49 · 全章收網：各工具改了哪個環節</b><span>Chapter synthesis: what each tool changes</span><small>map · 核心公式 2 組 · 中英切換／操作／測驗</small></a></div></section><div class="note"><a href="https://ndhuccc.github.io/CCC-LNS/IDL_115/Ch03-backprop-optimization/index.html">完整原教材</a> · <a href="validation.json">檢查紀錄</a></div></main></html>