課程 HTML5 / Canvas 展示
Animations
General
IDL115
General
BackpropagationOptimization
BackpropOptimization
BackpropOptimizationComplete
- IDL115 第三章：反向傳播與優化 · 完整教學版原始碼
- 訓練神經網路：從模型到優化 / Training: model, loss, and optimization原始碼
- 一階與二階：資訊量與計算代價 / First and second order: information and cost原始碼
- 梯度與更新：方向一定要分清楚 / Gradient versus parameter update原始碼
- 學習率：慢、震盪與發散 / Learning rate: slow progress, oscillation, divergence原始碼
- 平滑性與凸性：下降與全域解的條件 / Smoothness and convexity: what is guaranteed?原始碼
- 什麼時候停止：四種判斷依據 / Four stopping criteria原始碼
- 梯度為零：最低點與鞍點的差別 / Zero gradient: minimum or saddle?原始碼
- 線搜索：試一步，不合適就縮小 / Backtracking line search原始碼
- Wolfe 條件與最陡方向 / Wolfe conditions and steepest direction原始碼
- 動量：把過去方向帶進這一步 / Momentum carries previous motion forward原始碼
- 狹長谷地：震盪相消、主方向累積 / Momentum in an elongated valley原始碼
- 前向傳播：加權和到預測 / Forward propagation through a neuron原始碼
- 權重梯度：δ 乘上上游輸出 / Weight gradient = delta times upstream activation原始碼
- 輸出層 δ：損失與激活都要微分 / Output delta: differentiate loss and activation原始碼
- 隱藏層 δ：下游分支加總後傳回 / Hidden delta sums downstream contributions原始碼
- 完整算例：前向、反向、更新與驗證 / A complete numerical backpropagation example原始碼
- 一輪訓練：梯度計算與更新分開 / One training step: compute, then update原始碼
- SGD：用一筆估計整體梯度 / SGD estimates the full gradient from one sample原始碼
- 同一位置，不同樣本可能指向不同方向 / Different samples, different gradient directions原始碼
- SGD 的衰減步長：早期探索，後期縮步 / Decaying SGD steps: exploration then refinement原始碼
- Batch、Step、Epoch：三個不同計數 / Batch, step, and epoch are different counts原始碼
- 批次大小如何降低梯度噪聲 / Batch size controls gradient-estimate variance原始碼
- 小批次梯度：誤差、成本與記憶體 / Mini-batch gradient: error, cost, and memory原始碼
- 全梯度收斂率：O(1/t) 說的是什麼 / Full-gradient rate under convex smooth assumptions原始碼
- SGD 步長策略：先認清收斂指標 / SGD schedules and the quantity being bounded原始碼
- 固定步長的噪聲底：用可解例子看懂 / A solvable example of the fixed-step noise floor原始碼
- SGD 上界推導：下降收益與噪聲代價 / Deriving the SGD stationarity bound原始碼
- AdaGrad：每個參數有自己的步長 / AdaGrad: one effective step size per coordinate原始碼
- AdaGrad 的優點與長期限制 / AdaGrad: sparse features and shrinking steps原始碼
- RMSProp：把永久記憶改成近期平均 / RMSProp uses a decaying squared-gradient average原始碼
- Adam：方向記憶與尺度記憶 / Adam combines direction and scale estimates原始碼
- 偏差修正：從第 1 步開始計數 / Adam bias correction starts at step one原始碼
- Adam 完整更新：每個量放在哪裡 / The complete Adam update原始碼
- 平坦與尖銳：同樣谷底，不同敏感度 / Flat versus sharp minima: sensitivity differs原始碼
- 參數量尺：同一函數也能看起來更尖 / Parameter scaling changes apparent sharpness原始碼
- SAM：最小化鄰域中的最壞損失 / SAM minimizes the worst loss in a neighborhood原始碼
- SAM 分解：中心損失加上銳度 / SAM = center loss plus sharpness原始碼
- 內層近似：沿梯度方向走 ρ / Linearized SAM perturbation原始碼
- 不同范數的最壞擾動 / Worst perturbations under different norms原始碼
- SAM 兩次反傳：擾動點算梯度，原點更新 / SAM: evaluate at the perturbation, update the original原始碼
- ESAM 的 SWP：抽一部分權重擾動 / ESAM stochastic weight perturbation原始碼
- ESAM 的 SDS：挑對擾動敏感的樣本 / Sharpness-sensitive data selection原始碼
- ASAM：讓擾動量尺隨權重改變 / ASAM uses adaptive perturbation geometry原始碼
- 淺層二次網路：沒有較差的局部最低點 / Quadratic shallow networks: no spurious local minima原始碼
- 零訓練損失：別把定理條件刪掉 / Zero training loss requires additional conditions原始碼
- 深層過參數化：訓練收斂有前提 / Deep overparameterized convergence is conditional原始碼
- 深網定理：寬度、批次與步長一起讀 / Read width, batch, and step-size conditions together原始碼
- 收斂理論延伸：模型、資料與分析工具 / Convergence theory across models and assumptions原始碼
- 全章收網：各工具改了哪個環節 / Chapter synthesis: what each tool changes原始碼
IPR115
Supplements
MusicEmotion
FallbackPlan
PR115
BayesianNetworks
BayesianNetworksInference
BayesInference
CurseOfDimensionalityKNN
MaximumEntropyEstimation
MaximumLikelihoodEstimation
MaximumPosterioriEstimation
MixtureModelsEM
NaiveBayes
NearestNeighborRule
NonparametricEstimation