全章收網:算梯度、走一步、驗結果Compute gradients, update, then evaluate

IDL115 · CH03 · KP16 · 44/44
算得起、訓得動與測得好,各有不同工作。 / Computation, optimization and generalization are distinct.

梯度計算Gradient computation

反向傳播重用鏈式法則;前向資料先保存。 / Backprop reuses intermediate derivatives.

參數更新Parameter optimization

SGD 降低每步成本;AdaGrad、RMSProp、Adam 調尺度;SAM 評估擾動鄰域。 / Optimizers alter direction, scale or evaluation points.

結果評估Evaluation

過參數化理論解釋部分訓練成功;測試泛化仍需獨立檢查。 / Test performance needs separate evidence.

Ltrain≠Ltest\mathcal L_{\mathrm{train}}\ne\mathcal L_{\mathrm{test}}