全章收網:算梯度、走一步、驗結果Compute gradients, update, then evaluate
算得起、訓得動與測得好,各有不同工作。 / Computation, optimization and generalization are distinct.
梯度計算Gradient computation
反向傳播重用鏈式法則;前向資料先保存。 / Backprop reuses intermediate derivatives.
參數更新Parameter optimization
SGD 降低每步成本;AdaGrad、RMSProp、Adam 調尺度;SAM 評估擾動鄰域。 / Optimizers alter direction, scale or evaluation points.
結果評估Evaluation
過參數化理論解釋部分訓練成功;測試泛化仍需獨立檢查。 / Test performance needs separate evidence.