SGD：用一筆估計全體SGD estimates the full gradient

IDL115 · CH03 · KP07 · 16/44
每一步比較便宜，但方向會帶抽樣噪聲。 / Each step costs less but uses a noisy direction.

平均損失Mean objective

統一採平均形式，避免總和與平均混用。 / Use the mean consistently.

f(w)=1n∑i=1nfi(w),∇f(w)=1n∑i∇fi(w)(20),(21)f(w)=\frac1n\sum_{i=1}^nf_i(w),\quad\nabla f(w)=\frac1n\sum_i\nabla f_i(w)\quad\text{(20),(21)}

單樣本更新Single-sample update

均勻抽 i 後，以該筆梯度更新。 / Sample an index uniformly.

wk+1=wk−ηk∇fik(wk)(22)w_{k+1}=w_k-\eta_k\nabla f_{i_k}(w_k)\quad\text{(22)}

期望方向Unbiased direction

在當前參數固定、均勻抽樣下，期望是全梯度。 / Unbiasedness is conditional on current weights.

E[∇fik(wk)∣wk]=∇f(wk)\mathbb E[\nabla f_{i_k}(w_k)\mid w_k]=\nabla f(w_k)
教材 / Source KP7 · 目錄 / Index