Mini-batch：平均一小批梯度Mini-batch gradient averaging

IDL115 · CH03 · KP08 · 19/44

每步用 b 筆，折衷單筆噪聲與全批成本。 / Batch averaging trades noise against cost.

平均梯度Batch mean

使用當批實際大小，而非永遠使用預設 b。 / Normalize by the actual batch size.

g_k=\frac1{|\mathcal B_k|}\sum_{i\in\mathcal B_k}\nabla f_i(w_k)

GPU 可平行算批內樣本，但記憶體用量也增加。 / GPU parallelism has a memory cost.

w_{k+1}=w_k-\eta_k g_k\quad\text{(25)}

批次估計與全梯度之差定義為 eₖ。 / Define the gradient estimation error.

g_k=\nabla f(w_k)+e_k\quad\text{(26)}