偏差修正：補回從零開始的低估Bias correction for zero initialization

IDL115 · CH03 · KP11 · 29/44
即使梯度固定，初期平均也會因初始零而偏低。 / Zero initialization depresses early moment estimates.

修正公式Correction

分母使用已完成的更新次數 t，避免首步除以零。 / Use the completed update count.

m^t=mt1−β1t,v^t=vt1−β2t(44),(45)\hat m_t=\frac{m_t}{1-\beta_1^t},\quad\hat v_t=\frac{v_t}{1-\beta_2^t}\quad\text{(44),(45)}

第一步實算First-step example

g=2、β₁=0.9、β₂=0.999：m₁=0.2、v₁=0.004。 / Corrected values recover the constant gradient.

m^1=2,v^1=4\hat m_1=2,\quad\hat v_1=4

不要混淆Distinguish roles

修正的是矩估計；不是直接估計測試誤差或保證泛化。 / Moment correction does not guarantee generalization.

教材 / Source KP11 · 目錄 / Index