深網定理：寬度、步長、高機率Width, step size and high probability

IDL115 · CH03 · KP15 · 42/44
將條件與結論一起讀，才不會把理論量級當成實際設定。 / Read assumptions together with conclusions.

全批次 GD 條件Full-batch GD conditions

P 以多項式量級簡記，具體項依來源定理。 / Polynomial factors depend on the theorem.

m≥Ω(P(n,l,δ−1)d),η=Θ ⁣(dδP(n,l)m)m\ge\Omega(P(n,l,\delta^{-1})d),\quad\eta=\Theta\!\left(\frac{d\delta}{P(n,l)m}\right)

Mini-batch SGD 條件Mini-batch SGD conditions

b 是批量；寬度與步長的量級皆改變。 / Batch size changes width and step requirements.

m≥Ω(P(n,l,δ−1)d/b)η=Θ ⁣(bdδP(n,l)mlog⁡2m)\begin{aligned}m&\ge\Omega(P(n,l,\delta^{-1})d/b)\\\eta&=\Theta\!\left(\frac{bd\delta}{P(n,l)m\log^2m}\right)\end{aligned}

結論的範圍Scope of conclusion

滿足初始化與資料條件後，在前頁步數量級內達低訓練損失。 / The conclusion is a high-probability training result.

Pr⁡(Ltrain<ϵ)≥1−exp⁡[−Ω(log⁡2m)]\Pr(\mathcal L_{\mathrm{train}}<\epsilon)\ge1-\exp[-\Omega(\log^2m)]
教材 / Source KP15 · 目錄 / Index