命題 5：深網收斂與條件Proposition 5: deep-network convergence

IDL115 · CH03 · KP15 · 41/44

收斂步數與資料分離程度、精度要求有不同依賴。 / Separation and target precision affect complexity differently.

使用前提Assumptions

ReLU、MSE、指定隨機初始化、足夠寬度與規範化且相互分離的資料。 / Use all theorem assumptions.

\|x_i\|_2=1,\quad (x_i)_d=1/\sqrt2,\quad\|x_i-x_j\|_2\ge\delta>0

P 代表來源中的多項式項，不是已知數值係數。 / P abbreviates the source polynomial.

\begin{aligned}T_{\mathrm{GD}}&=\Theta(P(n,l)\log(1/\epsilon)/\delta^2)\quad\text{(58)}\\T_{\mathrm{SGD}}&=\Theta(P(n,l)\log(1/\epsilon)\log^2m/(\delta^2b))\quad\text{(59)}\end{aligned}

其他因子固定時，δ 減半令 δ⁻² 因子變四倍；不是實際訓練秒數。 / This is an asymptotic sensitivity.