學習率排程:大步到小步Learning-rate schedules

IDL115 · CH03 · KP07 · 17/44
把排程視為「隨時間改變步長」,不是逐參數自適應。 / Scheduling changes steps over time.

固定步長Constant step

簡單,但持續噪聲可能留下長期波動。 / Persistent noise can create a floor.

ηk=η0\eta_k=\eta_0

較快遞減Faster decay

k 從 0 開始時用 k+1,避免除以零。 / Offset the index to avoid division by zero.

ηk=η0k+1\eta_k=\frac{\eta_0}{k+1}

較慢遞減Slower decay

平方根排程保留較大步幅;保證需搭配指定假設與指標。 / Guarantees depend on assumptions.

ηk=η0k+1\eta_k=\frac{\eta_0}{\sqrt{k+1}}