學習率排程:大步到小步Learning-rate schedules
把排程視為「隨時間改變步長」,不是逐參數自適應。 / Scheduling changes steps over time.
固定步長Constant step
簡單,但持續噪聲可能留下長期波動。 / Persistent noise can create a floor.
較快遞減Faster decay
k 從 0 開始時用 k+1,避免除以零。 / Offset the index to avoid division by zero.
較慢遞減Slower decay
平方根排程保留較大步幅;保證需搭配指定假設與指標。 / Guarantees depend on assumptions.