SGD 與 Mini-Batch:便宜的大概對
SGD and Mini-Batch: Cheap and Approximately Right · IDL115 Ch.3 §4–4.1 · 16:9 互動式資訊圖表
樣本 1
樣本 2
樣本 3
樣本 4
步長 η
0.20
SGD 走一步
全梯度走一步
重設
batch 大小 b
1
8
32
128
1024
操作:
點樣本按鈕選 i(y₁=2,y₂=1,y₃=8,y₄=5),調 η 後按「SGD 走一步」看偏斜更新,或按「全梯度走一步」用四筆平均方向;b 選單控制右側光譜標記。