20/12/10 21:40:43.82 4I880zB/0.net
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習
20/12/10 21:40:43.82 4I880zB/0.net
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習