23/01/27 13:44:15.64 HAEgzspH0.net
>>863
言ってることが違うよねって話だけどね
いくつかのデータをまとめて入力し、それぞれの勾配を計算したあと、その勾配の平均値を用いてパラメータの更新を行う方法がよく行われます。
これをミニバッチ学習と呼びます。
ミニバッチ学習では、以下の手順で訓練を行います。
1.訓練データセットから一様ランダムに Nb (>0)個のデータを抽出する
2.その Nb個のデータをまとめてニューラルネットワークに入力し、それぞれのデータに対する目的関数の値を計算する
3.Nb個の目的関数の値の平均をとる
4.この平均の値に対する各パラメータの勾配を求める
5.求めた勾配を使ってパラメータを更新する
これ、そこのホームページが元なのか知らないがパラメータの更新方法について下の手順で書かれている本やサイトを何回か見たことあるけど
手計算で目的関数の値から勾配を算出しているのを見たことがない