ディープラーニング基礎: 勾配降下法とは

プログラミング
スポンサーリンク




こんにちは、おみです。

今回は、ニューラルネットワークで登場する、勾配降下法について紹介していきます。

 

 

スポンサーリンク

勾配降下法とは

ニューラルネットワークを最適化するための手法。

出力値と正解値の誤差を前の層に伝播させ、バイアスや重みの値を調整することで、最適化する。

→誤差逆伝播、バックプロパゲーション

 

 

考え方

例えば、あるバイアスまたは重みの値をx、誤差の値をy、現在のバイアスの値での誤差を点P、誤差の最小の値を点Qとし、その関係が下記のグラフで表される時、

点Pを点Qに近づけるようにxの値を調整することで、誤差の値が小さくなるようにし、ニューラルネットワークを最適化します。

 

 

やり方

①点Pの勾配を求める

xについて微分し、点Pの勾配を求めます。

計算式 : \(\frac{dy}{dx}\)

 

②xから①で求めた勾配を引く

xから点Pの勾配を引き、バイアスまたは重みの値を更新します。

計算式 : \(x = x – l\frac{dy}{dx}\)

※l … 学習係数

求めた勾配をどのくらいの効率で学習させるかを決める係数。通常は、0.1や0.05などの小さい数が使用される。

値が小さすぎると学習が遅くなるが、大きすぎると誤差が収束しない可能性があるため、適切な値を設定してあげる必要が明日。

 

 

おすすめ書籍

ディープラーニングに必要な範囲の数学を勉強をするときに、よく使ってます。

 

 

コメント

タイトルとURLをコピーしました