ディープラーニング基礎: 損失関数とは

プログラミング
スポンサーリンク




こんにちは、おみです。

今回は、ディープラーニングで登場する、損失関数の概要について、解説していきたいと思います。

スポンサーリンク

損失関数とは

ニューラルネットワークにおいて、出力値と正解値の差(損失)を求めるために使用される関数。

勾配降下法を用いて、誤差を前の層に伝播させることで重みやバイアスの値を調整し、ニューラルネットワークを最適化する際に使用される。

 

 

代表的な損失関数

二乗和誤差

計算式

$$E = \frac{1}{2}\displaystyle\sum_{n}(y_n-t_n)^2$$

 

特徴

  • 出力値と正解値の差を二乗したものの総和
  • \(\frac{1}{2}\)は微分しやすいように掛けているらしい
  • ニューラルネットワーク全体の誤差を把握できるため、回帰問題でよく利用される

 

 

交差エントロピー誤差

計算式

$$E = -\displaystyle\sum_{n}t_n\log{y_n}$$

 

特徴

  • 出力値の対数と正解値の積の総和にマイナスをかけたもの。
  • 正解値がone-hot表現のものに対して適用することで、正解データの誤差のみを把握することができるため、分類問題でよく利用される。

 

 

おすすめ書籍

ディープラーニングに必要な範囲の数学を勉強をするときに、よく使ってます。

 

 

コメント

タイトルとURLをコピーしました