softmax(ソフトマックス)関数

softmaxの数学的な意味合いは こちらの記事 に書きました。

TensorFlowのMNIST(チュートリアル)でよく出てくるsoftmax関数について調べたのでメモ。
softmax関数は、シグモイド関数の多変量版。正規化指数関数ともいう。

シグモイド関数と同様、アクティベーション関数の一種だが、多変量版なので、例えば、多クラスのフィードフォアワード型のニューラルネットの活性化関数として利用される。

参考: ソフトマックス関数 - 機械学習の「朱鷺の杜Wiki」

シグモイド関数は、教師あり学習で一般的に利用されるアルゴリズムであるバックプロゲーションを伴うニューラルネットワークでアクティベーション関数としてよく利用される。アクティベーション関数としてシグモイドが利用されるのは、比較的単純な非線形関数であり、微分も容易であるという数学的な理由による。

参考：活性化関数 - Wikipedia のシグモイド関数の項

フィードフォワードニューラルネットは、最初に考案された人口のニューラルネットで、ループを持たず、入力→中間→出力という単方向で信号が伝搬される。

 単に入力と出力からなるものを単純パーセプトロン、入力・中間・出力のように複数の層からなるものを複層パーセプトロンという。