ソフトマックス関数

デジタル大辞泉

ソフトマックス‐かんすう〔‐クワンスウ〕【ソフトマックス関数】

読み方：そふとまっくすかんすう

n個の要素からなるn次元の実数ベクトルに対し、各要素を合計すると1になるよう正規化したベクトルを出力する関数。n＝2の場合はシグモイド関数になる。確率分布の関数やニューラルネットワークの活性化関数として用いることが多い。

ウィキペディア

ソフトマックス関数

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/10/08 17:46 UTC 版)

ソフトマックス関数（ソフトマックスかんすう、英: softmax function）や正規化指数関数（せいきかしすうかんすう、英: normalized exponential function）^[1]は、シグモイド関数を多次元に拡張した関数。多クラス分類問題において、ニューラルネットワークの出力を確率分布に変換することができるので、最後の活性化関数としてよく用いられる。

ソフトマックス関数という呼び名は人工知能の分野での呼び方であり、関数自体は1868年にルートヴィッヒ・ボルツマンが発表した^[2]統計力学のボルツマン分布に由来する。交差エントロピーとの組合せでよく用いられるが、ボルツマン分布とエントロピーの組合せの考え方も統計力学由来である。ボルツマンマシンでも用いられているが、1989年にJohn S. Bridleがsoftmaxと命名した^[3][4]。

定義

ソフトマックス関数は、K 個の実数からなるベクトル ${\displaystyle {\boldsymbol {z}}}$