正規化指数関数

ウィキペディア

ソフトマックス関数

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/10/08 17:46 UTC 版)

ソフトマックス関数（ソフトマックスかんすう、英: softmax function）や正規化指数関数（せいきかしすうかんすう、英: normalized exponential function）^[1]は、シグモイド関数を多次元に拡張した関数。多クラス分類問題において、ニューラルネットワークの出力を確率分布に変換することができるので、最後の活性化関数としてよく用いられる。

ソフトマックス関数という呼び名は人工知能の分野での呼び方であり、関数自体は1868年にルートヴィッヒ・ボルツマンが発表した^[2]統計力学のボルツマン分布に由来する。交差エントロピーとの組合せでよく用いられるが、ボルツマン分布とエントロピーの組合せの考え方も統計力学由来である。ボルツマンマシンでも用いられているが、1989年にJohn S. Bridleがsoftmaxと命名した^[3][4]。

定義

ソフトマックス関数は、K 個の実数からなるベクトル ${\displaystyle {\boldsymbol {z}}}$