activation function

ウィキペディア

活性化関数

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/12/27 05:28 UTC 版)

ニューラルネットワーク > 活性化関数

活性化関数（かっせいかかんすう、英: activation function）もしくは伝達関数（でんたつかんすう、英: transfer function）とは、ニューラルネットワークのニューロンにおける、入力のなんらかの合計（しばしば、線形な重み付け総和）から、出力を決定するための関数で、非線形な関数とすることが多い。

概要

よく使われているモデルでは、人工ニューロンは1つ以上の入力を受け取り（1つ以上の樹状突起に相当）、それらの重み付け総和から、活性化関数を通して、出力を生成する。

数式では、以下の${\displaystyle \varphi }$

ς型の関数の比較

1990年代になり、活性化関数は原点を通すべきと言う考えから、標準シグモイド関数よりもそれを線形変換した tanh の方が良いと提案された^[2][3]。

${\displaystyle \varphi (x)=\tanh(x)}$

青がReLU（ランプ関数）、緑がソフトプラス

下記関数をソフトプラス（英: softplus）と呼び、これが活性化関数として使われることもある。

${\displaystyle \varphi (x)=\log(1+e^{x})}$