活性化関数
(activation function から転送)
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2023/12/27 05:28 UTC 版)
活性化関数(かっせいかかんすう、英: activation function)もしくは伝達関数(でんたつかんすう、英: transfer function)とは、ニューラルネットワークのニューロンにおける、入力のなんらかの合計(しばしば、線形な重み付け総和)から、出力を決定するための関数で、非線形な関数とすることが多い。
概要
よく使われているモデルでは、人工ニューロンは1つ以上の入力を受け取り(1つ以上の樹状突起に相当)、それらの重み付け総和から、活性化関数を通して、出力を生成する。
数式では、以下の
1990年代になり、活性化関数は原点を通すべきと言う考えから、標準シグモイド関数よりもそれを線形変換した tanh の方が良いと提案された[2][3]。
-
青がReLU(ランプ関数)、緑がソフトプラス 下記関数をソフトプラス(英: softplus)と呼び、これが活性化関数として使われることもある。
-
- activation functionのページへのリンク