かっせいか‐かんすう〔クワツセイクワクワンスウ〕【活性化関数】
活性化関数
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/12/27 05:28 UTC 版)
活性化関数（かっせいかかんすう、英: activation function）もしくは伝達関数（でんたつかんすう、英: transfer function）とは、ニューラルネットワークのニューロンにおける、入力のなんらかの合計（しばしば、線形な重み付け総和）から、出力を決定するための関数で、非線形な関数とすることが多い。
概要
よく使われているモデルでは、人工ニューロンは1つ以上の入力を受け取り（1つ以上の樹状突起に相当）、それらの重み付け総和から、活性化関数を通して、出力を生成する。
数式では、以下の 1990年代になり、活性化関数は原点を通すべきと言う考えから、標準シグモイド関数よりもそれを線形変換した tanh の方が良いと提案された[2][3]。
下記関数をソフトプラス（英: softplus）と呼び、これが活性化関数として使われることもある。
活性化関数
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/08 07:20 UTC 版)
σ g {\displaystyle \sigma _{g}} : シグモイド関数 σ c {\displaystyle \sigma _{c}} : 双曲線正接関数 σ h {\displaystyle \sigma _{h}} : 双曲線正接関数または、覗き穴LSTMの論文が提案しているように σ h ( x ) = x {\displaystyle \sigma _{h}(x)=x} 重み行列と活性化関数を集約することで ( f t T , i t T , o t T , c i t T ) T = σ ( W x t + U h t − 1 + b ) c t = f t ∘ c t − 1 + i t ∘ c i t h t = o t ∘ σ h ( c t ) {\displaystyle {\begin{aligned}(f_{t}^{T},i_{t}^{T},o_{t}^{T},ci_{t}^{T})^{T}&=\sigma (Wx_{t}+Uh_{t-1}+b)\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ ci_{t}\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}} となる。この式から c t − 1 {\displaystyle c_{t-1}} が直接回帰し、 h t − 1 {\displaystyle h_{t-1}} がゲート・セルを通じて回帰していることがわかる。また入力と重みの積は時間を跨いで回帰無しに計算できることがわかる（ W X = W ( x 0 x 1 . . . x n ) {\displaystyle WX=W{\bigl (}{\begin{smallmatrix}x_{0}&x_{1}&...&x_{n}\end{smallmatrix}}{\bigr )}} で一括計算が可能）。
※この「活性化関数」の解説は、「長・短期記憶」の解説の一部です。
「活性化関数」を含む「長・短期記憶」の記事については、「長・短期記憶」の概要を参照ください。
- 活性化関数のページへのリンク
