tanhExp関数

ウィキペディア

tanhExp関数

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/08/09 21:47 UTC 版)

tanhExp関数（tanhExpかんすう、英: tanhExp function）は、次の式

tanhExp関数のグラフ画像

$f(x)=x\tanh(e^{x})$

で表されるReLU関数の仲間（ReLU family）で、実関数である。

tanhExp関数は、2020年3月に提案された活性化関数である。 tanhExp関数は、機械学習などで使用される。

性質

${\dfrac {d}{dx}}x\tanh(e^{x})=\tanh(e^{x})+xe^{x}{\dfrac {1}{\cosh ^{2}(e^{x})}}$

関連文献

• Xinyu Liu (2021). “TanhExp: A smooth activation function with high convergence speed for lightweight neural networks”. IET Computer Vision 15 (2): 136–150. arXiv:2003.09855. doi:10.1049/cvi2.12020. ISSN 1751-9640.