オートエンコーダとは？わかりやすく解説

オートエンコーダ（自己符号化器、英: autoencoder）とは、機械学習において、ニューラルネットワークを使用した次元圧縮のためのアルゴリズム。2006年にジェフリー・ヒントンらが提案した^[1]。

概要

オートエンコーダは3層ニューラルネットにおいて、入力層と出力層に同じデータを用いて教師なし学習させたものである。教師データが実数値で値域がない場合、出力層の活性化関数は恒等写像、（すなわち出力層は線形変換になる）が選ばれることが多い。中間層の活性化関数も恒等写像を選ぶと結果は主成分分析とほぼ一致する。実用上では、入力と出力の差分をとることで、異常検知に利用されている。

特性と限界

オートエンコーダは次元圧縮に必要な特性を有するように設計されている。

オートエンコーダは中間層の次元数 $d_{m}$

バックプロパゲーションでは通常、中間層が2層以上ある場合、極小解に収束してしまう。そこで、中間層1層だけでオートエンコーダを作って学習させる。次に、中間層を入力層と見なしてもう1層積み上げる。これを繰り返して多層化したオートエンコーダをつくる方法をstacked autoencoderと言う。

Denoising AutoEncoder

入力層のデータにノイズを加えて学習させたもの。制約付きボルツマンマシンと結果がほぼ一致する。ノイズは確率分布が既知であればそれに従ったほうが良いが、未知である場合は一様分布で良い。

類似技術

ディープビリーフネットワーク
ディープボルツマンマシン

脚注

[脚注の使い方]

出典

^ Geoffrey E. Hinton; R. R. Salakhutdinov (2006-07-28). “Reducing the Dimensionality of Data with Neural Networks”. Science 313 (5786): 504-507.
^ "autoencoder where Y is of the same dimensionality as X (or larger) can achieve perfect reconstruction simply by learning an identity mapping." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
^ "The criterion that representation Y should retain information about input X is not by itself sufficient to yield a useful representation." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
^ "a deterministic mapping from X to Y, that is, ... equivalently $q(Y|X;\theta )=\delta (Y-f_{\theta }(X))$ ... The deterministic mapping $f_{\theta }$ that transforms an input vector ${\boldsymbol {x}}$ into hidden representation ${\boldsymbol {y}}$ is called the encoder." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
^ " ${\boldsymbol {z}}=g_{\theta ^{'}}({\boldsymbol {y}})$ . This mapping $g_{\theta ^{'}}$ is called the decoder. ... In general ${\boldsymbol {z}}$ is not to be interpreted as an exact reconstruction of ${\boldsymbol {x}}$ , but rather in probabilistic terms as the parameters (typically the mean) of a distribution $p(X|Z={\boldsymbol {z}})$ " Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
^ " $g_{\theta ^{'}}$ is called the decoder ... $Z=g_{\theta ^{'}}({\boldsymbol {y}})$ ... associated loss function $L({\boldsymbol {x}},{\boldsymbol {z}})$ ... $X|{\boldsymbol {z}}\sim N({\boldsymbol {z}},{\boldsymbol {\sigma }}^{2}{\boldsymbol {I}})$ ... This yields $L({\boldsymbol {x}},{\boldsymbol {z}})=L_{2}({\boldsymbol {x}},{\boldsymbol {z}})=C(\sigma ^{2})\|{\boldsymbol {x}}-{\boldsymbol {z}}\|^{2}$ ... This is the squared error objective found in most traditional autoencoders." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.

[hinton2006-1] Geoffrey E. Hinton; R. R. Salakhutdinov (2006-07-28). “Reducing the Dimensionality of Data with Neural Networks”. Science 313 (5786): 504-507.

[2] "autoencoder where Y is of the same dimensionality as X (or larger) can achieve perfect reconstruction simply by learning an identity mapping." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.

[3] "The criterion that representation Y should retain information about input X is not by itself sufficient to yield a useful representation." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.

[4] "a deterministic mapping from X to Y, that is, ... equivalently $q(Y|X;\theta )=\delta (Y-f_{\theta }(X))$ ... The deterministic mapping $f_{\theta }$ that transforms an input vector ${\boldsymbol {x}}$ into hidden representation ${\boldsymbol {y}}$ is called the encoder." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.

[5] " ${\boldsymbol {z}}=g_{\theta ^{'}}({\boldsymbol {y}})$ . This mapping $g_{\theta ^{'}}$ is called the decoder. ... In general ${\boldsymbol {z}}$ is not to be interpreted as an exact reconstruction of ${\boldsymbol {x}}$ , but rather in probabilistic terms as the parameters (typically the mean) of a distribution $p(X|Z={\boldsymbol {z}})$ " Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.

[6] " $g_{\theta ^{'}}$ is called the decoder ... $Z=g_{\theta ^{'}}({\boldsymbol {y}})$ ... associated loss function $L({\boldsymbol {x}},{\boldsymbol {z}})$ ... $X|{\boldsymbol {z}}\sim N({\boldsymbol {z}},{\boldsymbol {\sigma }}^{2}{\boldsymbol {I}})$ ... This yields $L({\boldsymbol {x}},{\boldsymbol {z}})=L_{2}({\boldsymbol {x}},{\boldsymbol {z}})=C(\sigma ^{2})\|{\boldsymbol {x}}-{\boldsymbol {z}}\|^{2}$ ... This is the squared error objective found in most traditional autoencoders." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.

[1]


	All text is available under the terms of the GNU Free Documentation License. この記事は、ウィキペディアのオートエンコーダ (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。
	Text is available under GNU Free Documentation License (GFDL). Weblio辞書に掲載されている「ウィキペディア小見出し辞書」の記事は、Wikipediaの次元削減 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。

機械学習およびデータマイニング

問題分類クラスタリング回帰異常検知相関ルール（英語版）強化学習構造化予測（英語版）特徴量設計（英語版）表現学習（英語版）オンライン学習（英語版）半教師あり学習（英語版）教師なし学習ランキング学習（英語版）文法獲得（英語版）
教師あり学習（分類 • 回帰）決定木（英語版）アンサンブル（バギング、ブースティング、ランダムフォレスト） k-NN 線形回帰単純ベイズニューラルネットワークロジスティック回帰パーセプトロン関連ベクトルマシン (RVM)（英語版）サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版）階層的（英語版） k平均法期待値最大化法 (EM) DBSCAN OPTICS（英語版）平均値シフト（英語版）
次元削減因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版）グラフィカルモデルベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワークオートエンコーダディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN U-Net
強化学習 Q学習 SARSA 時間差分 (TD)（英語版）
理論偏りと分散のトレードオフ計算論的学習理論（英語版）経験損失最小化（英語版）オッカム学習（英語版） PAC学習統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般統計学および機械学習の評価指標
表話編歴

オートエンコーダとは？ わかりやすく解説

オートエンコーダ

概要

特性と限界

Denoising AutoEncoder

類似技術

脚注

出典

オートエンコーダ

「オートエンコーダ」の関連用語

オートエンコーダとは？わかりやすく解説