Neural Networkとは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > デジタル大辞泉 > Neural Networkの意味・解説 

ニューラル‐ネットワーク【neural network】

読み方:にゅーらるねっとわーく

人間の脳神経系抽象化し情報分散処理システムとしてとらえたモデル。ニューロネットワーク。神経回路網。


ニューラルネットワーク

【英】neural network

ニューラルネットワークとは、情報処理計算モデルのうち、人間の脳働き模倣して構築され計算モデルのことである。

ニューラルネットワークのシステムは、比較単純な処理単位ニューロン神経細胞)と定義し多数ニューロン情報入出力伝達網で接続した脳の仕組み似せて構築されている。

ニューラルネットワークは、ニューロコンピュータ呼ばれるコンピュータシステム計算モデルとなっている。ニューロコンピュータ自己学習実現することができる新世代人口知能として、盛んに研究・開発が行われている。

産業・技術のほかの用語一覧
情報処理:  五心  交差比率  文字セット  ニューラルネットワーク  ニューロコンピュータ  ラップアラウンド  例示字形

ニューラルネットワーク

英語 neural network

生物神経系の高度な情報処理機構工学的模倣し入力出力相互にきめ細か関連づけて複雑な制御を行う情報処理技術のこと。例えオートエアコンにこれを導入すると人の感覚に近い綴密な空調制御が可能となる。スイッチや各センサーなどから信号を送る入力層、その情報をもとに入力出力優先順位をはかりながら相互関係調整を行う中間層、それらの総和をもとに必要な制御量を算出してオートエアコン・アンプリファイアに出力する出力層の3種ニューロン(神経細胞)モデル複数絡み合ってネットワーク構成している。

参照 オートエアコン

ニューラルネットワーク

※「大車林」の内容は、発行日である2004年時点の情報となっております。

ニューラルネットワーク

読み方にゅーらるねっとわーく
【英】:neural network

概要

(1) 生物体の神経回路網のこと.

(2) 神経回路構造ニューロン(neuron)の作用部分的に模倣した, コンピュータ電子回路用いた人工的な神経回路網」で, 記憶, 認識, 連想などの機能実現する工学的システムのこと. ノイズ対す頑健性(robustness), 類似入力対す汎化性(generalization), 学習容易な高い適応性(adaptability), 並列処理への潜在的可能性をもつ.

詳説

 ニューラルネットワーク (neural network) は神経回路網のことであり, その機能コンピュータ専用ハードウェア模倣したものを人工ニューラルネットワーク (artificial neural network) という. ORなどの分野で単にニューラルネットワークという場合は, 多く人工ニューラルネットワークのことを指し, 具体的に比較単純な非線形信号処理ユニット結合することで構成されるネットワークのことと考えることが多い. ニューラルネットワークは本質的に並列分散処理的であり, 自己組織的であるといった特徴内包している.

 ニューラルネットワークの歴史概観すると以下のようになる. 1943年にマッカロック(W. McCulloch)とピッツW. Pitts) [1] によるしきい値素子モデル提案された. 1949年心理学者D. Hebbの "The Organization of Behavior" [2] において示されシナプス強化則とも言われる学習方法に関する考え方は, その後提案され多くニューラルネット学習方法の基礎となっている. 1962年, ローゼンブラットF. Rosenblatt)によるパーセプトロン [3] (perceptron) が提案されたが, 1969年, ミンスキー(M. Minsky)とパパート(S. Papert)によるパーセプトロン限界呈示, 何人かの研究者による初期バージョンの後, 1986年ラメルハートD. Rumelhart), ヒントンG. Hinton), ウイリアムスR. Williams)によりまとめられ階層型ニューラルネットワークの誤差逆伝播法 (back propagation) の定式化 [4] などを経て, 近年は, 脳の機能実現強く意識した研究盛んに行われている.

 ニューラルネットワークは2つ側面から最適化と関係が深い. まず1つは, ニューラルネットワークの機能としての最適化, もう1つは, 何らかの機能実現するためのニューラルネットワークの学習における最適化である.

 ホップフィールドネットワーク [5] (Hopfield network) は, 連想記憶行った巡回セールスマン問題などの最適化問題を解くために考え出されたニューラルネットワークで, 1982年, ホップフィールド (J. J. Hopfield) により提案された. 記憶したパターン情報は定係数T_{ij}\, 中に埋めこまれる. このモデル1984年, 連続モデル拡張された. 離散および連続モデル合わせてホップフィールドネットワーク呼ばれる. ホップフィールドタンク(T. W. Tank)は1985年に, ホップフィールドネットワーク巡回セールスマン問題解法用い方法示し [6] , ニューラルネットワークの最適化への応用の道を開いた.

 ニューラルネットワークによる学習は, 教師あり学習, 教師なし学習大別される. 教師あり学習とは, サンプルデータにおいて, 入力に対して出力値が与えられ, 多数入出力組の関係を同時に実現するようにモデルの中のパラメータ調整するモデルであり, その用途としては, 分類及び非線形回帰がある. この2つ本質的な違い教師出力信号として2値信号用いるか実数値を用いるかという点である. パーセプトロン, 階層型ネットワーク, RBF (radial basis function) ネットワークなどがあり, データクラス判定非線形関数近似を行うモデルを, 例 (examples) としてのデータから構築する. しきい値関数使ったモデルでは, パーセプトロンどのように, 誤り訂正学習用いられる. また, ロジスティック (logistic) 関数などの微分可能関数用いたモデルでは, 二乗誤差最小化するような評価関数学習用いられる. 階層型ニューラルネット二乗誤差最小化取り入れると, 誤差逆伝播法導かれる. 教師なし学習とは, 入力ベクトルけがあるもので, 入力ベクトルに関する分布情報学習するものであり, 情報圧縮, 確率密度関数モデル用いた推論などに応用される. コホネン(T. Kohonen)の自己組織化マップ (self organizing map), ガウス混合モデル (Gaussian mixture model), k-meansクラスタリングなどが代表的な例である.

 人工知能においては, 記号論理ベースにしたシンボリストモデル (symbolist model) に対し, ニューラルネットワークの相互結合をもじったコネクショニストモデル (connectionist model) は, 相互に対極にあるものとして対比されてきた. シンボリストモデルは論理的な説明適しており, コネクショニストモデルは学習が容易であるという特長を持つ反面, 一般にシンボリストモデルは学習が困難であり, コネクショニストモデルは説明能力欠けということがいえる. コネクショニストモデルが説明能力欠けるというのは, 入力空間自在に切り分けることができるがゆえにその複雑な切り口言語的に説明することが困難なためであり, 欠点というよりもそのモデルの持つ特質からくる特徴であって, 特に言語的な説明要しない制御などの分野では明らかに優れた能力発揮する. また, 日々売上データから顧客特徴抽出したり, クレジットカード入会審査行ったりするデータマイニングdata mining)の分野においても有力な手法として注目されている.



参考文献

[1] W. W. McCulloch and W. Pitts, "A Logical Calculus of the Ideas Immanent in Nervous Activity," Bull. Math. Biophysics, 5 (1943), 115-133.

[2] A. O. Hebb, The Organization of Behavior, Wiley, 1949. 白井 訳, 『行動機構』, 岩波書店, 1957.

[3] F. Rosenblatt, Principles of Neurodynamics, Spartan, 1962.

[4] D. E. Rumelhart, G. E. Hinton and R. J. Williams, "Learning Internal Representation by Error Propagation", in D. E. Rumelhart, J. L. McClelland and the PDP Research Group, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, 1, Foundations, MIT Press, 1986. 甘利監訳), 『PDPモデル-認知科学ニューロン回路網探索-』, 産業図書, 1989.

[5] J. J. Hopfield, "Neural Networks and Physical Systems with Emergent Collective Computational Abilities," in Proceedings of the National Academy of Sciences U.S.A., 79, 2554-2558, 1982.

[6] J. J. Hopfield and T. W. Tank, "Neural Computation of Decisions in Optimization Problems," Biological Cybernetics, 52 (1985), 141-152.


ニューラルネットワーク

(Neural Network から転送)

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/06/26 03:00 UTC 版)

(人工知能の分野で)ニューラルネットワーク: neural network; NN、神経網)は、生物学習メカニズムを模倣した機械学習手法として広く知られているものであり[1]、「ニューロン」と呼ばれる計算ユニットをもち、生物の神経系のメカニズムを模倣しているものである[1]。人間の脳の神経網を模した数理モデル[2]。模倣対象となった生物のニューラルネットワーク(神経網)とはっきり区別する場合は、人工ニューラルネットワーク (: artificial neural network) と呼ばれる。

以下では説明の都合上[注釈 1]、人工的なニューラルネットワークのほうは「人工ニューラルネットワーク」あるいは単に「ニューラルネットワーク」と呼び、生物のそれは「生物のニューラルネットワーク」あるいは「生物の神経網」、ヒトの頭脳のそれは「ヒトのニューラルネットワーク」あるいは「ヒトの神経網」と表記することにする。

概要

生物のニューロン

人工ニューラルネットワークを理解するには、そもそもそれがどのようなものを模倣しようとしているのかを知っておく必要があるので説明する。ヒトの神経系にはニューロンという細胞があり、ニューロン同士は互いに軸索 (axon) と樹状突起 (dendrite) を介して繋がっている。ニューロンは樹状突起で他の神経細胞から情報を受け取り、細胞内で情報処理してから、軸索で他のニューロンに情報を伝達する[3]。そして、軸索と樹状突起が結合する部分をシナプス(synapse)という[3][1](右図も参照。クリックして拡大して見ていただきたい。紫色の部分がひとつのニューロンであり、Dendrite, Axonなどが示されている。)。 このシナプスの結合強度というのは、外的な刺激に反応してちょくちょく変化する。このシナプス結合強度の変化こそが生物における「学習」のメカニズムである[1][注釈 2]

人工ニューロン

ヒトの神経網を模した人工ニューラルネットワークでは、計算ユニットが《重み》を介して繋がり、この《重み》がヒトの神経網のシナプス結合の「強度」と似た役割を担っている[1]。各ユニットへの入力は《重み》によって強さが変化するように作られており、ユニットにおける関数計算に影響を与える。ニューラルネットワークというのは、入力用ニューロンから出力用ニューロンへと向かって計算値を伝播させてゆくが、その過程で《重み》をパラメータとして利用し、入力の関 数を計算する。(ただし計算値が出力用ニューロンへと伝播されてゆくというだけでは入力パターンからある決まった出力パターンが出るだけなので、さほど有益というわけではない[4]。)《重み》が変化することで「学習」が起きる[1](ここが重要なのである[4])。

(右図も参照のこと。右図で「weights」や、丸で囲まれた「w」が縦に並んでいるのが《重み》である。)

生物のニューラルネットワークに与えられる外的刺激に相当するものとして、人工ニューラルネットワークでは「訓練データ」が与えられる[1]。いくつか方法があるが、たとえば訓練データとして入力データと出力ラベルが与えられ、たとえば何かの画像データとそれについての正しいラベルが与えられる(たとえばリンゴの画像データとappleというラベル、オレンジの画像データとorangeというラベルが与えられる)。ある入力に対して予測される出力が本当のラベルとどの程度一致するかを計算することで、ニューラルネットワークの《重み》についてフィードバックを得られ[1]、ニューロン間の《重み》は誤差(予測誤差)に応じて、誤差が減少するように調整される[1]。多数のニューロン間で《重み》の調整を繰り返し行うことで次第に計算関数が改善され、より正確な予測をできるようになる。(たとえばオレンジの画像データを提示されると「orange」と正しいラベルを答えられるようになる[1]。) 《重み》の調整方法の代表的なものがバックプロパゲーションである[4]

なお、ヒトのニューロンを模したユニットは人工ニューロンあるいはノードと呼ばれる。

相互作用ニューラルネットワークモデルの一例

右図の、多数のユニットが結合しネットワークを構成している数理モデルは、ニューラルネットワークのほんの一例である。(実際にはニューロンの数もさまざまに設定可能であるし、結合のしかたもさまざまに設定可能である。右図はあくまで、とりあえず説明にとりかかるための "一例" と理解いただきたい。 ユニットの構成(例: 線形変換の次元、非線形変換の有無・種類)やネットワークの構造(例: ユニットの数・階層構造・相互結合、入出力の再帰)に関して様々な選択肢があり、様々なモデルが提唱されている。)

各ユニットは入力の線形変換を必ず含み、多くの場合それに後続する非線形変換を含む(

多層パーセプトロンの模式図

RBFネットワーク

誤差逆伝播法に用いられる活性化関数放射基底関数を用いたニューラルネットワーク

  • RBFネットワーク英語版
  • 一般回帰ニューラルネットワーク英語版(GRNN、General Regression Neural Network)- 正規化したRBFネットワーク

自己組織化写像

自己組織化写像はコホネンが1982年に提案した教師なし学習モデルであり、多次元データのクラスタリング、可視化などに用いられる。自己組織化マップ、コホネンマップとも呼ばれる。

畳み込みニューラルネットワーク

畳み込みニューラルネットワーク

畳み込みニューラルネットワークとは層間が全結合ではない順伝播型ニューラルネットワークの一種。

画像を対象とするために用いられることが多い。

再帰型ニューラルネットワーク(リカレントニューラルネット、フィードバックニューラルネット)

フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。シーケンシャルなデータに対して有効で、自然言語処理音声動画の解析などに利用される[121]

Transformer

Self-Attention機構(自己注意機構)を利用したモデルである[120]。再帰型ニューラルネットワークの代替として考案された[120]

従来の自然言語処理用モデルに比べ計算量が少なく構造も単純なため、自然言語処理に使われることが多い[122]

確率的ニューラルネット

乱数による確率的な動作を導入した人工ニューラルネットワークモデル。モンテカルロ法のような統計的標本抽出手法と考えることができる。

スパイキングニューラルネットワーク

ニューラルネットワークをより生物学的な脳の働きに近づけるため、活動電位(スパイク)を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニングよりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。

2015年現在、スパイキングNN処理ユニットを積んだコンシューマー向けのチップとしては、QualcommSnapdragon 820が登場する予定となっている[123][124]

複素ニューラルネットワーク

入出力信号やパラメータ(重み閾値)が複素数値であるようなニューラルネットワークで活性化関数は必然的に複素関数になる[125]

利点

情報の表現
入力信号と出力信号が複素数(2次元)であるため、複素数で表現された信号はもとより、2次元情報を自然に表現可能[125]。また特に波動情報(複素振幅)を扱うのに適した汎化能力(回転と拡大縮小)を持ち、エレクトロニクスや量子計算の分野に好適である。四元数ニューラルネットワークは3次元の回転の扱いに優れるなど、高次複素数ニューラルネットワークの利用も進む。
学習特性
階層型の複素ニューラルネットワークの学習速度は、実ニューラルネットワークに比べて2〜3倍速く、しかも必要とするパラメータ(重みと閾値)の総数が約半分で済む[注釈 5][125]。学習結果は波動情報(複素振幅)を表現することに整合する汎化特性を示す[126]

生成モデル/統計モデル

生成モデル(統計モデルとも)は、データが母集団の確率分布に従って生成されると仮定しそのパラメータを学習するニューラルネットワークの総称である。統計的機械学習の一種といえる。モデル(=母集団)からのサンプリングによりデータ生成が可能な点が特徴である(詳しくは推計統計学 § 統計モデル機械学習 § 統計的機械学習)。

自己回帰型生成ネット

  • ^ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (26 May 1995). “The wake-sleep algorithm for unsupervised neural networks”. Science 268 (5214): 1158–1161. Bibcode1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831. 
  • ^ a b Reducing the Dimensionality of Data with Neural Networks
  • ^ a b A fast learning algorithm for deep belief nets
  • ^ 2012 Kurzweil AI Interview Archived 2018-08-31 at the Wayback Machine. with Juergen Schmidhuber on the eight competitions won by his Deep Learning team 2009–2012
  • ^ How bio-inspired deep learning keeps winning competitions”. kurzweilai.net. 2018年8月31日時点のオリジナルよりアーカイブ。2025年6月20日閲覧。
  • ^ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 September 2010). “Deep, Big, Simple Neural Nets for Handwritten Digit Recognition”. Neural Computation 22 (12): 3207–3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. 
  • ^ Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L.M.; Schmidhuber, J. (2011). “Flexible, High Performance Convolutional Neural Networks for Image Classification”. International Joint Conference on Artificial Intelligence. doi:10.5591/978-1-57735-516-8/ijcai11-210. オリジナルの2014-09-29時点におけるアーカイブ。. https://web.archive.org/web/20140929094040/http://ijcai.org/papers11/Papers/IJCAI11-210.pdf 2025年6月20日閲覧。. 
  • ^ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.. ed. Advances in Neural Information Processing Systems 25. Curran Associates, Inc.. pp. 2843–2851. オリジナルの2017-08-09時点におけるアーカイブ。. https://web.archive.org/web/20170809081713/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf 2025年6月20日閲覧。 
  • ^ Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). “Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks”. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science. 7908. pp. 411–418. doi:10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID 24579167 
  • ^ Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). “Multi-column deep neural networks for image classification”. 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 3642–3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8 
  • ^ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). “ImageNet Classification with Deep Convolutional Neural Networks”. NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. オリジナルの2017-01-10時点におけるアーカイブ。. https://web.archive.org/web/20170110123024/http://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf 2025年6月20日閲覧。. 
  • ^ Simonyan, Karen; Andrew, Zisserman (2014). “Very Deep Convolution Networks for Large Scale Image Recognition”. arXiv:1409.1556 [cs.CV].
  • ^ Szegedy, Christian (2015). “Going deeper with convolutions”. Cvpr2015. arXiv:1409.4842. オリジナルの2024-09-30時点におけるアーカイブ。. https://web.archive.org/web/20240930225513/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43022.pdf 2025年6月20日閲覧。. 
  • ^ Ng, Andrew; Dean, Jeff (2012). “Building High-level Features Using Large Scale Unsupervised Learning”. arXiv:1112.6209 [cs.LG].
  • ^ 引用エラー: 無効な <ref> タグです。「:4」という名前の注釈に対するテキストが指定されていません
  • ^ 引用エラー: 無効な <ref> タグです。「SAB1」という名前の注釈に対するテキストが指定されていません
  • ^ Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672–2680. 2019年11月22日時点のオリジナルよりアーカイブ (PDF). 2025年6月20日閲覧.
  • ^ Schmidhuber, Jürgen (1991). “A possibility for implementing curiosity and boredom in model-building neural controllers”. Proc. SAB'1991. MIT Press/Bradford Books. pp. 222–227.
  • ^ Schmidhuber, Jürgen (2020). “Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)” (英語). Neural Networks 127: 58–66. arXiv:1906.04493. doi:10.1016/j.neunet.2020.04.008. PMID 32334341. 
  • ^ Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (26 February 2018). “Progressive Growing of GANs for Improved Quality, Stability, and Variation”. arXiv:1710.10196 [cs.NE].
  • ^ GAN 2.0: NVIDIA's Hyperrealistic Face Generator”. SyncedReview.com (2018年12月14日). 2024年9月12日時点のオリジナルよりアーカイブ。2025年6月20日閲覧。
  • ^ Prepare, Don't Panic: Synthetic Media and Deepfakes”. witness.org. 2020年12月2日時点のオリジナルよりアーカイブ。2025年6月20日閲覧。
  • ^ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (1 June 2015). “Deep Unsupervised Learning using Nonequilibrium Thermodynamics” (英語). Proceedings of the 32nd International Conference on Machine Learning (PMLR) 37: 2256–2265. arXiv:1503.03585. オリジナルの2024-09-21時点におけるアーカイブ。. https://web.archive.org/web/20240921065319/http://proceedings.mlr.press/v37/sohl-dickstein15.pdf 2025年6月20日閲覧。. 
  • ^ Simonyan, Karen; Zisserman, Andrew (10 April 2015), Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv:1409.1556 
  • ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification”. arXiv:1502.01852 [cs.CV].
  • ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (10 December 2015). Deep Residual Learning for Image Recognition. arXiv:1512.03385.
  • ^ Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (2 May 2015). “Highway Networks”. arXiv:1505.00387 [cs.LG].
  • ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). “Deep Residual Learning for Image Recognition”. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. pp. 770–778. arXiv:1512.03385. doi:10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1. オリジナルの2024-10-07時点におけるアーカイブ。. https://ieeexplore.ieee.org/document/7780459 2025年6月20日閲覧。 
  • ^ Linn, Allison (2015年12月10日). “Microsoft researchers win ImageNet computer vision challenge” (英語). The AI Blog. 2023年5月21日時点のオリジナルよりアーカイブ。2025年6月20日閲覧。
  • ^ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014). “Sequence to sequence learning with neural networks”. arXiv:1409.3215 [cs.CL].
  • ^ Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (3 June 2014). “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”. arXiv:1406.1078 [cs.CL].
  • ^ a b c Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (12 June 2017). “Attention Is All You Need”. arXiv:1706.03762 [cs.CL].
  • ^ Schmidhuber, Jürgen (1992). “Learning to control fast-weight memories: an alternative to recurrent nets.”. Neural Computation 4 (1): 131–139. doi:10.1162/neco.1992.4.1.131. https://archive.org/download/wikipedia-scholarly-sources-corpus/10.1162.zip/10.1162%252Fneco.1992.4.1.131.pdf. 
  • ^ Katharopoulos, Angelos; Vyas, Apoorv; Pappas, Nikolaos; Fleuret, François (2020). “Transformers are RNNs: Fast autoregressive Transformers with linear attention”. ICML 2020. PMLR. pp. 5156–5165. 2023年7月11日時点のオリジナルよりアーカイブ. 2025年6月20日閲覧.
  • ^ Schlag, Imanol; Irie, Kazuki; Schmidhuber, Jürgen (2021). “Linear Transformers Are Secretly Fast Weight Programmers”. ICML 2021. Springer. pp. 9355–9366.
  • ^ Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim et al. (2020). “Transformers: State-of-the-Art Natural Language Processing”. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. pp. 38–45. doi:10.18653/v1/2020.emnlp-demos.6 
  • ^ Homma, Toshiteru; Les Atlas; Robert Marks II (1988). “An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification”. Advances in Neural Information Processing Systems 1: 31–40. http://papers.nips.cc/paper/20-an-artificial-neural-network-for-spatio-temporal-bipolar-patterns-application-to-phoneme-classification.pdf. 
  • ^ Yann Le Cun (June 1989). Generalization and Network Design Strategies. http://yann.lecun.com/exdb/publis/pdf/lecun-89.pdf. 
  • ^ Y. LeCun; B. Boser; J. S. Denker; D. Henderson; R. E. Howard; W. Hubbard; L. D. Jackel (1989). “Backpropagation applied to handwritten zip code recognition”. Neural Computation 1 (4): 541-551. 
  • ^ "A nonrecurrent network has no cycles. Nonrecurrent networks can be thought of as computing an input-output function." Jordan, M.I. (1986). Serial order: A parallel distributed processing approach. (Tech. Rep. No. 8604). San Diego: University of California, Institute for Cognitive Science.
  • ^ a b c Vaswani et al. 2017, p. 6001.
  • ^ Yu, Yong; Si, Xiaosheng; Hu, Changhua; Zhang, Jianxun (2019-07-01). “A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures”. Neural Computation 31 (7): 1235–1270. doi:10.1162/neco_a_01199. ISSN 0899-7667. https://doi.org/10.1162/neco_a_01199. 
  • ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017-12-05). “Attention Is All You Need”. arXiv:1706.03762 [cs]. https://arxiv.org/abs/1706.03762. 
  • ^ Neuromorphic Processing : A New Frontier in Scaling Computer Architecture Qualcomm 2014年
  • ^ Qualcomm’s cognitive compute processors are coming to Snapdragon 820 ExtremeTech 2015年3月2日
  • ^ a b c 複素ニューラルネットワーク
  • ^ Akira Hirose, Shotaro Yoshida (2012). “Generalization Characteristics of Complex-valued Feedforward Neural Networks in Relation to Signal Coherence”. IEEE TNNLS 23 (4): 541-551. 
  • ^ 村田剛志:「グラフニューラルネットワーク:Pytorchによる実装」、オーム社、ISBN 978-4-274-22887-2 (2022年7月15日).
  • ^ The proposed U-Net based architecture allows to provide detailed per-pixel feedback to the generator while maintaining the global coherence of synthesized images
  • ^ starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it PGGAN paper
  • ^ "making normalization a part of the model architecture and performing the normalization for each training mini-batch." Sergey Ioffe, et. al.. (2015)
  • ^ "ニューラルネットワークの演算の基本は、多入力の積和演算である。" 百瀬 (2016). 第2章:ディープ・ニューラルネットワークのニューロチップへの実装~その勘所は!!. semiconportal.
  • ^ "深層学習の…フレームワーク中では, 計算時間の多くが畳み込み計算などの密行列積に費やされており … 計算時間の約90%が畳み込み層での計算時間であることが知られている" p.1 of 関谷, et al. (2017). 低ランク近似を用いた深層学習の行列積の高速化. 情報処理学会研究報告. Vol2017-HPC-158, No.24.
  • ^ Optimize and Accelerate Machine Learning Inferencing and Training. ONNX Runtime.
  • ^ "Direct Machine Learning (DirectML) is a low-level API for machine learning." Direct Machine Learning (DirectML). Microsoft.
  • ^ "TensorRT can optimize and deploy applications to the data center, as well as embedded and automotive environments. It powers key NVIDIA solutions" NVIDIA TensorRT. NVIDIA.
  • ^ "Quantization works by reducing the precision of the numbers used to represent a model's parameters, which by default are 32-bit floating point numbers." Model optimization. TensorFlow.
  • ^ "Quantizing a network means converting it to use a reduced precision integer representation for the weights and/or activations." DYNAMIC QUANTIZATION. PyTorch.
  • ^ "Quantization performance gain comes in 2 part: instruction and cache." Quantize ONNX Models. ONNX Runtime.
  • ^ "Less memory usage: Smaller models use less RAM when they are run, which frees up memory for other parts of your application to use, and can translate to better performance and stability." Model optimization. TensorFlow.
  • ^ "Old hardware doesn’t have or has few instruction support for byte computation. And quantization has overhead (quantize and dequantize), so it is not rare to get worse performance on old devices." Quantize ONNX Models. ONNX Runtime.
  • ^ "Performance improvement depends on your model and hardware." Quantize ONNX Models. ONNX Runtime.
  • ^ "Static quantization quantizes the weights and activations of the model. ... It requires calibration with a representative dataset to determine optimal quantization parameters for activations." QUANTIZATION. PyTorch.
  • ^ "with dynamic quantization ... determine the scale factor for activations dynamically based on the data range observed at runtime." DYNAMIC QUANTIZATION. PyTorch.
  • ^ "The model parameters ... are converted ahead of time and stored in INT8 form." DYNAMIC QUANTIZATION. PyTorch.
  • ^ "Simulate the quantize and dequantize operations in training time." FAKEQUANTIZE. PyTorch. 2022-03-15閲覧.
  • ^ "There are 2 ways to represent quantized ONNX models: ... Tensor Oriented, aka Quantize and DeQuantize (QDQ)." Quantize ONNX Models. ONNX RUNTIME. 2022-03-15閲覧.
  • 参考文献

    関連項目

    外部リンク


    ニューラルネットワーク (曖昧さ回避)

    (Neural Network から転送)

    出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2023/12/09 22:15 UTC 版)

    ニューラルネットワーク英語版は、動物、人間、およびコンピューティング・システムにおける神経系の構造とアーキテクチャを形成する、相互接続されたニューロンの個体群またはニューロン・シミュレーションを指す:

    • 生物学的ニューラルネットワーク(別名: 神経回路英語版)、特定の機能を一緒に担う物理的に相互接続されたニューロンの集合
      • 脳の大規模ネットワーク(Large scale brain networks)、より大規模な生物学的ニューラルネットワーク(i.e.、複数の神経回路の相互作用)
    • 人工ニューラルネットワーク:ANN、動物の脳に見られる生物学的ニューラルネットワークにヒントを得たコンピューティング・システム

    Neural networks(ニューラル・ネットワークス)は以下を指すこともある:

    • ニューラル・ネットワークス (学術誌)英語版、査読済み科学学術誌

    関連項目

    • ニュートラル・ネットワーク (進化学)英語版
    • Gato (DeepMind) – これを書いている時にニューラルネットワークの国際言語間リンクがおかしいことに気付いたので


    英和和英テキスト翻訳>> Weblio翻訳
    英語⇒日本語日本語⇒英語
      

    辞書ショートカット

    すべての辞書の索引

    「Neural Network」の関連用語

    Neural Networkのお隣キーワード
    検索ランキング

       

    英語⇒日本語
    日本語⇒英語
       



    Neural Networkのページの著作権
    Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

       
    デジタル大辞泉デジタル大辞泉
    (C)Shogakukan Inc.
    株式会社 小学館
    IT用語辞典バイナリIT用語辞典バイナリ
    Copyright © 2005-2025 Weblio 辞書 IT用語辞典バイナリさくいん。 この記事は、IT用語辞典バイナリの【ニューラルネットワーク】の記事を利用しております。
    三栄書房三栄書房
    Copyright c San-eishobo Publishing Co.,Ltd.All Rights Reserved.
    日本オペレーションズ・リサーチ学会日本オペレーションズ・リサーチ学会
    Copyright (C) 2025 (社)日本オペレーションズ・リサーチ学会 All rights reserved.
    ウィキペディアウィキペディア
    All text is available under the terms of the GNU Free Documentation License.
    この記事は、ウィキペディアのニューラルネットワーク (改訂履歴)、ニューラルネットワーク (曖昧さ回避) (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

    ©2025 GRAS Group, Inc.RSS