ニューラルネットワーク
ニューラルネットワークとは、情報処理の計算モデルのうち、人間の脳の働きを模倣して構築された計算モデルのことである。
ニューラルネットワークのシステムは、比較的単純な処理単位をニューロン(神経細胞)と定義し、多数のニューロンを情報の入出力伝達網で接続した脳の仕組みに似せて構築されている。
ニューラルネットワークは、ニューロコンピュータと呼ばれるコンピュータシステムの計算モデルとなっている。ニューロコンピュータは自己学習を実現することができる新世代の人口知能として、盛んに研究・開発が行われている。
ニューラルネットワーク
生物の神経系の高度な情報処理機構を工学的に模倣し、入力と出力を相互にきめ細かく関連づけて複雑な制御を行う情報処理技術のこと。例えばオートエアコンにこれを導入すると人の感覚に近い綴密な空調制御が可能となる。スイッチや各センサーなどから信号を送る入力層、その情報をもとに入力と出力の優先順位をはかりながら相互関係の調整を行う中間層、それらの総和をもとに必要な制御量を算出してオートエアコン・アンプリファイアに出力する出力層の3種のニューロン(神経細胞)モデルが複数絡み合って、ネットワークを構成している。
参照 オートエアコンニューラルネットワーク
生物の神経系の情報処理を工学的に模倣したもので、人間の脳のように複雑な入力と出力の関係を、相互にきめ細かく関連づけて複雑な制御を行うシステム。トヨタ車のオートエアコンの制御に採用されており、外気温、室温、日射量を感知し、吹出し温度、風量を緻密に制御して乗員の感覚に合わせた、より快適な空調システムとしている。
ニューラルネットワーク
【英】:neural network
概要
(2) 神経回路の構造やニューロン(neuron)の作用を部分的に模倣した, コンピュータや電子回路を用いた人工的な「神経回路網」で, 記憶, 認識, 連想などの機能を実現する工学的なシステムのこと. ノイズに対する頑健性(robustness), 類似入力に対する汎化性(generalization), 学習が容易な高い適応性(adaptability), 並列処理への潜在的可能性をもつ.
詳説
ニューラルネットワーク (neural network) は神経回路網のことであり, その機能をコンピュータや専用ハードウェアで模倣したものを人工ニューラルネットワーク (artificial neural network) という. ORなどの分野で単にニューラルネットワークという場合は, 多くは人工ニューラルネットワークのことを指し, 具体的には比較的単純な非線形信号処理ユニットを結合することで構成されるネットワークのことと考えることが多い. ニューラルネットワークは本質的に並列分散処理的であり, 自己組織的であるといった特徴を内包している.
ニューラルネットワークの歴史を概観すると以下のようになる. 1943年にマッカロック(W. McCulloch)とピッツ(W. Pitts) [1] によるしきい値素子モデルが提案された. 1949年の心理学者D. Hebbの "The Organization of Behavior" [2] において示されたシナプス強化則とも言われる学習方法に関する考え方は, その後提案された多くのニューラルネットの学習方法の基礎となっている. 1962年, ローゼンブラット(F. Rosenblatt)によるパーセプトロン [3] (perceptron) が提案されたが, 1969年, ミンスキー(M. Minsky)とパパート(S. Papert)によるパーセプトロンの限界の呈示, 何人かの研究者による初期バージョンの後, 1986年にラメルハート(D. Rumelhart), ヒントン(G. Hinton), ウイリアムス(R. Williams)によりまとめられた階層型ニューラルネットワークの誤差逆伝播法 (back propagation) の定式化 [4] などを経て, 近年は, 脳の機能の実現を強く意識した研究も盛んに行われている.
ニューラルネットワークは2つの側面から最適化と関係が深い. まず1つは, ニューラルネットワークの機能としての最適化, もう1つは, 何らかの機能を実現するためのニューラルネットワークの学習における最適化である.
ホップフィールドネットワーク [5] (Hopfield network) は, 連想記憶を行ったり巡回セールスマン問題などの最適化問題を解くために考え出されたニューラルネットワークで, 1982年, ホップフィールド (J. J. Hopfield) により提案された. 記憶したいパターン情報は定係数の中に埋めこまれる. このモデルは1984年, 連続値モデルに拡張された. 離散および連続モデルを合わせてホップフィールドネットワークと呼ばれる. ホップフィールドとタンク(T. W. Tank)は1985年に, ホップフィールドネットワークを巡回セールスマン問題の解法に用いる方法を示し [6] , ニューラルネットワークの最適化への応用の道を開いた.
ニューラルネットワークによる学習は, 教師あり学習, 教師なし学習に大別される. 教師あり学習とは, サンプルデータにおいて, 入力値に対して出力値が与えられ, 多数の入出力組の関係を同時に実現するようにモデルの中のパラメータを調整するモデルであり, その用途としては, 分類及び非線形回帰がある. この2つの本質的な違いは教師出力信号として2値信号を用いるか実数値を用いるかという点である. パーセプトロン, 階層型ネットワーク, RBF (radial basis function) ネットワークなどがあり, データのクラス判定や非線形関数近似を行うモデルを, 例 (examples) としてのデータから構築する. しきい値関数を使ったモデルでは, パーセプトロンなどのように, 誤り訂正学習が用いられる. また, ロジスティック (logistic) 関数などの微分可能関数を用いたモデルでは, 二乗誤差を最小化するような評価関数が学習に用いられる. 階層型ニューラルネットに二乗誤差最小化を取り入れると, 誤差逆伝播法が導かれる. 教師なし学習とは, 入力ベクトルだけがあるもので, 入力ベクトルに関する分布の情報を学習するものであり, 情報圧縮, 確率密度関数モデルを用いた推論などに応用される. コホネン(T. Kohonen)の自己組織化マップ (self organizing map), ガウス混合モデル (Gaussian mixture model), k-meansクラスタリングなどが代表的な例である.
人工知能においては, 記号論理をベースにしたシンボリストモデル (symbolist model) に対し, ニューラルネットワークの相互結合をもじったコネクショニストモデル (connectionist model) は, 相互に対極にあるものとして対比されてきた. シンボリストモデルは論理的な説明に適しており, コネクショニストモデルは学習が容易であるという特長を持つ反面, 一般にシンボリストモデルは学習が困難であり, コネクショニストモデルは説明能力に欠けるということがいえる. コネクショニストモデルが説明能力に欠けるというのは, 入力空間を自在に切り分けることができるがゆえにその複雑な切り口を言語的に説明することが困難なためであり, 欠点というよりもそのモデルの持つ特質からくる特徴であって, 特に言語的な説明を要しない制御などの分野では明らかに優れた能力を発揮する. また, 日々の売上データから顧客の特徴を抽出したり, クレジットカードの入会審査を行ったりするデータマイニング(data mining)の分野においても有力な手法として注目されている.
[1] W. W. McCulloch and W. Pitts, "A Logical Calculus of the Ideas Immanent in Nervous Activity," Bull. Math. Biophysics, 5 (1943), 115-133.
[2] A. O. Hebb, The Organization of Behavior, Wiley, 1949. 白井 訳, 『行動の機構』, 岩波書店, 1957.
[3] F. Rosenblatt, Principles of Neurodynamics, Spartan, 1962.
[4] D. E. Rumelhart, G. E. Hinton and R. J. Williams, "Learning Internal Representation by Error Propagation", in D. E. Rumelhart, J. L. McClelland and the PDP Research Group, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, 1, Foundations, MIT Press, 1986. 甘利(監訳), 『PDPモデル-認知科学とニューロン回路網の探索-』, 産業図書, 1989.
[5] J. J. Hopfield, "Neural Networks and Physical Systems with Emergent Collective Computational Abilities," in Proceedings of the National Academy of Sciences U.S.A., 79, 2554-2558, 1982.
[6] J. J. Hopfield and T. W. Tank, "Neural Computation of Decisions in Optimization Problems," Biological Cybernetics, 52 (1985), 141-152.
近似・知能・感覚的手法: | デンプスター・シェファーの証拠理論 データマイニング ナップサック問題 ニューラルネットワーク ニューラルネットワークによる学習 ファジィランダム変数 ファジィ推論 |
ニューラルネットワーク
(Neural Network から転送)
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/06/26 03:00 UTC 版)
機械学習および データマイニング |
---|
![]() |
![]() |
(人工知能の分野で)ニューラルネットワーク(英: neural network; NN、神経網)は、生物の学習メカニズムを模倣した機械学習手法として広く知られているものであり[1]、「ニューロン」と呼ばれる計算ユニットをもち、生物の神経系のメカニズムを模倣しているものである[1]。人間の脳の神経網を模した数理モデル[2]。模倣対象となった生物のニューラルネットワーク(神経網)とはっきり区別する場合は、人工ニューラルネットワーク (英: artificial neural network) と呼ばれる。
以下では説明の都合上[注釈 1]、人工的なニューラルネットワークのほうは「人工ニューラルネットワーク」あるいは単に「ニューラルネットワーク」と呼び、生物のそれは「生物のニューラルネットワーク」あるいは「生物の神経網」、ヒトの頭脳のそれは「ヒトのニューラルネットワーク」あるいは「ヒトの神経網」と表記することにする。
概要

人工ニューラルネットワークを理解するには、そもそもそれがどのようなものを模倣しようとしているのかを知っておく必要があるので説明する。ヒトの神経系にはニューロンという細胞があり、ニューロン同士は互いに軸索 (axon) と樹状突起 (dendrite) を介して繋がっている。ニューロンは樹状突起で他の神経細胞から情報を受け取り、細胞内で情報処理してから、軸索で他のニューロンに情報を伝達する[3]。そして、軸索と樹状突起が結合する部分をシナプス(synapse)という[3][1](右図も参照。クリックして拡大して見ていただきたい。紫色の部分がひとつのニューロンであり、Dendrite, Axonなどが示されている。)。 このシナプスの結合強度というのは、外的な刺激に反応してちょくちょく変化する。このシナプス結合強度の変化こそが生物における「学習」のメカニズムである[1]。[注釈 2]

ヒトの神経網を模した人工ニューラルネットワークでは、計算ユニットが《重み》を介して繋がり、この《重み》がヒトの神経網のシナプス結合の「強度」と似た役割を担っている[1]。各ユニットへの入力は《重み》によって強さが変化するように作られており、ユニットにおける関数計算に影響を与える。ニューラルネットワークというのは、入力用ニューロンから出力用ニューロンへと向かって計算値を伝播させてゆくが、その過程で《重み》をパラメータとして利用し、入力の関 数を計算する。(ただし計算値が出力用ニューロンへと伝播されてゆくというだけでは入力パターンからある決まった出力パターンが出るだけなので、さほど有益というわけではない[4]。)《重み》が変化することで「学習」が起きる[1](ここが重要なのである[4])。
- (右図も参照のこと。右図で「weights」や、丸で囲まれた「w」が縦に並んでいるのが《重み》である。)
生物のニューラルネットワークに与えられる外的刺激に相当するものとして、人工ニューラルネットワークでは「訓練データ」が与えられる[1]。いくつか方法があるが、たとえば訓練データとして入力データと出力ラベルが与えられ、たとえば何かの画像データとそれについての正しいラベルが与えられる(たとえばリンゴの画像データとappleというラベル、オレンジの画像データとorangeというラベルが与えられる)。ある入力に対して予測される出力が本当のラベルとどの程度一致するかを計算することで、ニューラルネットワークの《重み》についてフィードバックを得られ[1]、ニューロン間の《重み》は誤差(予測誤差)に応じて、誤差が減少するように調整される[1]。多数のニューロン間で《重み》の調整を繰り返し行うことで次第に計算関数が改善され、より正確な予測をできるようになる。(たとえばオレンジの画像データを提示されると「orange」と正しいラベルを答えられるようになる[1]。) 《重み》の調整方法の代表的なものがバックプロパゲーションである[4]。
なお、ヒトのニューロンを模したユニットは人工ニューロンあるいはノードと呼ばれる。

右図の、多数のユニットが結合しネットワークを構成している数理モデルは、ニューラルネットワークのほんの一例である。(実際にはニューロンの数もさまざまに設定可能であるし、結合のしかたもさまざまに設定可能である。右図はあくまで、とりあえず説明にとりかかるための "一例" と理解いただきたい。 ユニットの構成(例: 線形変換の次元、非線形変換の有無・種類)やネットワークの構造(例: ユニットの数・階層構造・相互結合、入出力の再帰)に関して様々な選択肢があり、様々なモデルが提唱されている。)
各ユニットは入力の線形変換を必ず含み、多くの場合それに後続する非線形変換を含む(
RBFネットワーク
誤差逆伝播法に用いられる活性化関数に放射基底関数を用いたニューラルネットワーク
- RBFネットワーク
- 一般回帰ニューラルネットワーク(GRNN、General Regression Neural Network)- 正規化したRBFネットワーク
自己組織化写像
自己組織化写像はコホネンが1982年に提案した教師なし学習モデルであり、多次元データのクラスタリング、可視化などに用いられる。自己組織化マップ、コホネンマップとも呼ばれる。
- 自己組織化写像
- 学習ベクトル量子化

畳み込みニューラルネットワーク
畳み込みニューラルネットワークとは層間が全結合ではない順伝播型ニューラルネットワークの一種。
画像を対象とするために用いられることが多い。
再帰型ニューラルネットワーク(リカレントニューラルネット、フィードバックニューラルネット)
フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。シーケンシャルなデータに対して有効で、自然言語処理や音声、動画の解析などに利用される[121]。
Transformer
Self-Attention機構(自己注意機構)を利用したモデルである[120]。再帰型ニューラルネットワークの代替として考案された[120]。
従来の自然言語処理用モデルに比べ計算量が少なく構造も単純なため、自然言語処理に使われることが多い[122]。
確率的ニューラルネット
乱数による確率的な動作を導入した人工ニューラルネットワークモデル。モンテカルロ法のような統計的標本抽出手法と考えることができる。
スパイキングニューラルネットワーク
ニューラルネットワークをより生物学的な脳の働きに近づけるため、活動電位(スパイク)を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニングよりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。
2015年現在、スパイキングNN処理ユニットを積んだコンシューマー向けのチップとしては、QualcommのSnapdragon 820が登場する予定となっている[123][124]。
複素ニューラルネットワーク
入出力信号やパラメータ(重み、閾値)が複素数値であるようなニューラルネットワークで活性化関数は必然的に複素関数になる[125]。
利点
- 情報の表現
- 入力信号と出力信号が複素数(2次元)であるため、複素数で表現された信号はもとより、2次元情報を自然に表現可能[125]。また特に波動情報(複素振幅)を扱うのに適した汎化能力(回転と拡大縮小)を持ち、エレクトロニクスや量子計算の分野に好適である。四元数ニューラルネットワークは3次元の回転の扱いに優れるなど、高次複素数ニューラルネットワークの利用も進む。
- 学習特性
- 階層型の複素ニューラルネットワークの学習速度は、実ニューラルネットワークに比べて2〜3倍速く、しかも必要とするパラメータ(重みと閾値)の総数が約半分で済む[注釈 5][125]。学習結果は波動情報(複素振幅)を表現することに整合する汎化特性を示す[126]。
生成モデル/統計モデル
生成モデル(統計モデルとも)は、データが母集団の確率分布に従って生成されると仮定しそのパラメータを学習するニューラルネットワークの総称である。統計的機械学習の一種といえる。モデル(=母集団)からのサンプリングによりデータ生成が可能な点が特徴である(詳しくは推計統計学 § 統計モデル、機械学習 § 統計的機械学習)。
自己回帰型生成ネット
<ref>
タグです。「:4
」という名前の注釈に対するテキストが指定されていません <ref>
タグです。「SAB1
」という名前の注釈に対するテキストが指定されていません 参考文献
- 上坂吉則:「ニューロコンピューティングの数学的基礎」、近代科学社、ISBN 4-7649-0219-2 (1993年11月20日).
- 斎藤康毅『ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装』(第1刷)オライリージャパン、2016年9月24日。 ISBN 978-4873117584。
- Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Łukasz; Polosukhin, Illia (2017-12-04). “Attention is all you need”. Proceedings of the 31st International Conference on Neural Information Processing Systems (Red Hook, NY, USA: Curran Associates Inc.): 6000–6010. doi:10.5555/3295222.3295349. ISBN 978-1-5108-6096-4 .
- 山内康一郎:「作って学ぶニューラルネットワーク:機械学習の基礎から追加学習まで」、コロナ社、ISBN 978-4-339-02911-6 (2020年10月13日).
関連項目
- 人工知能
- 強化学習
- 機械学習
- ニューロコンピュータ
- コネクショニズム
- 認知科学
- ウォーレン・マカロック
- ウォルター・ピッツ
- ヘッブの法則
- 認知アーキテクチャ
- 階層構造
- 創発
- Neuroevolution
- コネクトーム
- ディープラーニング
- ヒトの脳
- 幹細胞
- 脳オルガノイド
外部リンク
- 『ニューラルネットワークモデル』 - コトバンク
- 『ニューラルネットワーク』 - コトバンク
ニューラルネットワーク (曖昧さ回避)
(Neural Network から転送)
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2023/12/09 22:15 UTC 版)
ニューラルネットワークは、動物、人間、およびコンピューティング・システムにおける神経系の構造とアーキテクチャを形成する、相互接続されたニューロンの個体群またはニューロン・シミュレーションを指す:
- 生物学的ニューラルネットワーク(別名: 神経回路)、特定の機能を一緒に担う物理的に相互接続されたニューロンの集合
- 脳の大規模ネットワーク(Large scale brain networks)、より大規模な生物学的ニューラルネットワーク(i.e.、複数の神経回路の相互作用)
- 人工ニューラルネットワーク:ANN、動物の脳に見られる生物学的ニューラルネットワークにヒントを得たコンピューティング・システム
- 深層ニューラルネットワーク:DNN or ディープ・ニューラルネットワークとも、入力層と出力層の間に複数の層がある人工ニューラルネットワーク
- 畳み込みニューラルネットワーク:CNN、ディープ・ニューラルネットワークの一種で、たいてい一般的には視覚画像の分析に適用される
- 深層ニューラルネットワーク:DNN or ディープ・ニューラルネットワークとも、入力層と出力層の間に複数の層がある人工ニューラルネットワーク
Neural networks(ニューラル・ネットワークス)は以下を指すこともある:
- ニューラル・ネットワークス (学術誌)、査読済み科学学術誌
関連項目
- ニュートラル・ネットワーク (進化学)
- Gato (DeepMind) – これを書いている時にニューラルネットワークの国際言語間リンクがおかしいことに気付いたので
- Neural Networkのページへのリンク