ニューラルネットワーク
ニューラルネットワークとは、情報処理の計算モデルのうち、人間の脳の働きを模倣して構築された計算モデルのことである。
ニューラルネットワークのシステムは、比較的単純な処理単位をニューロン（神経細胞）と定義し、多数のニューロンを情報の入出力伝達網で接続した脳の仕組みに似せて構築されている。
ニューラルネットワークは、ニューロコンピュータと呼ばれるコンピュータシステムの計算モデルとなっている。ニューロコンピュータは自己学習を実現することができる新世代の人口知能として、盛んに研究・開発が行われている。
ニューラルネットワーク
生物の神経系の高度な情報処理機構を工学的に模倣し、入力と出力を相互にきめ細かく関連づけて複雑な制御を行う情報処理技術のこと。例えばオートエアコンにこれを導入すると人の感覚に近い綴密な空調制御が可能となる。スイッチや各センサーなどから信号を送る入力層、その情報をもとに入力と出力の優先順位をはかりながら相互関係の調整を行う中間層、それらの総和をもとに必要な制御量を算出してオートエアコン・アンプリファイアに出力する出力層の3種のニューロン(神経細胞)モデルが複数絡み合って、ネットワークを構成している。
参照 オートエアコンニューラルネットワーク
生物の神経系の情報処理を工学的に模倣したもので、人間の脳のように複雑な入力と出力の関係を、相互にきめ細かく関連づけて複雑な制御を行うシステム。トヨタ車のオートエアコンの制御に採用されており、外気温、室温、日射量を感知し、吹出し温度、風量を緻密に制御して乗員の感覚に合わせた、より快適な空調システムとしている。
ニューラルネットワーク
【英】：neural network
概要
(2) 神経回路の構造やニューロン(neuron)の作用を部分的に模倣した, コンピュータや電子回路を用いた人工的な「神経回路網」で, 記憶, 認識, 連想などの機能を実現する工学的なシステムのこと. ノイズに対する頑健性(robustness), 類似入力に対する汎化性(generalization), 学習が容易な高い適応性(adaptability), 並列処理への潜在的可能性をもつ.
詳説
ニューラルネットワーク (neural network) は神経回路網のことであり, その機能をコンピュータや専用ハードウェアで模倣したものを人工ニューラルネットワーク (artificial neural network) という. ORなどの分野で単にニューラルネットワークという場合は, 多くは人工ニューラルネットワークのことを指し, 具体的には比較的単純な非線形信号処理ユニットを結合することで構成されるネットワークのことと考えることが多い. ニューラルネットワークは本質的に並列分散処理的であり, 自己組織的であるといった特徴を内包している.
ニューラルネットワークの歴史を概観すると以下のようになる. 1943年にマッカロック（W. McCulloch）とピッツ（W. Pitts） [1] によるしきい値素子モデルが提案された. 1949年の心理学者D. Hebbの "The Organization of Behavior" [2] において示されたシナプス強化則とも言われる学習方法に関する考え方は, その後提案された多くのニューラルネットの学習方法の基礎となっている. 1962年, ローゼンブラット（F. Rosenblatt）によるパーセプトロン [3] (perceptron) が提案されたが, 1969年, ミンスキー（M. Minsky）とパパート（S. Papert）によるパーセプトロンの限界の呈示, 何人かの研究者による初期バージョンの後, 1986年にラメルハート（D. Rumelhart）, ヒントン（G. Hinton）, ウイリアムス（R. Williams）によりまとめられた階層型ニューラルネットワークの誤差逆伝播法 (back propagation) の定式化 [4] などを経て, 近年は, 脳の機能の実現を強く意識した研究も盛んに行われている.
ニューラルネットワークは2つの側面から最適化と関係が深い. まず1つは, ニューラルネットワークの機能としての最適化, もう1つは, 何らかの機能を実現するためのニューラルネットワークの学習における最適化である.
ホップフィールドネットワーク [5] (Hopfield network) は, 連想記憶を行ったり巡回セールスマン問題などの最適化問題を解くために考え出されたニューラルネットワークで, 1982年, ホップフィールド (J. J. Hopfield) により提案された. 記憶したいパターン情報は定係数
の中に埋めこまれる. このモデルは1984年, 連続値モデルに拡張された. 離散および連続モデルを合わせてホップフィールドネットワークと呼ばれる. ホップフィールドとタンク(T. W. Tank)は1985年に, ホップフィールドネットワークを巡回セールスマン問題の解法に用いる方法を示し [6] , ニューラルネットワークの最適化への応用の道を開いた.
ニューラルネットワークによる学習は, 教師あり学習, 教師なし学習に大別される. 教師あり学習とは, サンプルデータにおいて, 入力値に対して出力値が与えられ, 多数の入出力組の関係を同時に実現するようにモデルの中のパラメータを調整するモデルであり, その用途としては, 分類及び非線形回帰がある. この２つの本質的な違いは教師出力信号として2値信号を用いるか実数値を用いるかという点である. パーセプトロン, 階層型ネットワーク, RBF (radial basis function) ネットワークなどがあり, データのクラス判定や非線形関数近似を行うモデルを, 例 (examples) としてのデータから構築する. しきい値関数を使ったモデルでは, パーセプトロンなどのように, 誤り訂正学習が用いられる. また, ロジスティック (logistic) 関数などの微分可能関数を用いたモデルでは, 二乗誤差を最小化するような評価関数が学習に用いられる. 階層型ニューラルネットに二乗誤差最小化を取り入れると, 誤差逆伝播法が導かれる. 教師なし学習とは, 入力ベクトルだけがあるもので, 入力ベクトルに関する分布の情報を学習するものであり, 情報圧縮, 確率密度関数モデルを用いた推論などに応用される. コホネン（T. Kohonen）の自己組織化マップ (self organizing map), ガウス混合モデル (Gaussian mixture model), k-meansクラスタリングなどが代表的な例である.
人工知能においては, 記号論理をベースにしたシンボリストモデル (symbolist model) に対し, ニューラルネットワークの相互結合をもじったコネクショニストモデル (connectionist model) は, 相互に対極にあるものとして対比されてきた. シンボリストモデルは論理的な説明に適しており, コネクショニストモデルは学習が容易であるという特長を持つ反面, 一般にシンボリストモデルは学習が困難であり, コネクショニストモデルは説明能力に欠けるということがいえる. コネクショニストモデルが説明能力に欠けるというのは, 入力空間を自在に切り分けることができるがゆえにその複雑な切り口を言語的に説明することが困難なためであり, 欠点というよりもそのモデルの持つ特質からくる特徴であって, 特に言語的な説明を要しない制御などの分野では明らかに優れた能力を発揮する. また, 日々の売上データから顧客の特徴を抽出したり, クレジットカードの入会審査を行ったりするデータマイニング（data mining）の分野においても有力な手法として注目されている.
[1] W. W. McCulloch and W. Pitts, "A Logical Calculus of the Ideas Immanent in Nervous Activity," Bull. Math. Biophysics, 5 (1943), 115-133.
[2] A. O. Hebb, The Organization of Behavior, Wiley, 1949. 白井 訳, 『行動の機構』, 岩波書店, 1957.
[3] F. Rosenblatt, Principles of Neurodynamics, Spartan, 1962.
[4] D. E. Rumelhart, G. E. Hinton and R. J. Williams, "Learning Internal Representation by Error Propagation", in D. E. Rumelhart, J. L. McClelland and the PDP Research Group, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, 1, Foundations, MIT Press, 1986. 甘利（監訳）, 『PDPモデル-認知科学とニューロン回路網の探索-』, 産業図書, 1989.
[5] J. J. Hopfield, "Neural Networks and Physical Systems with Emergent Collective Computational Abilities," in Proceedings of the National Academy of Sciences U.S.A., 79, 2554-2558, 1982.
[6] J. J. Hopfield and T. W. Tank, "Neural Computation of Decisions in Optimization Problems," Biological Cybernetics, 52 (1985), 141-152.
| 近似・知能・感覚的手法： | デンプスター・シェファーの証拠理論 データマイニング ナップサック問題 ニューラルネットワーク ニューラルネットワークによる学習 ファジィランダム変数 ファジィ推論 |
ニューラルネットワーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/03/02 21:31 UTC 版)
ニューラルネットワーク（神経網、英: neural network; NN）は「入力を線形変換する処理単位」がネットワーク状に結合した人工知能の数理モデルである。人工ニューラルネットワーク (英: artificial neural network) とも。
注釈
出典
- ^ Homma, Toshiteru; Les Atlas; Robert Marks II (1988). “An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification”. Advances in Neural Information Processing Systems 1: 31–40.
- ^ Yann Le Cun (June 1989). Generalization and Network Design Strategies.
- ^ Y. LeCun; B. Boser; J. S. Denker; D. Henderson; R. E. Howard; W. Hubbard; L. D. Jackel (1989). “Backpropagation applied to handwritten zip code recognition”. Neural Computation 1 (4): 541-551.
- ^ Reducing the Dimensionality of Data with Neural Networks
- ^ A fast learning algorithm for deep belief nets
- ^ "A nonrecurrent network has no cycles. Nonrecurrent networks can be thought of as computing an input-output function." Jordan, M.I. (1986). Serial order: A parallel distributed processing approach. (Tech. Rep. No. 8604). San Diego: University of California, Institute for Cognitive Science.
- ^ a b c Vaswani et al. 2017, p. 6001.
- ^ Yu, Yong; Si, Xiaosheng; Hu, Changhua; Zhang, Jianxun (2019-07-01). “A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures”. Neural Computation 31 (7): 1235–1270. doi:10.1162/neco_a_01199. ISSN 0899-7667.
- ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017-12-05). “Attention Is All You Need”. arXiv:1706.03762 [cs].
- ^ Neuromorphic Processing : A New Frontier in Scaling Computer Architecture Qualcomm 2014年
- ^ Qualcomm’s cognitive compute processors are coming to Snapdragon 820 ExtremeTech 2015年3月2日
- ^ a b c 複素ニューラルネットワーク
- ^ Akira Hirose, Shotaro Yoshida (2012). “Generalization Characteristics of Complex-valued Feedforward Neural Networks in Relation to Signal Coherence”. IEEE TNNLS 23 (4): 541-551.
- ^ The proposed U-Net based architecture allows to provide detailed per-pixel feedback to the generator while maintaining the global coherence of synthesized images
- ^ starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it PGGAN paper
- ^ "making normalization a part of the model architecture and performing the normalization for each training mini-batch." Sergey Ioffe, et. al.. (2015)
- ^ "ニューラルネットワークの演算の基本は、多入力の積和演算である。" 百瀬 (2016). 第2章：ディープ・ニューラルネットワークのニューロチップへの実装～その勘所は!!. semiconportal.
- ^ "深層学習の…フレームワーク中では, 計算時間の多くが畳み込み計算などの密行列積に費やされており … 計算時間の約90%が畳み込み層での計算時間であることが知られている" p.1 of 関谷, et al. (2017). 低ランク近似を用いた深層学習の行列積の高速化. 情報処理学会研究報告. Vol2017-HPC-158, No.24.
- ^ Optimize and Accelerate Machine Learning Inferencing and Training. ONNX Runtime.
- ^ "Direct Machine Learning (DirectML) is a low-level API for machine learning." Direct Machine Learning (DirectML). Microsoft.
- ^ "TensorRT can optimize and deploy applications to the data center, as well as embedded and automotive environments. It powers key NVIDIA solutions" NVIDIA TensorRT. NVIDIA.
- ^ "Quantization works by reducing the precision of the numbers used to represent a model's parameters, which by default are 32-bit floating point numbers." Model optimization. TensorFlow.
- ^ "Quantizing a network means converting it to use a reduced precision integer representation for the weights and/or activations." DYNAMIC QUANTIZATION. PyTorch.
- ^ "Quantization performance gain comes in 2 part: instruction and cache." Quantize ONNX Models. ONNX Runtime.
- ^ "Less memory usage: Smaller models use less RAM when they are run, which frees up memory for other parts of your application to use, and can translate to better performance and stability." Model optimization. TensorFlow.
- ^ "Old hardware doesn’t have or has few instruction support for byte computation. And quantization has overhead (quantize and dequantize), so it is not rare to get worse performance on old devices." Quantize ONNX Models. ONNX Runtime.
- ^ "Performance improvement depends on your model and hardware." Quantize ONNX Models. ONNX Runtime.
- ^ "Static quantization quantizes the weights and activations of the model. ... It requires calibration with a representative dataset to determine optimal quantization parameters for activations." QUANTIZATION. PyTorch.
- ^ "with dynamic quantization ... determine the scale factor for activations dynamically based on the data range observed at runtime." DYNAMIC QUANTIZATION. PyTorch.
- ^ "The model parameters ... are converted ahead of time and stored in INT8 form." DYNAMIC QUANTIZATION. PyTorch.
- ^ "Simulate the quantize and dequantize operations in training time." FAKEQUANTIZE. PyTorch. 2022-03-15閲覧.
- ^ "There are 2 ways to represent quantized ONNX models: ... Tensor Oriented, aka Quantize and DeQuantize (QDQ)." Quantize ONNX Models. ONNX RUNTIME. 2022-03-15閲覧.
ニューラルネットワーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/04 00:57 UTC 版)
パターン認識に特化したアルゴリズムである。コネクショニズムとほぼ同義。
※この「ニューラルネットワーク」の解説は、「人工知能」の解説の一部です。
「ニューラルネットワーク」を含む「人工知能」の記事については、「人工知能」の概要を参照ください。
ニューラルネットワーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/15 15:33 UTC 版)
階層的な非線形変換からなるネットワーク。一般に誤差逆伝播法で学習される。非線形性による高い表現能力をもち、分類・回帰・生成など様々なタスクに用いられる。
※この「ニューラルネットワーク」の解説は、「機械学習」の解説の一部です。
「ニューラルネットワーク」を含む「機械学習」の記事については、「機械学習」の概要を参照ください。
ニューラルネットワーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/02 08:51 UTC 版)
以上のような人工神経によって構成されるネットワークについては、ニューラルネットワークの記事を参照のこと。
※この「ニューラルネットワーク」の解説は、「人工神経」の解説の一部です。
「ニューラルネットワーク」を含む「人工神経」の記事については、「人工神経」の概要を参照ください。
ニューラルネットワークと同じ種類の言葉
| 情報処理システムに関連する言葉 | ARTSJ EDPS NACCS ニューラルネットワーク |
- ニューラルネットワークのページへのリンク
