ディープ‐ラーニング【deep learning】
読み方：でぃーぷらーにんぐ
コンピューターによる機械学習で、人間の脳神経回路を模したニューラルネットワークを多層的にすることで、コンピューター自らがデータに含まれる潜在的な特徴をとらえ、より正確で効率的な判断を実現させる技術や手法。音声認識と自然言語処理を組み合わせた音声アシスタントや画像認識など、パターン認識の分野で実用化されている。深層学習。
[補説] コンピューターがネコの画像をネコであると認識する場合、画像からなんらかの特徴を抽出し、あらかじめ記憶させたネコの基準となる特徴と照らし合わせる必要がある。ディープラーニングの登場以前には、研究者や技術者がネコの基準となる特徴をあらかじめ数量化した特徴量を設定したが、ディープラーニングにおいては、ネコの属性をもつさまざまなものを大量に機械学習させることで、人が直接関与することなく、ネコの特徴をコンピューターが自動的に学んでいく。
ディープラーニング（深層学習）
ディープラーニング
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/03/15 23:16 UTC 版)
注釈
- ^ a b ディープラーニング(深層学習)の大家として世界的に知られるIan Goodfellow，Yoshua Bengio，Aaron Courvilleが著した"Deep Learning"という教科書のIntroductionの第4パラグラフ（pp.1-2）におけるディープラーニングの定義では、ニューラルネットワークについて全く触れられておらず、「概念の階層により、コンピューターは、単純な概念から複雑な概念を構築することにより、複雑な概念を学習できます。これらの概念がどのように相互に構築されているかを示すグラフを描くと、グラフは深く、多くの層があります。このため、このアプローチをAIディープラーニングと呼びます。」と概念の階層構造により定義している。
- ^ 2層なら単純パーセプトロン。3層なら階層型ニューラルネット。これらと比較して深い層の階層型ニューラルネットを、深層（階層型）ニューラルネットと呼ぶ。
- ^ a b 学界は人工知能が有用であればどのような実現方法でも良いとの認識である[要出典]。従って、学界は計算機における人間の脳の再現だけを目指しているわけではない[要出典]。また、ニューラルネットワークは人間の脳神経のネットワーク[要曖昧さ回避]構造に着想を得て研究が始められただけであり[要出典]、その後は一部の研究事例を除いて人間の脳とは無関係に多様な方法で理論拡張が行われ続けている[要出典]。
- ^ 技術開発のスピードが速すぎて学会の査読が追いつかないため、arXivなどのプレプリントサービスに掲載された論文が参考文献として挙げられる場合も多い。
- ^ 2層なら単純パーセプトロン。3層なら階層型ニューラルネット。これらと比較して深い層の階層型ニューラルネットを、深層（階層型）ニューラルネットと呼ぶ。
- ^ 積層自己符号化器（スタックドオートエンコーダ）と呼ばれる手法
出典
- ^ a b Ian Goodfellow and Yoshua Bengio and Aaron Courville. “Deep Learning” (English). マサチューセッツ工科大学出版局. 2021年2月4日閲覧。
- ^ a b c d 麻生英樹 他、監修: 人工知能学会「深層学習手法の全体像」『深層学習』近代科学社、2015年、xiv頁。ISBN 9784764904873。
- ^ a b 深層学習 人工知能学会 深層学習手法の全体像xiii
- ^ a b 岡谷貴之 深層学習 (機械学習プロフェッショナルシリーズ)、2015年4月8日、まえがき、ISBN 978-4061529021
- ^ 「深層学習の原理に迫る 数学の挑戦」今泉允聡 岩波書店 2021/04/16 試し読み https://www.iwanami.co.jp/moreinfo/tachiyomi/0297030.pdf https://www.iwanami.co.jp/book/b570597.html 深層学習の汎化誤差のための近似性能と複雑性解析 2019/11/22 IBIS企画セッション 今泉允聡 東京大学 （統計数理研究所 / 理化学研究所 / JSTさきがけ）https://ibisml.org/ibis2019/files/2019/11/slide_imaizumi.pdf https://sites.google.com/view/mimaizumi/home_JP
- ^ a b c Ian Goodfellow and Yoshua Bengio and Aaron Courville. “Deep Learning”. An MIT Press book. p. 14. 2021年2月3日閲覧。
- ^ “ChatGPTを賢くする呪文 - 日本経済新聞”. www.nikkei.com. 2023年5月7日閲覧。
- ^ “人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋”. 朝日新聞GLOBE＋. 2022年8月28日閲覧。
- ^ “加藤邦人 | 岐阜大学 人工知能研究推進センター”. www1.gifu-u.ac.jp. 2023年5月7日閲覧。
- ^ 小林雅一 2013, p. 92.
- ^ “ディープラーニングはビジネスにどう使えるか?”. WirelessWire News (2015年5月20日). 2015年5月21日閲覧。
- ^ 小林雅一 2013, p. 94.
- ^ “ネオコグニトロン”. 2015年6月30日閲覧。
- ^ “位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン ---”. 電子通信学会論文誌A (1979年10月1日). 2017年8月16日閲覧。
- ^ “「ネオコグニトロンはまだ進化する」、画像向けディープラーニング「CNN」の父に聞く” (2015年5月22日). 2015年9月3日閲覧。
- ^ “［CEDEC 2015］画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する”. 4gamer (2015年8月29日). 2015年9月1日閲覧。
- ^ 小林雅一 2015, p. 107.
- ^ “MNIST Demos on Yann LeCun's website”. yann.lecun.com. 2021年3月31日閲覧。 / 1989.02 サイエンス社 ニューロコンピューター読本 pp.32 の図に板状を用いた同類の記述がある。
- ^ Tappert, Charles C. (2019-12). “Who Is the Father of Deep Learning?”. 2019 International Conference on Computational Science and Computational Intelligence (CSCI): 343–348. doi:10.1109/CSCI49370.2019.00067.
- ^ 浅川 直輝 (2014年10月1日). “［脳に挑む人工知能1］驚異のディープラーニング、その原型は日本人が開発”. 日経 xTECH（クロステック）. 2019年12月20日閲覧。
- ^ “【第四回】今、最も熱いディープラーニングを体験してみよう（2ページ）”. エンタープライズ (2015年1月14日). 2015年5月30日閲覧。
- ^ “A Neural Network for Machine Translation, at Production Scale” (英語). ai.googleblog.com (2016年9月27日). 2023年7月30日閲覧。
- ^ “4-9 Surviving in the New Information Economy - Adopting a Learning Lifestyle”. Coursera. 2023年7月30日閲覧。
- ^ “Startup Stability Releases New AI Model For Stable Diffusion as Deep-Fake Concerns Rise” (英語). Bloomberg.com. (2023年6月22日) 2023年7月30日閲覧。
- ^ “ChatGPT — Release Notes | OpenAI Help Center” (英語). help.openai.com. 2023年7月30日閲覧。
- ^ “Googleのディープラーニングはレトロゲームを自分で学習してプレイする”. ascii×デジタル (2015年3月21日). 2015年5月21日閲覧。
- ^ a b 小林雅一 2015, p. 29.
- ^ 小林雅一 2015, p. 28.
- ^ “グーグルが開発を進めている、写真を「自動的に説明する」技術”. wired (2014年11月20日). 2015年5月18日閲覧。
- ^ “ディープラーニングというGPUの新市場”. PC Watch (2014年4月17日). 2015年5月21日閲覧。
- ^ “画像をアップすると自動で説明文を生成してくれる「Images to Text」”. GIGAZINE (2014年12月13日). 2015年5月21日閲覧。
- ^ “グーグルが開発を進めている、写真を「自動的に説明する」技術”. WIRED (2014年11月20日). 2015年5月30日閲覧。
- ^ “人工知能は世界をもっと認識できる：グーグルのコンピューターヴィジョン”. WIRED (2014年9月9日). 2015年5月30日閲覧。
- ^ CEDEC 2015 画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する松尾豊東京大学大学院准教授の発表スライドから
- ^ ITTOUSAI (2016年1月28日). “Googleの囲碁AI『AlphaGo』がプロ棋士に勝利、史上初の快挙。自己対局を機械学習して上達”. Engadget. 2016年1月28日時点のオリジナルよりアーカイブ。2016年3月2日閲覧。
- ^ CADE METZ (2016年1月31日). “「囲碁の謎」を解いたグーグルの超知能は、人工知能の進化を10年早めた”. WIRED. 2016年3月2日閲覧。
- ^ “＜囲碁：人間ｖｓ人工知能＞李世ドル「必ず勝ちたかったが、３連敗した時より今日のほうが辛かった」”. 中央日報. (2016年3月16日) 2018年2月7日閲覧。
- ^ “AlphaGoが最終戦も勝利で3連勝”. 日本棋院 (2017年5月27日). 2018年2月7日閲覧。
- ^ “Facebook、人工知能研究ラボを立ち上げ”. ITMedia News (2013年12月10日). 2015年5月22日閲覧。
- ^ “Facebook、ディープラーニング開発環境「Torch」向けモジュールをオープンソースで公開”. ITMedia News (2015年1月19日). 2015年5月22日閲覧。
- ^ “Facebook、ディープラーニング技術をオープンソースに”. ZDNet Japan (2015年1月19日). 2015年5月22日閲覧。
- ^ 中澤敏明、機械翻訳の新しいパラダイム：ニューラル機械翻訳の原理 『情報管理』 2017年 60巻 5号 p.299-306, doi:10.1241/johokanri.60.299
- ^ Lu, Yunlong; Li, Wenxin (2022-08-12). “Techniques and Paradigms in Modern Game AI Systems” (英語). Algorithms 15 (8): 282. doi:10.3390/a15080282. ISSN 1999-4893.
- ^ M. Wittmann, Benedikt Morschheuser (2022). “What do games teach us about designing effective human-AI cooperation? - A systematic literature review and thematic synthesis on design patterns of non-player characters”. GamiFIN Conference.
- ^ “人とくるまのテクノロジー展2015 - 「ディープラーニング」を採用したZMPのRoboCar MiniVan”. マイナビニュース (2015年5月20日). 2015年5月26日閲覧。
- ^ Iizuka, Tomomichi; Fukasawa, Makoto; Kameyama, Masashi (2019-06-20). “Deep-learning-based imaging-classification identified cingulate island sign in dementia with Lewy bodies” (英語). Scientific Reports 9 (1). doi:10.1038/s41598-019-45415-5. ISSN 2045-2322. PMC PMC6586613. PMID 31222138.
- ^ “顔認証で市民監視、中国の新たなAIツール”. ウォール・ストリート・ジャーナル. (2017年6月30日) 2018年2月7日閲覧。
- ^ “アングル：中国の顔認証技術に活況投資、監視用の需要も後押し”. ロイター. (2017年11月18日) 2018年2月7日閲覧。
- ^ “中国の「超ＡＩ監視社会」－－新疆ウイグル自治区では“体内”まで監視！”. 集英社. (2018年2月3日) 2018年2月7日閲覧。
- ^ “中国、新疆ウイグル自治区で顔認識システム運用をテスト。指定地域から300m以上離れると当局に警告”. Engadget. (2018年1月20日). オリジナルの2020年3月13日時点におけるアーカイブ。 2018年2月7日閲覧。
- ^ “中国が「AI超大国」になる動きは、もはや誰にも止められない”. WIRED. (2017年8月16日) 2018年2月7日閲覧。
- ^ “「深層学習の父」、中国のＡＩ利用に警鐘”. Sankei Biz. (2019年4月1日) 2019年4月5日閲覧。
- ^ “Deep Learning ‘Godfather’ Bengio Worries About China's Use of AI”. ブルームバーグ. (2019年2月2日) 2019年4月5日閲覧。
- ^ “AI使った偽ポルノ「被害に対する原状回復は絶望的なほど困難」“ディープフェイク”技術の問題点とは：中日スポーツ・東京中日スポーツ”. 中日スポーツ・東京中日スポーツ. 2021年3月31日閲覧。
- ^ “AIだって騙される？AIの抱える弱点とは一体何か｜セキュリティ通信”. セキュリティ通信. 2021年4月1日閲覧。
- ^ Homma, Toshiteru; Les Atlas; Robert Marks II (1988). “An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification”. Advances in Neural Information Processing Systems 1: 31–40.
- ^ Yann Le Cun (June 1989). Generalization and Network Design Strategies.
- ^ Y. LeCun; B. Boser; J. S. Denker; D. Henderson; R. E. Howard; W. Hubbard; L. D. Jackel (1989). “Backpropagation applied to handwritten zip code recognition”. Neural Computation 1 (4): 541-551.
- ^ Alex Krizhevsky; Ilya Sutskever; Geoffrey E. Hinton (2012). “ImageNet Classification with Deep Convolutional Neural Networks”. Advances in Neural Information Processing Systems 25: 1097-1105.
- ^ a b Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017-12-05). “Attention Is All You Need”. arXiv:1706.03762 [cs].
- ^ Tolstikhin, Ilya; Houlsby, Neil; Kolesnikov, Alexander; Beyer, Lucas; Zhai, Xiaohua; Unterthiner, Thomas; Yung, Jessica; Steiner, Andreas et al. (2021-06-11). “MLP-Mixer: An all-MLP Architecture for Vision”. arXiv:2105.01601 [cs].
- ^ 岡谷貴之 深層学習 p11
- ^ [1806.02375]バッチ正規化について
- ^ Understanding Batch Normalization · Issue #942 · arXivTimes/arXivTimes · GitHub
- ^ 論文紹介 Understanding Batch Normalization - じんべえざめのノート
- ^ "we approximate the gradient similar to the straight-through estimator" Oord, et al. (2017). Neural Discrete Representation Learning .NIPS2017.
- ^ Oord, et al. (2017). Neural Discrete Representation Learning .NIPS2017.
- ^ "In this work, we propose differentiable product quantization" Chen, et. al. (2020). Differentiable Product Quantization for End-to-End Embedding Compression. PMLR, pp.1617–1626.
- ^ "The second instantiation of DPQ ... pass the gradient straight-through" Chen, et. al. (2020). Differentiable Product Quantization for End-to-End Embedding Compression. PMLR, pp.1617–1626.
- ^ Chen, et. al. (2020). Differentiable Product Quantization for End-to-End Embedding Compression. PMLR, pp.1617–1626.
- ^ "Each (scalar) entry in the representation z is independently quantized to the nearest integer by rounding ... bounding the range of the quantizer ... We call this approach finite scalar quantization (FSQ)" Mentzer, et. al. (2023). Finite Scalar Quantization: VQ-VAE Made Simple.
- ^ "To get gradients through the rounding operation, we use the STE" Mentzer, et. al. (2023). Finite Scalar Quantization: VQ-VAE Made Simple.
- ^ Mentzer, et. al. (2023). Finite Scalar Quantization: VQ-VAE Made Simple.
[続きの解説]
「ディープラーニング」の続きの解説一覧
- 1 ディープラーニングとは
- 2 ディープラーニングの概要
- 3 概要
- 4 ネットワークモデル
- 5 特有の問題
- 6 脚注
ディープラーニング
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/05 03:22 UTC 版)
「コンピュータ将棋」の記事における「ディープラーニング」の解説
AlphaZeroは囲碁AIで成功を収めたモンテカルロ木探索とディープラーニングにより好成績を残した。AlphaGoやAlphaZeroの登場以後、AlphaZeroの追試を目的としたAobaZeroや、AlphaGoに触発されて開発が始まったdlshogiなど、ディープラーニングを用いて探索を行う将棋ソフトが開発されるようになった。2020年に開催された第一回電竜戦においては、探索部にdlshogiを採用したGCTが優勝を果たした。ディープラーニング系の将棋ソフトの登場によって、Bonanzaの手法をベースにすることが主流だったコンピュータ将棋の世界に根本的な革新がもたらされたとの見方もある。 やねうら王の開発者・磯崎元洋は、ディープラーニング探索を採用した将棋ソフトは「序盤がメチャ強いです。大局観が優れているので」とした上で、「GCTの大局観は人間と同じレベルに達している」と分析している。 また、局面の評価にディープラーニングを使用するNNUEと呼ばれる評価関数手法は、将棋ソフトで大きな成果を上げ、コンピュータチェスソフトのStockfishにも導入された。
※この「ディープラーニング」の解説は、「コンピュータ将棋」の解説の一部です。
「ディープラーニング」を含む「コンピュータ将棋」の記事については、「コンピュータ将棋」の概要を参照ください。
ウィキペディア小見出し辞書の「ディープラーニング」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ。
- ディープラーニングのページへのリンク
