機械学習 強化学習

機械学習

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/12/02 07:25 UTC 版)

強化学習

強化学習(きょうかがくしゅう、: reinforcement learning)とは、ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学習の一種。エージェントは行動を選択することで環境から報酬を得る。強化学習は一連の行動を通じて報酬が最も多く得られるような方策(policy)を学習する。環境はマルコフ決定過程として定式化される。代表的な手法としてTD学習Q学習が知られている。

  • 強化学習とは、試行錯誤を通じて「価値を最大化するような行動」を学習する 手法
  • あらかじめ正しい答えが分かっていなくても(=教師データが存在しない) 学習が可能
  • 対戦ゲームやロボットなどでの応用例が多い
  • 深層学習を用いた強化学習のことを深層強化学習(deep reinforcement learning)という
  • 強化学習という名前は、Skinner博士の 提唱した脳の学習メカニズムである オペラント学習に由来する
  • Skinner博士は、スキナー箱と呼ばれる ラット実験によって、「特定の動作に 対して報酬を与えると、その動作が 強化される」ことを発見し、これを オペラント学習と呼んだ (1940年頃)

その他の機械学習

サポートベクターマシンは、データを線形境界で区切られた領域に分割する教師付き学習モデルである。ここでは、線形境界が黒丸と白丸を分けている。

例えば以下のものがある

半教師あり学習英語版
ラベルありの例とラベルなしの例をどちらも扱えるようにしたもので、それによって近似関数または分類器を生成する。
トランスダクション英語版(トランスダクティブ推論)
観測された具体的な(訓練)例から具体的かつ固定の(テスト)例の新たな出力を予測しようとする。
マルチタスク学習英語版
関連する複数の問題について同時に学習させ、主要な問題の予測精度を向上させる。

能動学習アルゴリズムは、予算に基づいて限られた入力のセットに対して所望の出力(訓練ラベル)にアクセスし、訓練ラベルを取得する入力の選択を最適化する。インタラクティブに使用される場合、これらはラベリングのために人間のユーザーに提示することができる。強化学習アルゴリズムは、動的な環境で正または負の強化の形でフィードバックを与えられ、自動運転車や人間の対戦相手とゲームをするための学習に使用される[19]。機械学習における他の専門的なアルゴリズムには、コンピュータプログラムに自然言語文書のセットを与え、類似したトピックをカバーする他の文書を見つけるトピックモデリングがある。機械学習アルゴリズムは、密度推定問題において、観測不可能な確率密度関数を求めるために使用することができる。メタ学習アルゴリズムは、過去の経験に基づいて独自の帰納的バイアスを学習する。発達ロボティクスでは、ロボット学習アルゴリズムは、カリキュラムとも呼ばれる学習経験のシーケンスを独自に生成し、自己誘導型の探索や人間との社会的相互作用を通じて、新しいスキルを累積的に獲得する。これらのロボットは、能動的学習、成熟、運動相乗効果、模倣などの誘導メカニズムを使用する

人間との相互作用

機械学習システムによっては、人間の直観によるデータ解析の必要性を排除しようとしているが、人間と機械の協調的相互作用を取り入れたものもある。しかし、そもそもシステムのデータ表現方法やデータの特徴を探る機構は、人間が設計したものであり、人間の直観を完全に排除することはできない。


注釈

  1. ^ Machine learning and pattern recognition "can be viewed as two facets of the same field."[3]:vii
  2. ^ 人間の専門家が訓練例にラベル付けすることで提供されることが多いのでラベルとも呼ばれる。
  3. ^ 典型的には、p(x,y)に従って独立にDの各データを選ぶが、Dをどのような確率分布から選んだかによらず、定理は証明できる

出典

  1. ^ Machine Learning textbook”. www.cs.cmu.edu. 2020年5月28日閲覧。
  2. ^ Harnad, Stevan (2008), “The Annotation Game: On Turing (1950) on Computing, Machinery, and Intelligence”, in Epstein, Robert; Peters, Grace, The Turing Test Sourcebook: Philosophical and Methodological Issues in the Quest for the Thinking Computer, Kluwer, pp. 23–66, ISBN 9781402067082, http://eprints.ecs.soton.ac.uk/12954/ 
  3. ^ #bishop2006
  4. ^ Friedman, Jerome H. (1998). “Data Mining and Statistics: What's the connection?”. Computing Science and Statistics 29 (1): 3–9. 
  5. ^ Samuel, Arthur (1959). “Some Studies in Machine Learning Using the Game of Checkers”. IBM Journal of Research and Development 3 (3): 210–229. doi:10.1147/rd.33.0210. 
  6. ^ Mitchell, T. (1997). Machine Learning. McGraw Hill. pp. 2. ISBN 978-0-07-042807-2 
  7. ^ a b #瀧 p.20.
  8. ^ a b c d e f #ESL p11-12
  9. ^ a b #GBC 5.1.3節
  10. ^ #金森 p.3.
  11. ^ #瀧 p.8.
  12. ^ a b #瀧 p.36.
  13. ^ #瀧 p.30.
  14. ^ Lecture 12: Bias-Variance Tradeoff”. CS4780/CS5780: Machine Learning for Intelligent Systems [FALL 2018]. コーネル大学. 2020年11月10日閲覧。
  15. ^ #金森 p.13.
  16. ^ #金森 p.9.
  17. ^ a b #ESL p22-23
  18. ^ a b c d e f #ESL p559-561
  19. ^ Bishop, C. M. (2006), Pattern Recognition and Machine Learning, Springer, ISBN 978-0-387-31073-2 
  20. ^ 統計的学習理論, 金森敬文, 機械学習プロフェッショナルシリーズ, 講談社, 2015, ISBN 9784061529052
  21. ^ "統計的機械学習理論と ボルツマン機械学習" 安田 宗樹. 山形大学
  22. ^ 上田. "統計的機械学習入門" NII. https://www.youtube.com/watch?v=wqb3k22toFY&t=478
  23. ^ Yoshua Bengio (2009). Learning Deep Architectures for AI. Now Publishers Inc.. p. 1–3. ISBN 978-1-60198-294-0. http://books.google.com/books?id=cq5ewg7FniMC&pg=PA3 
  24. ^ : Pragmatic Chaos
  25. ^ "BelKor Home Page" research.att.com
  26. ^ a b c #本橋2018 1.3章「人工知能の利用用途」「人工知能の3つの役割」の冒頭付近。
  27. ^ a b c d e #本橋2018 1.4章「認識の具体例」図1-4「画像認識の具体例」
  28. ^ a b c #本橋2018 1.4章「認識の具体例」図1-5「音声入力の具体例」
  29. ^ a b c #本橋2018 1.4章「認識の具体例」図1-6「文章解析・文章認識の具体例」
  30. ^ a b c #本橋2018 1.4章「認識の具体例」図1-7「異常検知の具体例」
  31. ^ #本橋2018 1.5章 「分析とは?」冒頭
  32. ^ a b c d e #本橋2018 1.5章「分析の具体例」図1-8「数値の予測の具体例」
  33. ^ a b c d #本橋2018 1.5章「分析の具体例」図1-9「イベントの発生の予測の具体例」
  34. ^ a b c d e #本橋2018 1.6章「対処の具体例」図1-10「行動の最適化の具体例」
  35. ^ a b c #本橋2018 1.6章「対処の具体例」図1-12「作業の具体化の具体例」
  36. ^ a b c #本橋2018 1.6章「対処の具体例」図1-13「表現の生成の具体例」
  37. ^ : DataRobot
  38. ^ DataRobot: https://www.datarobot.com






機械学習と同じ種類の言葉


英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「機械学習」の関連用語

機械学習のお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



機械学習のページの著作権
Weblio 辞書情報提供元は参加元一覧にて確認できます。

  
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアの機械学習 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2022 GRAS Group, Inc.RSS