sarsa

デジタル大辞泉

サルサ【(ラテン)sarsa】

読み方：さるさ

ユリ科サルトリイバラ属の植物の根を乾燥させたもの。サポニンを多く含み、皮膚病・梅毒・リウマチなどの薬にする。

[補説] 「撒爾沙」「撒児沙」とも書く。

外国人名読み方字典

Sarsa

名前 サルサ

ウィキペディア

SARSA法

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/12/02 17:38 UTC 版)

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN U-Net
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

SARSA法（State–Action–Reward–State–Action）はマルコフ決定過程でのポリシーを学習するためのアルゴリズムであり、機械学習のサブカテゴリーである強化学習の分野で使われる。RummeryとNiranjanのテクニカルノート^[1]の中で、「Modified Connectionist Q-Learning(MCQ-L, 修正コネクショニストQ学習)」という名前で提案された。Rich Suttonにより提案された、「SARSA」という名前は、脚注で言及されるに留まった。

このネーミングは、Q関数の更新アルゴリズムが、現在の状況${\displaystyle s_{1}}$、現在の行動${\displaystyle a_{1}}$、行動による報酬${\displaystyle r_{1}}$、次の状態${\displaystyle s_{2}}$、その状態で選ぶ行動${\displaystyle a_{2}}$の5つ組で決まることに由来する。一般化すると、${\displaystyle (s_{t},a_{t},r_{t},s_{t+1},a_{t+1})}$である^[2]。なお、${\displaystyle r_{t}}$は報酬の定義によっては、${\displaystyle r_{t+1}}$とも書かれる。

アルゴリズム

状態 ${\displaystyle s_{t}}$ のエージェントが行動 ${\displaystyle a_{t}}$ を選び、報酬 ${\displaystyle r_{t}}$ を得て、状態が ${\displaystyle s_{t+1}}$ に遷移し、その次の行動が ${\displaystyle a_{t+1}}$ だとする。このとき行動価値関数 ${\displaystyle Q(s_{t},a_{t})}$ を次の式で更新する。${\displaystyle Q(s_{t},a_{t})}$ は ${\displaystyle r_{t}+\gamma \,Q(s_{t+1},a_{t+1})}$ に近づくように学習される。

${\displaystyle Q(s_{t},a_{t})\leftarrow (1-\alpha )Q(s_{t},a_{t})+\alpha \left[r_{t}+\gamma \,Q(s_{t+1},a_{t+1})\right]}$

SARSAでは、エージェントは環境と相互作用し、行われた行動ベースでポリシーを更新する。そのため、オンポリシー型の学習アルゴリズムである。

学習率 ${\displaystyle 0<\alpha <1}$ は、古い情報を、新しく獲得した情報によってどの程度上書きするかを決定する。0にすれば、エージェントは何も学ばないし、1にすれば、最近の情報だけを近視眼的に考慮するようになる。

割引率 ${\displaystyle 0<\gamma <1}$ は、将来の報酬の重要度を決定する。0にすれば、エージェントは日和見主義的、近視眼的^[3]になる。要するに、現在の報酬だけを考慮するようになる。1に近づければ、長期的視野で高い報酬を求めるようになる。1にしたり、1を超えたりすると、Q値は発散してしまう可能性がある。

関連項目

• 強化学習
• 時間差分学習（TD学習）
• Q学習

出典

1. ^ Online Q-Learning using Connectionist Systems" by Rummery & Niranjan (1994)
2. ^ Reinforcement Learning: An Introduction Richard S. Sutton and Andrew G. Barto (chapter 6.4)
3. ^ https://www.lesswrong.com/posts/GqxuDtZvfgL2bEQ5v/arguments-against-myopic-training (Retrieved 2021-09-29)

ウィキペディア小見出し辞書

SARSA

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/10/23 16:27 UTC 版)

「強化学習」の記事における「SARSA」の解説

SARSA（state–action–reward–state–action）は方策オン型のTD学習。 Q ( s t , a t ) ← Q ( s t , a t ) + α [ r t + 1 + γ Q ( s t + 1 , a t + 1 ) − Q ( s t , a t ) ]