確率システムへの拡張
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/04/19 10:25 UTC 版)
「ハミルトン-ヤコビ-ベルマン方程式」の記事における「確率システムへの拡張」の解説
システムの制御問題にベルマンの最適性原理を適用し、最適制御戦略を時間を遡る形で解く手法は、確率微分方程式で表現されるシステムの制御問題へ拡張することができる。上述の問題に良く似た次の問題を考えよう。 min E { ∫ 0 T C ( t , X t , u t ) d t + D ( X T ) } {\displaystyle \min \operatorname {E} \left\{\int _{0}^{T}C(t,X_{t},u_{t})\,dt+D(X_{T})\right\}} ここでは、最適化したい（1次元）確率過程 ( X t ) t ∈ [ 0 , T ] {\displaystyle (X_{t})_{t\in [0,T]}\,\!} とその入力 ( u t ) t ∈ [ 0 , T ] {\displaystyle (u_{t})_{t\in [0,T]}\,\!} を考える。確率過程 ( X t ) t ∈ [ 0 , T ] {\displaystyle (X_{t})_{t\in [0,T]}\,\!} は次の確率微分方程式に従う拡散過程（英語版）であるとする。 d X t = μ ( t , X t , u t ) d t + σ ( t , X t , u t ) d w t , {\displaystyle dX_{t}=\mu (t,X_{t},u_{t})dt+\sigma (t,X_{t},u_{t})dw_{t},} ただし、 ( w t ) t ∈ [ 0 , T ] {\displaystyle (w_{t})_{t\in [0,T]}\,\!} は標準ブラウン運動（ウィーナー過程）であり、 μ , σ {\displaystyle \mu ,\;\sigma } は標準的な仮定を満たす可測関数であるとする。直観的に解釈すれば、状態変数 X {\displaystyle X} は瞬間的に μ d t {\displaystyle \mu dt} だけ増減するが、同時に正規ノイズ σ d w t {\displaystyle \sigma dw_{t}} の影響も受けている。この時、ベルマンの最適性原理を用い、次に価値関数 V ( X t , t ) {\displaystyle V(X_{t},t)} を伊藤のルールを使って展開することにより、価値関数についてのHJB方程式が得られる。 − ∂ V ( x , t ) ∂ t − min u { A u V ( x , t ) + C ( t , x , u ) } = 0 , {\displaystyle -{\frac {\partial V(x,t)}{\partial t}}-\min _{u}\left\{{\mathcal {A}}^{u}V(x,t)+C(t,x,u)\right\}=0,} ここで、 A u {\displaystyle {\mathcal {A}}^{u}} は無限小生成作用素（英語版）と呼ばれる関数作用素で以下のように表される。 A u V ( x , t ) := μ ( t , x , u ) ∂ V ( x , t ) ∂ x + 1 2 ( σ ( t , x , u ) ) 2 ∂ 2 V ( x , t ) ∂ x 2 {\displaystyle {\mathcal {A}}^{u}V(x,t):=\mu (t,x,u){\frac {\partial V(x,t)}{\partial x}}+{\frac {1}{2}}{\Big (}\sigma (t,x,u){\Big )}^{2}{\frac {\partial ^{2}V(x,t)}{\partial x^{2}}}} 非確率的な設定の下では存在しなかった σ 2 / 2 {\displaystyle \sigma ^{2}/2} に価値関数 V ( x , t ) {\displaystyle V(x,t)} の x {\displaystyle x} についての2回微分を掛けた項が足されているが、この項は伊藤の公式により生じている。終端条件は次式である。 V ( x , T ) = D ( x ) . {\displaystyle V(x,T)=D(x)\,\!.} ランダム性が消えたことに注意しよう。 この場合、 V {\displaystyle V\,\!} の解は元の問題の最適解の候補であるにすぎず、さらなる検証が必要である。 この技術は金融工学において、市場における最適投資戦略を定めるため広く用いられている （例： マートンのポートフォリオ問題)。
※この「確率システムへの拡張」の解説は、「ハミルトン-ヤコビ-ベルマン方程式」の解説の一部です。
「確率システムへの拡張」を含む「ハミルトン-ヤコビ-ベルマン方程式」の記事については、「ハミルトン-ヤコビ-ベルマン方程式」の概要を参照ください。
- 確率システムへの拡張のページへのリンク
