有限状態マルコフ連鎖
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/10/13 00:02 UTC 版)
「マルコフ連鎖」の記事における「有限状態マルコフ連鎖」の解説
状態空間が有限ならば、遷移確率分布は行列で表現され、これは遷移行列（transition matrix）と呼ばれる。この行列Pの第(i, j)要素は p i j = Pr ( X n + 1 = j ∣ X n = i ) {\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i)\,} に等しい。さらに、マルコフ連鎖が時間的に均一、つまり遷移行列Pが添え字n によらないならば、k-段階遷移確率は遷移行列のk乗、つまりPk と書ける。 定常分布π は行ベクトルで、次の式を満たす： π = π P {\displaystyle \pi =\pi \mathbf {P} \,} 言い換えると、定常分布π は遷移行列の正規化された左側固有ベクトルで、その固有値は 1 である。 もしくはπ を、行列Pに対応する単位単体上の線形（連続）変換での不動点と見ることもできる。単位単体上の任意の連続変換は不動点を持つから、定常分布は必ず存在するが、一般にただ1つであるという保証はない。しかし、マルコフ連鎖が既約かつ非周期的ならば、定常分布πがただ1つ存在する。 さらにPkが、各行が定常分布πであるような行列に収束するならば、 lim k → ∞ P k = 1 π {\displaystyle \lim _{k\rightarrow \infty }\mathbf {P} ^{k}=\mathbf {1} \pi } （ここで1はすべての成分が1である列ベクトル）となる（ペロン・フロベニウスの定理）。つまり、時間が経つにつれてマルコフ連鎖は、初期分布に関わりなく、定常分布に収束するということである。 マルコフ連鎖は、次で示されるπ： π i p i , j = π j p j , i {\displaystyle \pi _{i}p_{i,j}=\pi _{j}p_{j,i}} が存在するならば、可逆（reversible）であるという。可逆マルコフ連鎖では、π は常に定常分布である。 マルコフ連鎖の特別な場合で、遷移確率行列の行がすべて同じであるものを、ベルヌーイ系（Bernoulli scheme）という。これは次の状態が現在の状態からも独立ということである。さらに可能な状態が2つしかないベルヌーイ系が、ベルヌーイ過程（ベルヌーイ試行を連続して行うもの）である。
※この「有限状態マルコフ連鎖」の解説は、「マルコフ連鎖」の解説の一部です。
「有限状態マルコフ連鎖」を含む「マルコフ連鎖」の記事については、「マルコフ連鎖」の概要を参照ください。
- 有限状態マルコフ連鎖のページへのリンク
