マルコフ連鎖 有限状態マルコフ連鎖

ウィキペディア

マルコフ連鎖

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/06/27 14:32 UTC 版)

有限状態マルコフ連鎖

状態空間が有限ならば、遷移確率分布は行列で表現され、これは遷移行列（transition matrix）と呼ばれる。この行列Pの第(i, j)要素は

$p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i)\,$

に等しい。さらに、マルコフ連鎖が時間的に均一、つまり遷移行列Pが添え字 n によらないならば、k-段階遷移確率は遷移行列のk乗、つまりP^k と書ける。

定常分布π は行ベクトルで、次の式を満たす：

$\pi =\pi \mathbf {P} \,$

言い換えると、定常分布π は遷移行列の正規化された左側固有ベクトルで、その固有値は 1 である。

もしくはπ を、行列Pに対応する単位単体上の線形（連続）変換での不動点と見ることもできる。単位単体上の任意の連続変換は不動点を持つから、定常分布は必ず存在するが、一般にただ1つであるという保証はない。しかし、マルコフ連鎖が既約かつ非周期的ならば、定常分布πがただ1つ存在する。

さらにP^kが、各行が定常分布πであるような行列に収束するならば、

$\lim _{k\rightarrow \infty }\mathbf {P} ^{k}=\mathbf {1} \pi$

（ここで1はすべての成分が1である列ベクトル）となる（ペロン・フロベニウスの定理）。つまり、時間が経つにつれてマルコフ連鎖は、初期分布に関わりなく、定常分布に収束するということである。

マルコフ連鎖は、次で示されるπ：

$\pi _{i}p_{i,j}=\pi _{j}p_{j,i}$

が存在するならば、可逆（reversible）であるという。可逆マルコフ連鎖では、π は常に定常分布である。

マルコフ連鎖の特別な場合で、遷移確率行列の行がすべて同じであるものを、ベルヌーイ系（Bernoulli scheme）という。これは次の状態が現在の状態からも独立ということである。さらに可能な状態が2つしかないベルヌーイ系が、ベルヌーイ過程（ベルヌーイ試行を連続して行うもの）である。