経験過程とは？わかりやすく解説

経験過程（けいけんかてい、英: empirical process）は、経験測度の中心極限定理の一般化のひとつである。経験過程の理論は、ノンパラメトリック統計学などに応用される。

定義

ある一定の条件のもとで、経験測度P_nが、確率測度へ収束するという結果はよく知られている（Glivenko-Cantelliの定理）。経験過程の理論によって、この収束の速さを説明することができる。中心化・基準化された経験測度は、

G_{n}(A)={\sqrt {n}}(P_{n}(A)-P(A))

となる。これによる、適当な可測関数fの像は、

f\mapsto G_{n}f={\sqrt {n}}(P_{n}-P)f={\sqrt {n}}\left({\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})-\mathbb {E} f\right)

と書くことができる。中心極限定理により、適当な可測集合Aに対して、 $G_{n}(A)$ は、正規確率変数N(0, P(A)(1 − P(A)))へ分布収束する。同様に、適当な関数fに対して、 $G_{n}f$ は、正規確率変数 $N(0,\mathbb {E} (f-\mathbb {E} f)^{2})$ へ分布収束する。

定義: ${\bigl (}G_{n}(c){\bigr )}_{c\in {\mathcal {C}}}$ をSの可測な部分集合の族 ${\mathcal {C}}$ における経験過程という。; ${\bigl (}G_{n}f{\bigr )}_{f\in {\mathcal {F}}}$ をSから $\mathbb {R}$ への可測関数の族 ${\mathcal {F}}$ における経験過程という。

経験過程に関する有名な結果のひとつに、Donskerの定理がある。この定理は、ある一定のガウス過程へ弱収束する経験過程のクラス（Donskerクラス）についての研究につながった。DonskerクラスはGlivenko-Cantelliクラスになるが、その逆は一般的に正しくない。

例

例として、経験分布関数を考える。i.i.d.確率変数 $X_{1},X_{n},\dots$ において、これは、

F_{n}(x)=P_{n}((-\infty ,x])=P_{n}I_{(-\infty ,x]}.

と与えられる。この例では、経験過程は ${\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}$ のクラスによって特徴づけられる。この ${\mathcal {C}}$ はDonskerクラスであることを示すことができ、特に、: ${\sqrt {n}}(F_{n}(x)-F(x))$ はブラウン橋 B(F(x))に弱収束する。

参考文献

P. Billingsley, Probability and Measure, John Wiley and Sons, New York, third edition, 1995.
M.D. Donsker, Justification and extension of Doob's heuristic approach to the Kolmogorov–Smirnov theorems, Annals of Mathematical Statistics, 23:277–281, 1952.
R.M. Dudley, Central limit theorems for empirical measures, Annals of Probability, 6(6): 899–929, 1978.
R.M. Dudley, Uniform Central Limit Theorems, Cambridge Studies in Advanced Mathematics, 63, Cambridge University Press, Cambridge, UK, 1999.
M.R. Kosorok, Introduction to Empirical Processes and Semiparametric Inference, Springer, New York, 2008.
Galen R. Shorack and Jon A. Wellner, Empirical Processes with Applications to Statistics, Wiley, New York, 1986. SIAM Classics edition (2009), Society for Industrial and Applied Mathematics. ISBN 978-0-898716-84-9
Aad W. van der Vaart and Jon A. Wellner,Weak Convergence and Empirical Processes: With Applications to Statistics, 2nd ed., Springer, 2000. ISBN 978-0-387-94640-5
J. Wolfowitz, Generalization of the theorem of Glivenko–Cantelli. Annals of Mathematical Statistics, 25, 131–138, 1954.