カーネル密度推定とは - わかりやすく解説 Weblio辞書

ウィキペディア

索引トップ用語の索引ランキングカテゴリー

カーネル密度推定

(Kernel density estimation から転送)

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/12/01 22:33 UTC 版)

ナビゲーションに移動検索に移動

正規分布の100個の乱数と異なる平滑化帯域幅によるカーネル密度推定。

カーネル密度推定（カーネルみつどすいてい、英: kernel density estimation）は、統計学において、確率変数の確率密度関数を推定するノンパラメトリック手法のひとつ。エマニュエル・パルツェンの名をとってパルツェン窓（英: Parzen window）とも。大まかに言えば、ある母集団の標本のデータが与えられたとき、カーネル密度推定を使えばその母集団のデータを外挿できる。

ヒストグラムは、一様なカーネル関数によるカーネル密度推定量と見ることもできる。

定義

x₁, x₂, ..., x_n を（未知の）確率密度関数 ƒ を持つ独立同分布からの標本とする。カーネル関数 K、バンド幅（平滑化パラメータ）h のカーネル密度推定量（英: kernel density estimator）とは

${\hat {f}}_{h}(x)={\frac {1}{nh}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)$

6つのガウス曲線（赤）とそれらの総和（青）。パルツェン窓密度推定 f(x) は、この総和を6（元のガウス曲線の数）で割ることで得られる。ガウス関数の分散は 0.5 に設定されている。見ての通り、標本点が稠密にあるほど、密度推定値は大きくなる。

特性

確率密度関数 ƒ の L² リスク関数を $R(f,{\hat {f}}(x))$ とする。確率密度関数 ƒ とカーネル関数 K に関する弱い仮定から次が得られる。

$R(f,{\hat {f}}(x))\approx {\frac {1}{4}}\sigma _{k}^{4}h^{4}\int (f''(x))^{2}\,dx+{\frac {\int K^{2}(x)\,dx}{nh}}\quad {\text{ where }}\quad \sigma _{K}^{2}=\int x^{2}K(x)\,dx$

理論的リスク関数を最小化することで、最適なバンド幅は以下のように示される。

$h^{*}={\frac {c_{1}^{-2/5}c_{2}^{1/5}c_{3}^{-1/5}}{n^{1/5}}}$

ここで

$c_{1}=\int x^{2}K(x)\,dx$
$c_{2}=\int K(x)^{2}\,dx$
$c_{3}=\int (f''(x))^{2}\,dx$

である。最適なバンド幅を選択したとき、リスク関数は $R(f,{\hat {f}}(x))\approx c_{4}/n^{4/5}$ であり c₄ > 0 はある定数である。弱い仮定の下で、カーネル推定器より早く収束するノンパラメトリックな推定器は存在しないことが示される。なお、n^−4/5 という収束レートは、パラメトリックな手法での典型である n⁻¹ という収束レートよりも遅い。

実装例

MATLAB - カーネル密度推定は ksdensity 関数で実装されている。
Origin - 2Dカーネル密度プロットがユーザーインターフェースより作画できるほか、Ksdensity（1D用）とKs2density（2D用）の両関数がLabTalk言語、 Python、C言語からアクセス可能である。
PAST - Plot項目の中のHistogramで，カーネル曲線が描ける。
R言語 - density 関数で実装されている。
Stata - kdensity で実装されている。例えば、histogram x, kdensity
SAS - proc kde は1変量または2変量のカーネル密度推定に使われる。

脚注

[ヘルプ]

^ Silverman 1986, (2.2a).

参考文献

Duda, R. and Hart, P. (1973). Pattern Classification and Scene Analysis. John Wiley & Sons. ISBN 0-471-22361-1.
Parzen E. (1962). On estimation of a probability density function and mode, Ann. Math. Stat. 33, pp. 1065-1076.
Silverman, B. W. (1986). Density estimation for statistics and data analysis. Monographs on Statistics and Applied Probability. Chapman & Hall, London. ISBN 0-412-24620-1. MR0848134. Zbl 0617.62042.
Wasserman, L. (2005). All of Statistics: A Concise Course in Statistical Inference, Springer Texts in Statistics.

外部リンク

Introduction to kernel density estimation
Kernel Bandwidth Optimization フリーウェブアプリデータを入力すれば最適化なカーネルバンド幅を計算してカーネル密度推定値を出力します。
Free Online Software (Calculator) 任意のデータ列についてカーネル密度推定を行い描画する。カーネル関数としては、ガウス関数、Epanechnikov、Rectangular、Triangular、Biweight、Cosine、Optcosine がある。
FIGTree ガウスカーネルによるカーネル密度推定を計算するライブラリ。MATLAB と C/C++ 用インタフェースがある。
最適ヒストグラム・カーネル密度推定を作成するツールボックス

位置	平均算術幾何調和中央値分位数順序統計量最頻値階級値
分散	範囲偏差偏差値標準偏差標準誤差変動係数決定係数相関係数自己相関共分散自己共分散分散共分散行列百分率統計的ばらつき
モーメント	分散歪度尖度

頻度

区間推定

モデル選択基準

その他

最小距離推定

確率	主観確率ベイズ確率事前確率事後確率最大事後確率
その他	ベイズ推定ベイズ因子

相関

交絡変数

ピアソンの積率相関係数

順位相関（スピアマンの順位相関係数・ケンドールの順位相関係数）

モデル

線形	線形回帰リッジ回帰 Lasso エラスティックネット
非線形	k近傍法回帰木ランダムフォレストニューラルネットワークサポートベクター回帰射影追跡回帰
時系列	自己回帰モデル自己回帰移動平均モデル ARCHモデル対移動平均比率法トレンド定常傾向推定共和分構造変化

分類

線形	線形判別分析ロジスティック回帰単純ベイズ分類器単純パーセプトロン線形サポートベクターマシン
二次	二次判別分析
非線形	k近傍法決定木ランダムフォレストニューラルネットワークサポートベクターマシンベイジアンネットワーク隠れマルコフモデル
その他	二項分類多クラス分類第一種過誤と第二種過誤

教師なし学習

クラスタリング	k平均法（k-means++法）
密度推定（英語版）	カーネル密度推定（カーネル）
その他	主成分分析独立成分分析自己組織化写像