ランダムフーリエ特徴量

ウィキペディア

ランダムフーリエ特徴量

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/04/08 03:48 UTC 版)

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール 強化学習 構造化予測 特徴量設計 表現学習 オンライン学習 半教師あり学習 教師なし学習 ランキング学習 文法獲得
教師あり学習（分類 • 回帰） 決定木 アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM) サポートベクトルマシン (SVM)
クラスタリング BIRCH 階層的 k平均法 期待値最大化法 (EM) DBSCAN OPTICS 平均値シフト
次元削減 因子分析 CCA ICA LDA NMF PCA t-SNE
構造化予測 グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン SOM CNN
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論 経験損失最小化 オッカム学習 PAC学習 統計的学習 VC理論
学会・論文誌等 NIPS ICML ML JMLR ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

ランダムフーリエ特徴量（ランダムフーリエとくちょうりょう、英: Random Fourier Features、略称: RFF）は、機械学習においてカーネル法を近似するための手法の一つである。特にRBFカーネル（ガウスカーネル）などの移調不変なカーネル関数を、有限次元の内積空間で近似することで、計算効率の向上を図ることができる。2007年にAli RahimiとBenjamin Rechtによって初めて提案され、大規模データを扱う際のカーネル行列計算の負担を低減するアプローチとして広く研究・応用されている。

概要

カーネル法（例えばSVMなど）は、データ点間の非線形な関係性をカーネルトリックを通じて線形分類器に持ち込み、高い表現力を得ることができる。しかし、大規模なデータセットに対してはカーネル行列のサイズが膨大となり、学習アルゴリズムの計算コストやメモリ使用量が問題となることが多い。

ランダムフーリエ特徴量では、ボホナーの定理に基づき、シフト不変な正定値カーネルをそのフーリエ変換を用いて表現し、その確率分布に従ってランダムサンプリングを行うことで近似する。この近似によって、元来は無限次元となる特徴空間を有限次元の（ランダムに投影された）特徴ベクトルへと写像できる。これにより、非線形カーネルを用いる学習アルゴリズムを、（大きな特徴次元であっても）線形モデルの範囲に落とし込み、より計算効率良く扱うことが可能となる。

数式による定式化

シフト不変なカーネル $k(x,y)=k(x-y)$