Non-negative matrix factorization

ウィキペディア

非負値行列因子分解

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/06/02 04:03 UTC 版)

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール 強化学習 構造化予測 特徴量設計 表現学習 オンライン学習 半教師あり学習 教師なし学習 ランキング学習 文法獲得
教師あり学習（分類 • 回帰） 決定木 アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM) サポートベクトルマシン (SVM)
クラスタリング BIRCH 階層的 k平均法 期待値最大化法 (EM) DBSCAN OPTICS 平均値シフト
次元削減 因子分析 CCA ICA LDA NMF PCA t-SNE
構造化予測 グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン SOM CNN
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論 経験損失最小化 オッカム学習 PAC学習 統計的学習 VC理論
学会・論文誌等 NIPS ICML ML JMLR ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

近似的非負値行列因子分解の図：行列 V は、2つの小さな行列 W と H に分解される。これらを乗算することで、V をおおよそ再構成できる。

非負値行列因子分解（ひふちぎょうれついんしぶんかい、英: Non-negative matrix factorization、略称：NMFまたはNNMF）、あるいは非負値行列近似は、多変量解析および線形代数における一群のアルゴリズムであり、行列 V を、通常2つの行列 W と H に分解するものである。このとき、3つの行列すべての要素が負でない（非負）という制約がある。

この非負性制約により、得られた行列は直感的に解釈しやすくなる。また、音声スペクトログラムや筋活動などのデータでは、そもそも非負性が前提となっている。一般には問題を厳密に解けないため、通常は数値的に近似解を求める。

NMFは、天文学、コンピュータビジョン、文書クラスタリング、欠損データ補完、計量化学、音声信号処理、レコメンダシステム、およびバイオインフォマティクスなど、さまざまな分野に応用されている。

歴史

計量化学において、非負値行列因子分解（NMF）は「自己モデリング曲線分解（Self Modeling Curve Resolution）」という名称で古くから知られていた。 この枠組みにおいては、右側の行列のベクトルは離散ベクトルではなく連続的な曲線として表現される。

また、1990年代にはフィンランドの研究グループによって「正値行列因子分解（Positive Matrix Factorization）」という名称で初期の研究が進められた。

「非負値行列因子分解（Non-negative Matrix Factorization）」という名称は、ダニエル・リーとセバスチャン・スンがアルゴリズムの性質を研究し、2種類の因子分解手法に対する単純かつ有用なアルゴリズムを発表した1999年以降、広く知られるようになった。

背景

行列 V を W と H の積として表すとする：

$\mathbf {V} =\mathbf {W} \mathbf {H} \,.$

NMF を確率的グラフィカルモデルとして表現。観測変数（V）は隠れ変数（H）とWによって接続され、Vは平均値https://wikimedia.org/api/rest_v1/media/math/render/svg/592990f983f4c227d8bd44456f45b6e22fc64c59を持つ確率分布から生成されるとみなせる。

一部のNMFは、より一般的な確率モデル「多項分布主成分分析（multinomial PCA）」の一形態と見なすことができる。NMFがカルバック・ライブラー情報量（KLダイバージェンス）を最小化する場合、これは確率的潜在意味解析（PLSA）と数学的に同値である。これは、最尤推定により学習される多項分布PCAの別の実装とみなされる。

NMFにおける最小二乗法目的関数を用いた場合、これはK-meansクラスタリングの緩和版と等価である。ここでは、因子行列 W がクラスタの重心を表し、H がクラスタの所属指標を示す。ただし、k-meansでは重心の非負制約がないため、最も近い類似手法は「semi-NMF」である。

NMFは、ベイジアンネットワークの2層有向グラフィカルモデルともみなすことができる。1層が観測変数、もう1層が隠れ変数である。

NMFはテンソルにも拡張できる。これは、たとえばPARAFACモデルに対応する非負制約付きバージョンとみなされる。

さらに、複数のデータ行列やテンソルを同時に因子分解し、一部の因子を共有する「共通因子分解」も存在する。これはセンサーフュージョンや関係学習に有用である。

NMFは非負二次計画法の一例でもあり、これはサポートベクターマシン（support-vector machine; SVM）とも共通する性質である。さらに、両者の関係性はアルゴリズムレベルでも見られ、一方の手法において提案された解法が他方にも応用することができる。

一意性

NMFの因子分解は一意ではない。行列とその逆行列を使って、2つの因子行列を次のように変換することができる。

$\mathbf {WH} =\mathbf {WBB} ^{-1}\mathbf {H}$

ここで、新たに定義された行列 $\mathbf {\tilde {W}} =\mathbf {WB}$ および $\mathbf {\tilde {H}} =\mathbf {B} ^{-1}\mathbf {H}$ が非負行列であれば、これらもまた元の因子分解の別の表現となる。

$\mathbf {\tilde {W}}$ と $\mathbf {\tilde {H}}$ の非負性は、 $\mathbf {B}$ が非負な一般化置換行列である場合には必ず満たされる。この単純なケースでは、スケーリングや置換に相当する変換となる。

NMFの非一意性に対してより強い制御を与える手法として、スパース性制約を加える方法がある。

応用

天文学

天文学において、NMF（非負値行列因子分解）は、天体物理学的信号が非負であるという特性から、次元削減手法として有望である。NMFはスペクトル観測 や直接撮像観測 に適用されており、天体の共通特性の解析や観測データの後処理に用いられている。

Blanton と Roweis（2007）によるスペクトル観測への応用では、天文観測に伴う不確かさを考慮した。Zhu（2016）はこの手法を拡張し、欠損データや並列計算への対応も導入した。これらの手法はRenら（2018）により系外惑星や原始惑星系円盤の直接撮像観測に応用されている。

Renら（2018）は、NMFの構成要素（コンポーネント）を逐次的に構築する際の安定性を証明し、NMFモデリングの線形性を保証した。この線形性は、恒星光と惑星や円盤からの散乱光を分離する上で重要である。

直接撮像観測において、非常に明るい恒星光の中から、暗い系外惑星や原始惑星系円盤を明らかにするために、統計的手法が多数利用されている。しかし、これらの手法ではしばしば対象天体（惑星や円盤）からの光も過剰に除去されてしまう（過学習／オーバーフィッティング）ため、真のフラックスを推定するにはフォワードモデリング（順方向モデリング）が必要となる。

このフォワードモデリングは点状光源（惑星など）に対しては最適化されているが、原始惑星系円盤のような不規則な形状の拡張構造には適していない。そのため、NMFの非負性およびスパース性（疎性）といった性質による過学習の抑制効果が注目されており、少数のスケーリング係数を用いたフォワードモデリングが可能になる。

データ補完

統計における欠損データの補完において、NMFはコスト関数を最小化する際に欠損データを無視できるため、欠損値を0として扱うことなく処理することが可能である。この性質により、NMFはデータ補完の数学的に正当な手法として利用されている。

まず、NMFコンポーネントが既知の場合、Renら（2020）は、データ補完中に欠損データが与える影響は2次の効果（セカンドオーダー効果）であることを証明した。次に、NMFコンポーネントが未知の場合においても、欠損データが与える影響は1次または2次の効果であることが示された。

NMFコンポーネントの取得方法によっては、上記の2つのステップは相互に独立、または依存的である可能性がある。また、NMFコンポーネント数を増やすことで補完品質が向上することが確認されており、その例はRenら（2020）の図4に示されている。

テキストマイニング

NMFはテキストマイニングへの応用が可能である。このプロセスでは、さまざまな単語の重み（通常は重み付けされた単語頻度情報）から構成された文書-単語行列が作成される。この行列は、「単語-特徴量行列」と「特徴量-文書行列」に分解される。

特徴量は文書の内容から導き出され、特徴量-文書行列は関連する文書のクラスタリングを表す。

具体的な応用例としては、PubMedの科学論文要旨の小規模サブセットに対して階層的NMFを使用した研究がある。

別の研究グループは、エンロンの電子メールデータセットの一部、65,033通のメッセージと91,133語の語彙を50のクラスタに分類した。

また、NMFは引用データにも応用されており、その一例として、英語版ウィキペディア記事と学術雑誌を、ウィキペディア内の外部科学論文への引用に基づいてクラスタリングする研究がある。

Aroraら（2013）は、NMFを用いたトピックモデルの学習に関して多項式時間アルゴリズムを提示している。このアルゴリズムでは、トピック行列が「可分性」条件を満たすことを仮定しており、この条件は実際の応用においてしばしば成立する。

Hassani、Iranmanesh、Mansouri（2019）は、NMFを利用した特徴凝集法（feature agglomeration）を提案しており、これは文書-単語行列をテキストクラスタリングに適したより小さな行列に変換する手法である。

スペクトルデータ解析

NMFはスペクトルデータの解析にも使用されており、その一例として宇宙物体や宇宙ごみの分類が挙げられる。

スケーラブルなインターネット距離予測

NMFはスケーラブルなインターネット距離（ラウンドトリップタイム）の予測にも応用されている。N個のホストからなるネットワークでは、NMFの助けを借りることで、すべての N² 個のエンドツーエンドリンクの距離を、O(N) の測定だけで予測できる。この種の手法は、最初に Internet Distance Estimation Service (IDES) で導入された。

非定常音声のノイズ除去

音声のノイズ除去は、音声信号処理における長年の課題である。ノイズが定常的（時間的に変化しない）である場合には、多くのアルゴリズムが存在する。たとえば、ウィーナーフィルタは加法的なガウス雑音に対して適している。

しかし、ノイズが非定常的（時間とともに変化する）である場合には、古典的なノイズ除去アルゴリズムは性能が劣る傾向がある。これは、非定常ノイズの統計情報を正確に推定するのが困難であるためである。Schmidtらは、非負スパースコーディング（NMFの一種）を用いて非定常ノイズ下の音声を除去する手法を提案した。このアプローチは、従来の統計的手法とはまったく異なる。

この手法の鍵となる考え方は、「クリーンな音声信号は音声辞書によってスパースに表現可能であるが、非定常ノイズはそれができない」というものである。同様に、非定常ノイズもノイズ辞書によってスパースに表現できるが、音声信号はそうではない。

NMFによるノイズ除去のアルゴリズムは以下のように進められる：

1. 音声辞書とノイズ辞書の2つを事前にオフラインで学習しておく。
2. ノイズのある音声信号が与えられたら、その短時間フーリエ変換の振幅スペクトルを計算する。
3. このスペクトルを、NMFにより2つの部分に分解する。一方は音声辞書によってスパースに表現でき、もう一方はノイズ辞書によってスパースに表現できる。
4. 最終的に、音声辞書で表現された部分がクリーンな音声信号として推定される。

集団遺伝学

スパースNMFは、集団遺伝学において、個体の混血係数（admixture coefficients）の推定や、集団サンプル中の個体の遺伝的クラスタリング、ゲノムの遺伝子混合評価に利用されている。

ヒトの遺伝的クラスタリングにおいては、NMFアルゴリズムによって得られる推定結果は、コンピュータプログラムSTRUCTUREと類似しているが、NMFのほうが計算効率に優れており、大規模なゲノムデータセットの解析が可能である。

バイオインフォマティクス

NMFは、バイオインフォマティクスにおいて、遺伝子発現やDNAメチル化データのクラスタリング、クラスタを最もよく表す遺伝子の抽出などに成功裏に応用されている。

がんの変異解析では、NMFを用いて多くのがんに共通する変異パターンを同定し、それらが異なる原因によって引き起こされている可能性を示している。 NMF技術は、細胞型、疾患のサブタイプ、集団構造、組織構成、腫瘍のクローン性などの変動要因の識別にも役立つ。

NMFの特定の変種である非負値三因子分解（Non-Negative Matrix Tri-Factorization, NMTF）は、ドラッグリポジショニング（既存薬の新たな適応探索）のタスクにおいて、承認薬に対する新たなタンパク質標的および治療適応を予測するために用いられている。

また、NMTFは抗がん剤の組み合わせ効果（薬剤の相乗効果）の推定にも利用されており、がん治療における有効な薬剤ペアの発見を支援している。

核医学イメージング

非負値行列因子分解（NMF）は、この分野では「因子分析（Factor Analysis）」とも呼ばれ、1980年代からSPECTおよびPETといった動的核医学イメージングにおける画像列の解析に使用されてきた。

NMFの非一意性（解が一つに定まらないこと）は、スパース性制約を導入することによって対処されている。

例えば、Boutchkoらは、脳PET画像において、クラスタリングによる初期化を用いた「クラスタリング初期化因子分析（Clustering Initiated Factor Analysis: CIFA）」を提案し、脳血流に関連する組織の分類に応用している。

さらに、SPECT画像における不整合な投影データから4次元動的画像を再構成するために、「スプライン初期化FADSアルゴリズム（SIFADS）」が提案されている。

参考文献

• J. Shen; G. W. Israël (1989). “A receptor model using a specific non-negative transformation technique for ambient aerosol”. Atmospheric Environment 23 (10): 2289–2298. Bibcode: 1989AtmEn..23.2289S. doi:10.1016/0004-6981(89)90190-X. 
• Pentti Paatero (1997). “Least squares formulation of robust non-negative factor analysis”. Chemometrics and Intelligent Laboratory Systems 37 (1): 23–35. doi:10.1016/S0169-7439(96)00044-5. 
• Raul Kompass (2007). “A Generalized Divergence Measure for Nonnegative Matrix Factorization”. Neural Computation 19 (3): 780–791. doi:10.1162/neco.2007.19.3.780. PMID 17298233. 
• Liu, W.X.; Zheng, N.N. & You, Q.B. (2006). “Nonnegative Matrix Factorization and its applications in pattern recognition”. Chinese Science Bulletin 51 (17–18): 7–18. Bibcode: 2006ChSBu..51....7L. doi:10.1007/s11434-005-1109-6. 
• Ngoc-Diep Ho; Paul Van Dooren & Vincent Blondel (2008). "Descent Methods for Nonnegative Matrix Factorization". arXiv:0801.3199 [cs.NA]。
• Andrzej Cichocki; Rafal Zdunek & Shun-ichi Amari (2008). “Nonnegative Matrix and Tensor Factorization”. IEEE Signal Processing Magazine 25 (1): 142–145. Bibcode: 2008ISPM...25R.142C. doi:10.1109/MSP.2008.4408452. 
• Cédric Févotte; Nancy Bertin & Jean-Louis Durrieu (2009). “Nonnegative Matrix Factorization with the Itakura-Saito Divergence: With Application to Music Analysis”. Neural Computation 21 (3): 793–830. doi:10.1162/neco.2008.04-08-771. PMID 18785855. 
• Ali Taylan Cemgil (2009). “Bayesian Inference for Nonnegative Matrix Factorisation Models”. Computational Intelligence and Neuroscience 2009 (2): 1–17. doi:10.1155/2009/785152. PMC 2688815. PMID 19536273. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2688815/. 
• Andrzej Cichocki, Morten Mrup, et al.: "Advances in Nonnegative Matrix and Tensor Factorization", Hindawi Publishing Corporation, ISBN 978-9774540455 (2008).
• Andrzej Cichocki, Rafal Zdunek, Anh Huy Phan and Shun-ichi Amari: "Nonnegative Matrix and Tensor Factorizations: Applications to Exploratory Multi-way Data Analysis and Blind Source Separation", Wiley, ISBN 978-0470746660 (2009).
• Andri Mirzal: "Nonnegative Matrix Factorizations for Clustering and LSI: Theory and Programming", LAP LAMBERT Academic Publishing, ISBN 978-3844324891 (2011).
• Yong Xiang: "Blind Source Separation: Dependent Component Analysis", Springer, ISBN 978-9812872265 (2014).
• Ganesh R. Naik(Ed.): "Non-negative Matrix Factorization Techniques: Advances in Theory and Applications", Springer, ISBN 978-3662517000 (2016).
• Julian Becker: "Nonnegative Matrix Factorization with Adaptive Elements for Monaural Audio Source Separation: 1 ", Shaker Verlag GmbH, Germany, ISBN 978-3844048148 (2016).
• Jen-Tzung Chien: "Source Separation and Machine Learning", Academic Press, ISBN 978-0128177969 (2018).
• Shoji Makino(Ed.): "Audio Source Separation", Springer, ISBN 978-3030103033 (2019).
• Nicolas Gillis: "Nonnegative Matrix Factorization", SIAM, ISBN 978-1-611976-40-3 (2020).

関連項目

• 多重線型代数
• テンソル
• テンソル分解