スパース化
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/23 09:35 UTC 版)
「ニューラルネットワーク」の記事における「スパース化」の解説
スパース化（英: Sparsification）はニューラルネットワークの重みを疎行列とする最適化である。スパース化は精度の低下と速度の向上をもたらす。 スパース化の効果は以下の要素から生み出される。 キャッシュ: 容量低下によるキャッシュへ乗るデータ量増加 → キャッシュヒット率向上 メモリ: 容量低下によるメモリ消費とメモリ転送量の減少 数値精度: 小さい値のゼロ近似によるモデル出力精度の低下 計算量: ゼロ重みとの積省略による計算量の減少 スパース化の恩恵を受けるためにはそのためのフォーマットや演算が必要になる。ゼロ要素を省略する疎行列形式、疎行列形式に対応した演算実装などが挙げられる。またスパース化を前提として精度低下を防ぐよう学習する手法が存在する。 より広い意味での重み除去は枝刈り（英: Pruning）と呼ばれる。枝刈りでは行列のスパース化のみでなく、チャネルやモジュール自体の削除（ゼロ近似）を含む。
※この「スパース化」の解説は、「ニューラルネットワーク」の解説の一部です。
「スパース化」を含む「ニューラルネットワーク」の記事については、「ニューラルネットワーク」の概要を参照ください。
ウィキペディア小見出し辞書の「スパース化」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。
お問い合わせ。
- スパース化のページへのリンク
