ボルツマンマシンとは？わかりやすく解説

ボルツマンのグラフの一例。各エッジ（線）は接続されたユニット同士の依存を意味する。この例では3つの不可視ユニット（hidden; 青）と4つの可視ユニット（visible; 白）がある。ちなみにこの例は制約を持つボルツマンマシンではない。

ボルツマンマシン（英: Boltzmann machine）は、1985年にジェフリー・ヒントンとテリー・セジュノスキー（英語版）によって開発された確率的（英語版）回帰結合型ニューラルネットワークの一種である。

概要

ボルツマンマシンは、統計的な変動を用いたホップフィールド・ネットワークの一種と見なすことができる。これらはニューラルネットワークの内部についてを学ぶことができる最初のニューラルネットワークの一つで、（十分な時間を与えられれば）難しい組合せに関する問題を解くことができる。ただしボルツマン・マシンには後述される事柄を含む数々の問題があり、接続制限をもたないボルツマン・マシンは機械学習や推論のためには実用的であるとは証明されていない。しかしながらボルツマン・マシンは、その局所性とその学習アルゴリズムのヘッブ的性質またその並列処理やその動的力学と単純な物理的プロセスとの類似のため、理論として魅力的である。ボルツマンマシンは確率密度関数自体を計算する。

ボルツマン・マシンは、それらに使用されているサンプリング関数（統計力学においてのボルツマン分布、つまり、ソフトマックス関数）にちなんで名づけられた。

構造

ボルツマン・マシンはホップフィールド・ネットと同様、結び付けられたユニットたちのネットワークでありそのネットワークの持つエネルギーが定義される。それらのユニットもまたホップフィールド・ネット同様1もしくは0（活発もしくは不活発）の出力値をとるが、ホップフィールド・ネットとは違い、不規則過程によってその値は決まる。ネットワーク全体のエネルギー $E$

制限ボルツマンマシン（Restricted Boltzmann Machine; RBM）の一例。制限ボルツマンマシンでは、可視と不可視ユニット間でのみ接続している（可視ユニット同士、または不可視ユニット同士は接続していない）。

一般的なボルツマン・マシンの学習はnの指数時間かかるため非実用的であるが、同一層間の接続を認めない「制限ボルツマン・マシン（英語版） (RBM)」では効率的な計算ができるコントラスティブ・ダイバージェンス（Contrastive Divergence）法が提案されている。制限ボルツマンマシンでは隠れ変数を定義しているが、可視変数の周辺分布を近似することを目的としているため、意味合いとしてはほとんど変わらない。

RBMを1段分学習させた後、その不可視ユニットの活性（ユニットの値に相当）を，より高階層のRBMの学習データとみなす。このRBMを重ねる学習方法は、多階層になっている不可視ユニットを効率的に学習させることができる．この方法は、深層学習のための一般的な方法の一つとなっている。この方式では一つの新しい階層が加えられることで全体としての生成モデルが改善されていく。また拡張されたボルツマン・マシンの型として、バイナリ値だけでなく実数を使うことのできるRBMがある^[1]。

RBMの実用例の一つとしては、音声認識ソフトウェアの性能の向上があげられる。

出典

^ "A Learning Algorithm for Boltzmann Machines" Archived 2011年7月18日, at the Wayback Machine., Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985).

外部リンク

Scholarpedia article by Hinton about Boltzmann machines

[ref1-1] "A Learning Algorithm for Boltzmann Machines" Archived 2011年7月18日, at the Wayback Machine., Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985).

[1]

ボルツマンマシンとは？わかりやすく解説