情報幾何学

ウィキペディア

情報幾何学

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/10/08 10:24 UTC 版)

情報幾何学（じょうほうきかがく、英: information geometry、仏: géométrie de l’information、独: Informationsgeometrie、略称: IG）とは、確率分布を要素とする統計モデルに関する微分幾何学的研究のことであり、狭義には双対アフィン接続の微分幾何学を指す。「数理統計学の微分幾何学化」や「統計的推論の幾何学的方法論」や「情報理論における微分幾何を用いた定式化」と表現されるように、情報幾何学は統計学・情報理論・確率理論（大偏差理論）にまたがる学際的な分野である。

概要

情報幾何学の理論的な枠組みは統計学の言葉を必要とせず、純粋な微分幾何学の概念のみで定式化できる。

統計多様体の定義にはいくつかの流儀が存在するが現在最も標準的なのは黒瀬 (1994) によるものであり、 $C^{\infty }$ 級多様体 $M$ と $M$ 上の捩れのないアフィン接続 $\nabla$ と擬リーマン計量 $g$ の組 $(M,\nabla ,g)$ で $(0,3)$ テンソル場 $\nabla g$ が対称なものと定義し、組 $(\nabla ,g)$ を統計構造という。 $\nabla ^{*}$ が $\nabla$ の $g$ に関する双対（アフィン）接続であるとは、任意の $M$ 上のベクトル場 $X,Y,Z$ に対してライプニッツ則の類似 $$Xg(Y,Z)=g(\nabla _{X}Y,Z)+g(Y,\nabla _{X}^{*}Z)$$が成り立つことであり、組 $(M,g,\nabla ^{*})$ を双対統計多様体という。 $\nabla$ が平坦であるならば $\nabla ^{*}$ も平坦であるので、組 $(M,g,\nabla ,\nabla ^{*})$ を双対平坦空間といい、組 $(g,\nabla ,\nabla ^{*})$ を双対構造という。もともと統計多様体は、ラウリッツィンによってリーマン多様体 $(M,g)$ と甘利・チェンツォフテンソル場と呼ばれる $(0,3)$ 対称テンソル場 $C$ の組 $(M,g,C)$ として定義されていたが、両者は基本的に等価である。

$\nabla$ が平坦であるならば、テンソル場 $\nabla g$ が対称であることとある関数 $\phi$ が存在して局所的に $g=\nabla d\phi$ と表されることは同値であり、これはヘッシアンに他ならないので $\nabla$ が平坦な統計多様体は1970年代に志磨裕彦が定義したヘッセ多様体と一致しており、その統計構造をヘッセ構造、関数 $\phi$ をヘッセ・ポテンシャルという。ヘッセ構造はAdS/CFT対応におけるBTZブラックホールに見出されることが知られている。

歴史

情報幾何学のアイデアは、1929年にハロルド・ホテリングが記した草稿に遡ることができる。ホテリングはフィッシャー情報行列 $g_{ij}(\xi )=E_{\xi }[\partial _{i}l_{\xi }\partial _{j}l_{\xi }]$（ただし $\partial _{i}=\partial /\partial \theta ^{i}$ と $l_{\xi }=\log p(x;\xi )$ は情報幾何学でよく見られる略記である）が統計モデルにリーマン計量（フィッシャー計量）を定めることを考察し、1945年にクラメール・ラオも独立にそのことを指摘した。さらに1972年にはニコライ・チェンツォフが、マルコフ埋め込みに関する不変性の下では、リーマン計量が（定数倍を除いて）フィッシャー計量だけに限られ、アフィン接続も（1次元実数パラメータの自由度を除いて）一意に定まることを有限集合上の確率分布の場合について証明した（チェンツォフの定理）。一方、1975年にブラッドリー・エフロンは統計的推論の高次漸近理論において、指数型分布族に埋め込まれた統計モデル（曲指数型分布族）にある種の埋め込み曲率を定義し、フィリップ・デイヴィッドはその曲率がフィッシャー計量に関して非計量的なあるアフィン接続から定まることを指摘し、それをエフロン接続と命名した。

このような状況に対し1982年に甘利俊一は、パラメトリックな統計モデル $M=\{p_{\theta }\}$ に対し $$g(\nabla _{\partial _{i}}^{(\alpha )}\partial _{j},\partial _{k})=\Gamma _{ij,k}^{(\alpha )}=E_{\xi }\left[\left(\partial _{i}\partial _{j}l_{\xi }+{\frac {1-\alpha }{2}}\partial _{i}l_{\xi }\partial _{j}l_{\xi }\right)\left(\partial _{k}l_{\xi }\right)\right]$$を満たす $M$ 上の対称なアフィン接続 $\nabla ^{(\alpha )}$ を $\alpha$ 接続（ $\alpha \in \mathbf {R}$）と定義して一般論を展開することに成功した。実際、有限集合上の確率分布において $\alpha$ 接続はチェンツォフの定めたアフィン接続の1係数族と一致しており、特に $\alpha =1$ に対応する e 接続（指数接続）はエフロン接続と一致しており、 $\alpha =0$ に対応する $0$ 接続はフィッシャー計量に関するレヴィ・チヴィタ接続に他ならなかった。この一般化を契機として、フィッシャー計量と $\alpha$ 接続の成す微分幾何学的構造、特に先述の e 接続と $\alpha =-1$ に対応する m 接続（混合接続）が調べられるようになり、e 接続の平坦性は統計モデルの最適性を、m 接続の平坦性は推定の最適性を曲率テンソルを使って定量評価することを可能にした。

甘利俊一はさらに、1982年に長岡浩司と共同で情報幾何の双対構造を発表し、1983年に公文雅之と共同で統計的推論の高次漸近理論の幾何を提唱した。1984年にデイヴィッド・コックスが統計の微分幾何に関するワークショップをロンドンで開催したのを皮切りに、少しずつ世界的な知名度が上がって研究が活発化するようになった。江口真透が情報幾何をダイバージェンスを基に構築できることを示したのはその翌年のことであり、双対平坦空間や正準ダイバージェンスなどの一般論が整備されるにつれて情報幾何学はその地位を確立することに成功した。

情報幾何学の応用は、EMアルゴリズムのような統計的推論のみならず、統計物理学や学習理論、情報熱力学にまで及んでおり、2018年にはこのような進展を背景にシュプリンガー社から学術誌 Information Geometry が刊行されることが決定した。今後はさらに、量子情報幾何やワッサースタイン幾何、ルピナー幾何などの発展も期待されている。人工知能の分野では、ニューラルネットや神経発火パターンの情報の解釈に応用され始めている。超弦理論と量子情報を結ぶ学術領域では、情報幾何学が応用され始めている。

参考文献

• 志磨裕彦 (2001).『ヘッセ幾何学』.裳華房. ISBN 978-4785315290
• 甘利俊一; 長岡浩司 (1998).『情報幾何の方法』. 岩波書店. ISBN 978-4007306662
• 甘利俊一 (2019).『新版 情報幾何学の新展開』. サイエンス社. ISBN 9784781914633
• 田中勝 (2019).『エントロピーの幾何学』 (PDF) . コロナ社. ISBN 978-4339028355
• 藤岡敦 (2021).『入門 情報幾何: 統計的モデルをひもとく微分幾何学』. 共立出版. ISBN 978-4-320-11445-6
• 藤原彰夫 (2021).『情報幾何学の基礎: 情報の内的構造を捉える新たな地平』. 共立出版. ISBN 978-4-320-11451-7

ウィキペディア小見出し辞書

情報幾何学

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2017/09/12 04:16 UTC 版)

「分配函数 (数学)」の記事における「情報幾何学」の解説

点 β は空間を形成すると解釈され、特にこの空間は多様体となる。この多様体はどのような構造を持つかという疑問が当然に起きる。これを情報幾何学（英語版）という。 ラグランジュ未定乗数に関する多重微分は、半正定値の分散共分散行列を引き起こす。 g i j ( β ) = ∂ 2 ∂ β i ∂ β j ( − log ⁡ Z ( β ) ) = ⟨ ( H i − ⟨ H i ⟩ ) ( H j − ⟨ H j ) ⟩ この行列は半正定値行列で、計量テンソルと解釈され、リーマン計量と見なせる。このことにより、上記の方法で計量を持つラグランジュ未定乗数の空間は、リーマン多様体となることが分かる。 この多様体の研究は「情報幾何学」と呼ばれ、上記の計量はフィッシャー情報計量（英語版）と呼ばれる。上記では β は多様体上の座標である。上記の定義と、これに動機付けられた単純化されたフィッシャー情報とを比較することは面白いことかもしれない。 上記がフィッシャー情報計量を定義することは、期待値を明示的に代入することにより容易に理解することができる。 g i j ( β ) = ⟨ ( H i − ⟨ H i ⟩ ) ( H j − ⟨ H j ) ⟩ = ∑ x P ( x ) ( H i − ⟨ H i ⟩ ) ( H j − ⟨ H j ⟩ ) = ∑ x P ( x ) ( H i + ∂ log ⁡ Z ∂ β i ) ( H j + ∂ log ⁡ Z ∂ β j ) = ∑ x P ( x ) ∂ log ⁡ P ( x ) ∂ β i ∂ log ⁡ P ( x ) ∂ β j ここに、 P ( x 1 , x 2 , … ) を P ( x ) と記すことして、和は確率変数 X k のすべてを渡るものとする。もちろん、連続した値をとる確率変数に対して、和は積分に置き換わる。 奇妙なことに、フィッシャー情報計量ついての主要な記事に記載されているように、適当に変数変換した後ではフィッシャー情報計量（英語版）は、平坦なユークリッド計量として理解することもできる。 β が複素数であるときには、結果として現れる計量はフビニ・スタディ計量である。純粋状態に代って、混合状態で書くときは、ビュレス計量（英語版）として知られている。