情報幾何学
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/01/11 08:31 UTC 版)
情報幾何学（じょうほうきかがく、英: information geometry、仏: géométrie de l’information、独: Informationsgeometrie、略称: IG[1]）とは、確率分布を要素とする統計モデルに関する微分幾何学的研究[2]のことであり、狭義には双対アフィン接続の微分幾何学[3]を指す。「数理統計学の微分幾何学化」[4]や「統計的推論の幾何学的方法論」[5]や「情報理論における微分幾何を用いた定式化」[6]と表現されるように、情報幾何学は統計学・情報理論・確率理論（大偏差理論）にまたがる[7]学際的な分野である。
- ^ Nielsen, Frank (2020). “An Elementary Introduction to Information Geometry”. Entropy 22 (10): 1100. doi:10.3390/e22101100. ISSN 1099-4300. PMC 7650632. PMID 33286868.
- ^ “情報幾何学”. 岩波数学辞典. 日本数学会 (4th ed.). 岩波書店. (2007). pp. 543-546. ISBN 978-4-00-080309-0. OCLC 1086209906
- ^ 藤原, 彰夫 (2015). 情報幾何学の基礎. 牧野書店. ISBN 978-4434208812. OCLC 922844329
- ^ Goto, Shin-itiro; Hino, Hideitsu (2019). “Information and contact geometric description of expectation variables exactly derived from master equations”. Physica Scripta 95 (1): 015207. doi:10.1088/1402-4896/ab4295. ISSN 1402-4896.
- ^ 松添, 博「統計多様体とアファイン微分幾何学」『数理解析研究所講究録』第1916巻、2014年、1-17頁、NAID 120006223301。
- ^ 伊藤創祐「情報幾何の確率的熱力学による解釈と熱力学不確定性関係」『日本物理学会講演概要集』第73.2巻、日本物理学会、2018年、2183-2183頁、doi:10.11316/jpsgaiyo.73.2.0_2183、NAID 130007735919。
- ^ 長岡, 浩司「情報幾何の基礎概念」（PDF）『情報幾何への入門と応用』2006年、1-36頁。
- ^ 松添, 2014, p. 1
- ^ Kurose, Takashi (1994). “On the divergences of $1$-conformally flat statistical manifolds”. Tohoku Mathematical Journal 46 (3). doi:10.2748/tmj/1178225722. ISSN 0040-8735.
- ^ Nielsen, 2020, p. 12
- ^ 松添, 2014, p. 3
- ^ 日本数学会, 2007, p. 14
- ^ a b 黒瀬俊「定曲率ヘッセ多様体の分類 (部分多様体の微分幾何学およびその周辺領域の研究)」『数理解析研究所講究録』第1623巻、京都大学数理解析研究所、2009年1月、22-29頁、CRID 1050282677155302912、hdl:2433/140260、ISSN 1880-2818。
- ^ 黒瀬, 2009, p. 22
- ^ 松枝宏明、鈴木達夫「情報幾何におけるBTZブラックホール」『日本物理学会講演概要集』第73.1巻、日本物理学会、2018年、2702-2702頁、doi:10.11316/jpsgaiyo.73.1.0_2702、NAID 130007647829。
- ^ 鈴木, 達夫 (2018). “BTZブラックホールのヘッセ構造”. 沼津改め静岡研究会 25.
- ^ Hotelling, Harold (1930). “Spaces of statistical parameters”. Bulletin of the American Mathematical Society 36: 191.
- ^ Stigler, Stephen M. (2007). “The Epic Story of Maximum Likelihood”. Statistical Science 22 (4). doi:10.1214/07-STS249. ISSN 0883-4237.
- ^ Nielsen, 2020, p. 26
- ^ 甘利, 俊一 (2020). “情報幾何: その歴史的発展と将来”. 数理科学 689: 5-6.
- ^ C. R. Rao (1945). “Information and the accuracy attainable in the estimation of statistical parameters”. Bulletin of the Calcutta Mathematical Society 37: 81-91.
- ^ Ченцов Н.Н. (1972). Статистические решающие правила и оптимальные выводы. Наука
- ^ Chent︠s︡ov, N. N. (1982). Statistical decision rules and optimal inference. L. I︠A︡. Leĭfman. Providence, R.I.: American Mathematical Society. ISBN 0-8218-4502-0. OCLC 7837189
- ^ 藤原, 彰夫 (2016). “Chentsov の定理とその周辺 (I)”. ミニワークショップ:統計多様体の幾何学とその周辺 8.
- ^ Efron, Bradley (1975). “Defining the Curvature of a Statistical Problem (with Applications to Second Order Efficiency)”. The Annals of Statistics 3 (6): 1189-1242. doi:10.1214/aos/1176343282. ISSN 0090-5364.
- ^ Dawid, A. P. (1975). “Discussion of Efron”. Annals of Statistics 3: 1231-1234.
- ^ 長岡, 2006, p. 8
- ^ Amari, Shun-Ichi (1982). “Differential Geometry of Curved Exponential Families-Curvatures and Information Loss”. The Annals of Statistics 10 (2). doi:10.1214/aos/1176345779. ISSN 0090-5364.
- ^ 現代的にはチェンツォフの定理によって 接続を定義する（藤原, 2015, p. 122）。
- ^ 「偶然とはいえ、同じ頭文字 e で始まる命名となっていたことは興味深い」（藤原, 2015, p. 127）
- ^ 日本数学会, 2007, p. 544
- ^ 日本数学会, 2007, p. 543
- ^ 江口真透「さまざまな研究パラダイムをつなぐ情報幾何」『横幹連合コンファレンス予稿集』第2019巻第10回横幹連合コンファレンス、横断型基幹科学技術研究団体連合（横幹連合）、2019年、F-4-4、doi:10.11487/oukan.2019.0_F-4-4、NAID 130007762476。
- ^ Nagaoka, Hiroshi; Amari, Shun-ichi (1982). “Differential Geometry of Smooth Families of Probability Distributions”. METR 82 (7).
- ^ AMARI, Shun-ichi; KUMON, Masayuki「Geometrical Theory on Estimation of Structural Parameter in the Presence of Infinitely Many Nuisance Parameters」『数理解析研究所講究録』第507巻、京都大学数理解析研究所、1983年12月、97-116頁、CRID 1050282810620567552、hdl:2433/103757、ISSN 1880-2818。
- ^ 甘利, 2020, p. 5
- ^ 甘利俊一「応用数理の遊歩道(26) : 情報幾何の生い立ち」『応用数理』第11巻第3号、日本応用数理学会、2001年、253-256頁、doi:10.11540/bjsiam.11.3_253、ISSN 09172270、NAID 110007390917。
- ^ Eguchi, Shinto (1985). “A differential geometric approach to statistical inference on the basis of contrast functionals”. Hiroshima Mathematical Journal 15 (2). doi:10.32917/hmj/1206130775. ISSN 0018-2079.
- ^ “EM アルゴリズムの幾何学的解釈”. 有限混合分布モデルの学習に関する研究 (Web 版). 赤穂昭太郎. 2021年6月15日閲覧。
- ^ 村田, 昇; 池田, 思朗 (2004). 神経回路網と EM アルゴリズム.
- ^ 甘利俊一「情報幾何とその応用 : Vボルツマン機械とEMアルゴリズム」『システム／制御／情報』第49巻第2号、システム制御情報学会、2005年、64-69頁、doi:10.11509/isciesci.49.2_64、ISSN 0916-1600、NAID 110003969659。
- ^ 長岡, 2015, pp. 141-154
- ^ 甘利俊一「情報幾何とその応用 : VIII神経多様体における学習と特異モデル」『システム／制御／情報』第49巻第8号、システム制御情報学会、2005年、337-343頁、doi:10.11509/isciesci.49.8_337、ISSN 0916-1600、NAID 110003983934。
- ^ “情報による観測量の変化速度の熱力学的な限界を発見 - 東京大学 大学院理学系研究科・理学部”. 2021年6月15日閲覧。
- ^ 伊藤, 創祐 (2020). “物理学と情報幾何学: ゆらぐ系の熱力学の視点から”. 数理科学 689: 38-45.
- ^ 長岡浩司「量子情報幾何学の世界」『総合講演・企画特別講演アブストラクト』第2002巻Spring-Meeting、日本数学会、2002年、24-37頁、doi:10.11429/emath1996.2002.Spring-Meeting_24、NAID 130005450749。
- ^ 渡辺優「量子情報幾何におけるHeisenberg の不確定性関係の位置付け (函数解析学による一般化エントロピーの新展開)」『数理解析研究所講究録』第1852号、京都大学数理解析研究所、2013年9月、210-216頁、ISSN 1880-2818、NAID 110009625602。
- ^ 高津飛鳥「Wasserstein幾何学と情報幾何学 (特集 情報幾何学の探究 : 基礎と応用,現状と展望に迫る)」『数理科学』第58巻第11号、サイエンス社、2020年11月、67-73頁、ISSN 0386-2240、NAID 40022377287、JAN 4910054691108。
- 1 情報幾何学とは
- 2 情報幾何学の概要
- 3 参考文献
情報幾何学
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2017/09/12 04:16 UTC 版)
点 β {\displaystyle \beta } は空間を形成すると解釈され、特にこの空間は多様体となる。この多様体はどのような構造を持つかという疑問が当然に起きる。これを情報幾何学（英語版）という。 ラグランジュ未定乗数に関する多重微分は、半正定値の分散共分散行列を引き起こす。 g i j ( β ) = ∂ 2 ∂ β i ∂ β j ( − log Z ( β ) ) = ⟨ ( H i − ⟨ H i ⟩ ) ( H j − ⟨ H j ) ⟩ {\displaystyle g_{ij}(\beta )={\frac {\partial ^{2}}{\partial \beta ^{i}\partial \beta ^{j}}}\left(-\log Z(\beta )\right)=\langle \left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\right)\rangle } この行列は半正定値行列で、計量テンソルと解釈され、リーマン計量と見なせる。このことにより、上記の方法で計量を持つラグランジュ未定乗数の空間は、リーマン多様体となることが分かる。 この多様体の研究は「情報幾何学」と呼ばれ、上記の計量はフィッシャー情報計量（英語版）と呼ばれる。上記では β {\displaystyle \beta } は多様体上の座標である。上記の定義と、これに動機付けられた単純化されたフィッシャー情報とを比較することは面白いことかもしれない。 上記がフィッシャー情報計量を定義することは、期待値を明示的に代入することにより容易に理解することができる。 g i j ( β ) = ⟨ ( H i − ⟨ H i ⟩ ) ( H j − ⟨ H j ) ⟩ = ∑ x P ( x ) ( H i − ⟨ H i ⟩ ) ( H j − ⟨ H j ⟩ ) = ∑ x P ( x ) ( H i + ∂ log Z ∂ β i ) ( H j + ∂ log Z ∂ β j ) = ∑ x P ( x ) ∂ log P ( x ) ∂ β i ∂ log P ( x ) ∂ β j {\displaystyle {\begin{aligned}g_{ij}(\beta )&=\langle \left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\right)\rangle \\&=\sum _{x}P(x)\left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\\&=\sum _{x}P(x)\left(H_{i}+{\frac {\partial \log Z}{\partial \beta _{i}}}\right)\left(H_{j}+{\frac {\partial \log Z}{\partial \beta _{j}}}\right)\\&=\sum _{x}P(x){\frac {\partial \log P(x)}{\partial \beta ^{i}}}{\frac {\partial \log P(x)}{\partial \beta ^{j}}}\\\end{aligned}}} ここに、 P ( x 1 , x 2 , … ) {\displaystyle P(x_{1},x_{2},\dots )} を P ( x ) {\displaystyle P(x)} と記すことして、和は確率変数 X k {\displaystyle X_{k}} のすべてを渡るものとする。もちろん、連続した値をとる確率変数に対して、和は積分に置き換わる。 奇妙なことに、フィッシャー情報計量ついての主要な記事に記載されているように、適当に変数変換した後ではフィッシャー情報計量（英語版）は、平坦なユークリッド計量として理解することもできる。 β {\displaystyle \beta } が複素数であるときには、結果として現れる計量はフビニ・スタディ計量である。純粋状態に代って、混合状態で書くときは、ビュレス計量（英語版）として知られている。
※この「情報幾何学」の解説は、「分配函数 (数学)」の解説の一部です。
「情報幾何学」を含む「分配函数 (数学)」の記事については、「分配函数 (数学)」の概要を参照ください。
- 情報幾何学のページへのリンク
