様々な分布の微分エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/07/13 02:03 UTC 版)
「微分エントロピー」の記事における「様々な分布の微分エントロピー」の解説
下記の表で、 Γ ( x ) = ∫ 0 ∞ e − t t x − 1 d t {\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt} はガンマ関数、 ψ ( x ) = d d x ln Γ ( x ) = Γ ′ ( x ) Γ ( x ) {\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}} はディガンマ関数、 B ( p , q ) = Γ ( p ) Γ ( q ) Γ ( p + q ) {\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}} はベータ関数、γE は オイラーの定数である:219-230。 微分エントロピー一覧分布名確率密度関数エントロピー（単位：ナット）関数の台連続一様分布 f ( x ) = 1 b − a {\displaystyle f(x)={\frac {1}{b-a}}} ln ( b − a ) {\displaystyle \ln(b-a)\,} [ a , b ] {\displaystyle [a,b]\,} 正規分布 f ( x ) = 1 2 π σ 2 exp ( − ( x − μ ) 2 2 σ 2 ) {\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)} ln ( σ 2 π e ) {\displaystyle \ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)} ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )\,} 指数分布 f ( x ) = λ exp ( − λ x ) {\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)} 1 − ln λ {\displaystyle 1-\ln \lambda \,} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} レイリー分布 f ( x ) = x σ 2 exp ( − x 2 2 σ 2 ) {\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)} 1 + ln σ 2 + γ E 2 {\displaystyle 1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} ベータ分布 f ( x ) = x α − 1 ( 1 − x ) β − 1 B ( α , β ) {\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}} for 0 ≤ x ≤ 1 {\displaystyle 0\leq x\leq 1} ln B ( α , β ) − ( α − 1 ) [ ψ ( α ) − ψ ( α + β ) ] {\displaystyle \ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,} − ( β − 1 ) [ ψ ( β ) − ψ ( α + β ) ] {\displaystyle -(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,} [ 0 , 1 ] {\displaystyle [0,1]\,} コーシー分布 f ( x ) = γ π 1 γ 2 + x 2 {\displaystyle f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}} ln ( 4 π γ ) {\displaystyle \ln(4\pi \gamma )\,} ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )\,} カイ分布（英語版） f ( x ) = 2 2 k / 2 Γ ( k / 2 ) x k − 1 exp ( − x 2 2 ) {\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)} ln Γ ( k / 2 ) 2 − k − 1 2 ψ ( k 2 ) + k 2 {\displaystyle \ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} カイ二乗分布 f ( x ) = 1 2 k / 2 Γ ( k / 2 ) x k 2 − 1 exp ( − x 2 ) {\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)} ln 2 Γ ( k 2 ) − ( 1 − k 2 ) ψ ( k 2 ) + k 2 {\displaystyle \ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} アーラン分布 f ( x ) = λ k ( k − 1 ) ! x k − 1 exp ( − λ x ) {\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)} ( 1 − k ) ψ ( k ) + ln Γ ( k ) λ + k {\displaystyle (1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} F分布 f ( x ) = n 1 n 1 2 n 2 n 2 2 B ( n 1 2 , n 2 2 ) x n 1 2 − 1 ( n 2 + n 1 x ) n 1 + n 2 2 {\displaystyle f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}} ln n 1 n 2 B ( n 1 2 , n 2 2 ) + ( 1 − n 1 2 ) ψ ( n 1 2 ) − {\displaystyle \ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-} ( 1 + n 2 2 ) ψ ( n 2 2 ) + n 1 + n 2 2 ψ ( n 1 + n 2 2 ) {\displaystyle \left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} ガンマ分布 f ( x ) = x k − 1 exp ( − x θ ) θ k Γ ( k ) {\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}} ln ( θ Γ ( k ) ) + ( 1 − k ) ψ ( k ) + k {\displaystyle \ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} ラプラス分布 f ( x ) = 1 2 b exp ( − | x − μ | b ) {\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)} 1 + ln ( 2 b ) {\displaystyle 1+\ln(2b)\,} ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )\,} ロジスティック分布 f ( x ) = e − x ( 1 + e − x ) 2 {\displaystyle f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}}} 2 {\displaystyle 2\,} ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )\,} 対数正規分布 f ( x ) = 1 σ x 2 π exp ( − ( ln x − μ ) 2 2 σ 2 ) {\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)} μ + 1 2 ln ( 2 π e σ 2 ) {\displaystyle \mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} マクスウェル分布 f ( x ) = 1 a 3 2 π x 2 exp ( − x 2 2 a 2 ) {\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)} ln ( a 2 π ) + γ E − 1 2 {\displaystyle \ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} 一般正規分布（英語版） f ( x ) = 2 β α 2 Γ ( α 2 ) x α − 1 exp ( − β x 2 ) {\displaystyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})} ln Γ ( α / 2 ) 2 β 1 2 − α − 1 2 ψ ( α 2 ) + α 2 {\displaystyle \ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}} ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )\,} パレート分布 f ( x ) = α x m α x α + 1 {\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}} ln x m α + 1 + 1 α {\displaystyle \ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}} [ x m , ∞ ) {\displaystyle [x_{m},\infty )\,} t分布 f ( x ) = ( 1 + x 2 / ν ) − ν + 1 2 ν B ( 1 2 , ν 2 ) {\displaystyle f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}} ν + 1 2 ( ψ ( ν + 1 2 ) − ψ ( ν 2 ) ) + ln ν B ( 1 2 , ν 2 ) {\displaystyle {\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)} ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )\,} 三角分布 f ( x ) = { 2 ( x − a ) ( b − a ) ( c − a ) f o r a ≤ x ≤ c , 2 ( b − x ) ( b − a ) ( b − c ) f o r c < x ≤ b , {\displaystyle f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}} 1 2 + ln b − a 2 {\displaystyle {\frac {1}{2}}+\ln {\frac {b-a}{2}}} [ 0 , 1 ] {\displaystyle [0,1]\,} ワイブル分布 f ( x ) = k λ k x k − 1 exp ( − x k λ k ) {\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)} ( k − 1 ) γ E k + ln λ k + 1 {\displaystyle {\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1} [ 0 , ∞ ) {\displaystyle [0,\infty )\,} 多変量正規分布 f X ( x → ) = {\displaystyle f_{X}({\vec {x}})=} exp ( − 1 2 ( x → − μ → ) ⊤ Σ − 1 ⋅ ( x → − μ → ) ) ( 2 π ) N / 2 | Σ | 1 / 2 {\displaystyle {\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}} 1 2 ln { ( 2 π e ) N det ( Σ ) } {\displaystyle {\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}} R N {\displaystyle \mathbb {R} ^{N}} これらの多くについては脚注参照:120-122。
※この「様々な分布の微分エントロピー」の解説は、「微分エントロピー」の解説の一部です。
「様々な分布の微分エントロピー」を含む「微分エントロピー」の記事については、「微分エントロピー」の概要を参照ください。
- 様々な分布の微分エントロピーのページへのリンク
