エントロピー
エントロピーとは、エントロピーの意味
エントロピーとは、不可逆性や不規則性を含む、特殊な状態を表すときに用いられる概念である。簡単にいうと、「混沌」を意味する。もともとは熱力学において、エントロピーという言葉は使われ始めた。すべての熱をともなう物体は、「高い方から低い方へと流れる」という方向性を持っている。しかし、逆に、低い方から高い方には流れない。逆の現象は起こらないので、「エントロピーが発生している」と表現することとなる。ただ、統計力学や情報理論におけるエントロピーは、熱力学とは微妙に異なる意味合いで用いられている場面が多い。統計力学では、所得格差を指し示すときにエントロピーが登場する。格差状態のない経済は「0」となり、格差が無秩序に広がっている場合は「エントロピーが大きい」と表現される。一方、情報理論の分野で、エントロピーは物事の可能性を示す指標として認識されてきた。可能性の低かった出来事が起こると、「情報エントロピーが大きくなる」などといわれる。
なお、エントロピーと似た言葉に「エンタルピー」がある。エントロピーとエンタルピーの違いを挙げるとすれば、エントロピーはあくまで、物事の方向性についての概念だという点である。そして、「どれだけ外部に対し、活発に働きかけるか」という概念がエンタルピーとなる。ある物体の熱が冷たい物体に伝わるとき、「エンタルピーが高い」と表現される。ただ、熱の伝わり方が分散していれば、「エントロピーが発生している」といわれる。
熱力学におけるエントロピー
熱力学において、熱は必ず温度の高いものから低いものへと伝わっていく。たとえば、熱くなった鉄に氷を乗せれば、氷が溶けるのは自明の理である。その逆はないので、熱の移動は「不可逆性をともなう現象」と定義される。この不可逆性がどれだけ強いのかを、数値で表すために発見された概念がエントロピーである。エントロピーは熱と内部エネルギー、行われる仕事を関数で表す。エントロピーが高くなればなるほど、「不可逆性が強い」ということである。ちなみに、可逆性のある現象については、エントロピーが「0」とされる。エントロピーがマイナスになることはない。エントロピー増大の法則
熱力学で頻繁に用いられる理論が、「エントロピー増大の法則」である。エントロピーは、物質が存在し続ける限り増大し続ける。外部から何らかの働きかけをしてやらない限り、エントロピーが減少することはない。言い換えれば、物事は秩序から始まり、自然に無秩序へと向かう可能性はあっても、さらなる秩序を目指しはしない。前述の、鉄と氷の関係でいえば、熱い鉄はずっと氷を溶かし続ける。仮に、氷が溶けなくなったとすれば、誰かが意図的に鉄を冷やした場合だけである。現象を放置している限り、鉄と氷の間にあるエントロピーは増大する。ちなみに、鉄で溶けた氷は蒸気になってしまっているので、そこから再び氷の形を取り戻するのは難しい。この状態で、熱力学に基づいてエントロピーを計算すれば、数値が高くなる。一方、水がお湯になった程度の現象では、エントロピーは比較的低いと考えられる。
統計力学におけるエントロピー
統計力学の分野でも、熱力学の応用でエントロピー増大の法則は用いられてきた。そもそも統計力学とは、ある現象における法則性の有無を解明しようという学問である。ただ、現象によっては明確な法則性を含んでおらず、混沌にしか見えないことも少なくない。こうした混沌性、不規則性を数値で表すために応用されたのが、熱力学のエントロピーである。そして、統計力学のエントロピーと大きく関係しているのが「小正準集団」である。統計データをグラフにしたとき、関知しにくいほど小さい集団が小正準集団である。小正準集団の多いグラフほど、その混沌性は高い。そして小正準集団の状態数から、はっきりと確認できる力学の潜在値を導き出す方法が「ボルツマンの公式」となる。原則的に、小正準集団が多くなれば、それだけエントロピーの値も大きくなると考えてよい。
また、統計力学にも「エントロピー増大の法則」は存在する。統計力学でもエントロピー増大の法則を応用できると証明する場合、よく使われるのが「気体の例」である。箱の中に気体を入れ、真ん中を板で仕切ったとする。このとき、右半分と左半分に気体が入っているのは明確である。すなわち、エントロピーの値も低くなる。しかし、板を取り外せば、「まだ右の気体と左の気体は変わらない」と言い切れなくなるのでエントロピーの値は高い。この例を考えれば、統計力学においても、現象を放置したほうがエントロピーは増大しやすいといえる。
情報理論におけるエントロピー
情報理論におけるエントロピーは、確率変数に含まれる情報量を表す指標であり、クロード・シャノンによって発見された。確率変数がさまざまな数値になれる状態だと、それだけ情報量も広がりを見せる。つまり、その場合の情報量は確率変数に含まれている不規則性を定義するといえる。ただし、シャノンの研究では、熱力学としてのエントロピー理論が情報理論の分野でも完全に応用できるのか、不透明なままだった。この点は後世の研究者たちの手によって解決されていくこととなる。情報理論とエントロピーの相性が非常によかったのは、「特殊な現象には大きな力が働いている」という観点が共通していたからである。たとえば、大量のデータをコンピュータで処理しようとすれば、当然、かかる時間は遅くなる。少量のデータを処理するケースの方が速い。すなわち、情報量が多いときほど、混沌性が発生しやすいのだといえる。こうした現象を数値化していくために、エントロピーは用いられてきた。
おおまかな解釈として、情報理論のエントロピーは「分からない部分の大きさ」を示している。分からない部分が多いほど、情報量は大きくなる可能性を秘めている。一方、分からない部分が少ない情報量は、大きくなる可能性が切り捨てられてしまっている。なお、ある出来事自体に含まれている情報量を「自己エントロピー」と呼ぶのに対し、平均情報量は単に「エントロピー」といわれることが多い。
エントロピー【entropy】
エントロピー entropy
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/08/09 02:46 UTC 版)
エントロピー（英: entropy）は、熱力学および統計力学において定義される示量性の状態量である。熱力学において断熱条件下での不可逆性を表す指標として導入され、統計力学において系の微視的な「乱雑さ」[注 1]を表す物理量という意味付けがなされた。統計力学での結果から、系から得られる情報に関係があることが指摘され、情報理論にも応用されるようになった。物理学者のエドウィン・ジェインズのようにむしろ物理学におけるエントロピーを情報理論の一応用とみなすべきだと主張する者もいる。
出典
- ^ 田崎 & 田崎 2010, 『RikaTan』10-12月号.
- ^ IUPAC Gold Book
- ^ 出典は情報量#歴史を参照
- ^ フェルミ 1973.
- ^ 佐々 2000.
- ^ 田崎 2000.
- ^ 清水 2007.
- ^ Clausius 1865.
- ^ 田崎 2000, pp. 16, 107–110, 1-3 本書の内容について; 6-4 エントロピーと熱.
- ^ 田崎 2000, p. 16, 1-3 本書の内容について.
- ^ Lieb & Yngvason1999.
- ^ リーブ & イングヴァソン 2001, pp. 4–12, 『パリティ』Vol. 16, No. 08.
- ^ 佐々 2000、田崎 2000、清水 2007などを参照。
注釈
- ^ 「でたらめさ」と表現されることもある。ここでいう「でたらめ」とは、矛盾や誤りを含んでいたり、的外れであるという意味ではなく、相関がなくランダムであるという意味である。
- ^ ここでいう「微視的状態が確定する」ということは、あらゆる物理量の値が確定するという意味ではなく、なんらかの固有状態に定まるという意味である。従って量子力学的な不確定性は残る。
- ^ カルノーの定理においては一般には熱効率の上限は ηmax = f(T1, T2) の形で証明されている。この表式が成り立つように、熱力学温度（絶対温度）T を定義する。たとえば、セルシウス度やファーレンハイト度を使った場合には、熱効率の式はやや複雑な形になる。
- ^ a b d'は状態量でない量の微小量ないし微小変化量を表す。文献によってしばしば同様の意味でδが用いられる。
- ^ 古典系の場合は状態を可算個として扱えない。したがって、例えば自由度fの古典系であれば、位相空間上の一点をΓ = (Q1, Q2, …, Qf, P1, P2, …, Pf)と表し、ここに一様な確率測度dΓ/hfを導入する（ここでP•, Q•は正準変数、hはプランク定数）。こうすることにより、積分
でエントロピーを定義できる。
- ^ ボルツマン定数を1とする単位系を取れば、エントロピーは情報理論におけるエントロピー（自然対数を用いたもの）と完全に一致し、無次元量となる。簡便なので、理論計算などではこの単位系が用いられることも多い。なお、この単位系では温度は独立な次元を持たず、エネルギーと同じ次元となる。
- ^ 量子系では厳密には、エネルギーが量子化されているため、ほとんど至るところのEにおいてE = Eiは満たされない。そのため、その間に十分多くのエネルギー固有状態が入るエネルギー間隔ΔEを定義し、条件を|E − Ei|< ΔEと緩めることにする。
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/08/14 02:47 UTC 版)
離散確率変数のエントロピーは確率密度函数を引数とする汎函数 H [ p ( x ) ] = − ∑ x p ( x ) log p ( x ) {\displaystyle {\begin{aligned}H[p(x)]=-\sum _{x}p(x)\log p(x)\end{aligned}}} であり、従って ⟨ δ H δ p , ϕ ⟩ = ∑ x δ H [ p ( x ) ] δ p ( x ′ ) ϕ ( x ′ ) = d d ϵ H [ p ( x ) + ϵ ϕ ( x ) ] | ϵ = 0 = − d d ε ∑ x [ p ( x ) + ε ϕ ( x ) ] log [ p ( x ) + ε ϕ ( x ) ] | ε = 0 = − ∑ x [ 1 + log p ( x ) ] ϕ ( x ) = ⟨ − [ 1 + log p ( x ) ] , ϕ ⟩ . {\displaystyle {\begin{aligned}\left\langle {\frac {\delta H}{\delta p}},\phi \right\rangle &=\sum _{x}{\frac {\delta H[p(x)]}{\delta p(x')}}\,\phi (x')\\&=\left.{\frac {d}{d\epsilon }}H[p(x)+\epsilon \phi (x)]\right|_{\epsilon =0}\\&=-{\frac {d}{d\varepsilon }}\left.\sum _{x}[p(x)+\varepsilon \phi (x)]\log[p(x)+\varepsilon \phi (x)]\right|_{\varepsilon =0}\\&=\displaystyle -\sum _{x}[1+\log p(x)]\phi (x)\\&=\left\langle -[1+\log p(x)],\phi \right\rangle .\end{aligned}}} 即ち、 δ H δ p = − [ 1 + log p ( x ) ] {\displaystyle {\frac {\delta H}{\delta p}}=-[1+\log p(x)]} が成り立つ。
※この「エントロピー」の解説は、「汎函数微分」の解説の一部です。
「エントロピー」を含む「汎函数微分」の記事については、「汎函数微分」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/10/17 01:47 UTC 版)
エントロピーの変化 ΔS は F = U - TS の関係を使って求める。 Δ S = Δ U − Δ F T ex {\displaystyle \Delta S={\frac {\Delta U-\Delta F}{T_{\text{ex}}}}} あるいは G = H - TS の関係を使って求める。 Δ S = Δ H − Δ G T ex {\displaystyle \Delta S={\frac {\Delta H-\Delta G}{T_{\text{ex}}}}} マクスウェルの関係式を使って求めることもできる。 Δ S = ∫ state A state B d S = ∫ V A V B ( ∂ S ∂ V ) T = T ex d V = ∫ V A V B ( ∂ P ∂ T ) V d V {\displaystyle \Delta S=\int _{\text{state A}}^{\text{state B}}dS=\int _{V_{\text{A}}}^{V_{\text{B}}}\left({\frac {\partial S}{\partial V}}\right)_{T=T_{\text{ex}}}dV=\int _{V_{\text{A}}}^{V_{\text{B}}}\left({\frac {\partial P}{\partial T}}\right)_{V}dV} Δ S = ∫ state A state B d S = ∫ P A P B ( ∂ S ∂ P ) T = T ex d P = − ∫ P A P B ( ∂ V ∂ T ) P d P {\displaystyle \Delta S=\int _{\text{state A}}^{\text{state B}}dS=\int _{P_{\text{A}}}^{P_{\text{B}}}\left({\frac {\partial S}{\partial P}}\right)_{T=T_{\text{ex}}}dP=-\int _{P_{\text{A}}}^{P_{\text{B}}}\left({\frac {\partial V}{\partial T}}\right)_{P}dP}
※この「エントロピー」の解説は、「等温過程」の解説の一部です。
「エントロピー」を含む「等温過程」の記事については、「等温過程」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/02/23 01:21 UTC 版)
「ルドルフ・クラウジウス」の記事における「エントロピー」の解説
クラウジウスは1865年の論文で、Sを d S = d Q T {\displaystyle dS={\frac {dQ}{T}}} と定義した。 クラウジウスは、カルノーサイクルの研究をする中で、このdQ/Tと言う量を積分すると、カルノーサイクルを1周した際、この積分の総和がゼロに成る事に気が付いた。そこで、クラウジウスは、このdQ/Tと言う量に注目したのであった。クラウジウスは、上式の様に、このdQ/TをdSと言う新しい量として表し、このdSを積分した量であるSをエントロピーと呼んだ。そして、この新しい量Sの変化dSが、熱現象の方向を決定する事に気が付いたのであった。 重要な事は、クラウジウスが、原子論に関心を持ちつつも、原子の実在を仮定しない段階でエントロピーと言う関数の存在に注目した事である。即ち、クラウジウスがこのエントロピーと言う関数に注目、発見した段階において、エントロピーは、原子の実在性を全く前提としておらず、啓蒙書などで良く使われる「デタラメさの尺度」と言った意味は全く無かった事を忘れてはならない。クラウジウスがカルノーサイクルの検討から発見した関数エントロピーは、この時点では、あくまでも、熱機関の可逆性の指標だったのである。 彼が発表したエントロピーに関する考えは、当時、多くの科学者より反論された。しかし、ジェームズ・クラーク・マクスウェルによって強く支持され、更に、ボルツマンによって、原子の空間中での分布の仕方を表す量、即ち、「デタラメさの尺度」である事が証明されたのであった（ボルツマンの項を参照の事） クラウジウスは、熱力学第一・第二法則を以下の表現で表した。 宇宙のエネルギーは一定である 宇宙のエントロピーは最大値に向かう
※この「エントロピー」の解説は、「ルドルフ・クラウジウス」の解説の一部です。
「エントロピー」を含む「ルドルフ・クラウジウス」の記事については、「ルドルフ・クラウジウス」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/02/14 14:38 UTC 版)
ベルヌーイ試行のエントロピーを成功確率の関数 H b ( p ) {\displaystyle H_{\mbox{b}}(p)} として表したもの。2値エントロピー関数と呼ばれる。エントロピーは1ビットの成功確率が1/2であるときに最大となる。例えば細工のないコイントスなど。 離散確率変数 M {\displaystyle M} のエントロピー H {\displaystyle H} とは、 M {\displaystyle M} の値の不確かさの尺度である。ここでの「ビット」の定義は重要である。例えば、通常の感覚（0 と 1）で 1000 ビットを転送するとしよう。事前にそのビット群の内容（0 と 1 の送信順序）がわかっている場合、論理的には通信によって得られる情報はゼロである。逆に個々のビットが 0 なのか 1 なのか五分五分の確率であった場合（かつビット間に相互の関連が存在しない場合）、1000 ビットで得られる情報は最大となる。これらの中間で、情報の定量化は次のように表される。 M {\displaystyle \mathbb {M} \,} を確率変数 M {\displaystyle M} の発するメッセージ m {\displaystyle m} の集合とし、 p ( m ) = P r ( M = m ) {\displaystyle p(m)=Pr(M=m)} としたとき、 M {\displaystyle M} のエントロピーは次のようになる（単位はビット）。 H ( M ) = E M [ − log p ( m ) ] = − ∑ m ∈ M p ( m ) log p ( m ) {\displaystyle H(M)=\mathbb {E} _{M}[-\log p(m)]=-\sum _{m\in \mathbb {M} }p(m)\log p(m)} エントロピーの重要な特徴として、メッセージ空間内の全メッセージが全て同じ確率でありうる場合に（つまり最も予測が難しい場合）、エントロピー値が最大の H ( M ) = log | M | {\displaystyle H(M)=\log |\mathbb {M} |} となる。 関数 H を確率分布で表すと次のようになる: H ( p ) = − ∑ i = 1 k p ( i ) log p ( i ) , {\displaystyle H(p)=-\sum _{i=1}^{k}p(i)\log p(i),} ここで ∑ i = 1 k p ( i ) = 1 {\displaystyle \sum _{i=1}^{k}p(i)=1} これの重要かつ特殊な場合を2値エントロピー関数と呼び、次のようになる: H b ( p ) = H ( p , 1 − p ) = − p log p − ( 1 − p ) log ( 1 − p ) {\displaystyle H_{\mbox{b}}(p)=H(p,1-p)=-p\log p-(1-p)\log(1-p)\,} 2つの離散確率変数 X {\displaystyle X} と Y {\displaystyle Y} の結合エントロピーとは、単にその組 ( X , Y ) {\displaystyle (X,Y)} のエントロピーである。例えば、 ( X , Y ) {\displaystyle (X,Y)} がチェスの駒の位置を表すとする。 X {\displaystyle X} が行、 Y {\displaystyle Y} が列を表すとすると、その結合エントロピーとは、駒の位置のエントロピーを表す。数学的には次のようになる。 H ( X , Y ) = E X , Y [ − log p ( x , y ) ] = − ∑ x , y p ( x , y ) log p ( x , y ) {\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,} X {\displaystyle X} と Y {\displaystyle Y} が独立なら、結合エントロピーは単純に個々のエントロピーの総和となる。類似の概念として交差エントロピーがあるが、違うものである。 Y = y {\displaystyle Y=y} のときの X {\displaystyle X} の条件付きエントロピーとは、 Y = y {\displaystyle Y=y} が既知であるときの X {\displaystyle X} のエントロピーである。前述の例で言えば、列が決まっているときの駒の行位置のエントロピーとなる。 Y = y {\displaystyle Y=y} のときの X {\displaystyle X} の条件付きエントロピーは次のようになる: H ( X | y ) = E X | Y [ − log p ( x | y ) ] = − ∑ x ∈ X p ( x | y ) log p ( x | y ) {\displaystyle H(X|y)=\mathbb {E} _{X|Y}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)} ここで p ( x | y ) {\displaystyle p(x|y)} は、ある y {\displaystyle y} に関する x {\displaystyle x} の条件付き確率である。 確率変数 Y {\displaystyle Y} における X {\displaystyle X} の条件付きエントロピーとは、 Y {\displaystyle Y} についての平均条件付きエントロピーであり、次のようになる: H ( X | Y ) = E Y { H ( X | y ) } = − ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log p ( x | y ) {\displaystyle H(X|Y)=\mathbb {E} _{Y}\{H(X|y)\}=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)} = − ∑ x , y p ( x , y ) log p ( x , y ) p ( y ) {\displaystyle =-\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(y)}}} = ∑ x , y p ( x , y ) log p ( y ) p ( x , y ) {\displaystyle =\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}} これを Y {\displaystyle Y} に関する X {\displaystyle X} のあいまい度とも呼ぶ。このように条件付きエントロピーには、確率変数についての定義と、それが特定の値の場合の定義があるので、混同しないこと。これらのエントロピーには次の関係が成り立つ。 H ( X | Y ) = H ( X , Y ) − H ( Y ) {\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}
※この「エントロピー」の解説は、「情報理論」の解説の一部です。
「エントロピー」を含む「情報理論」の記事については、「情報理論」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/02/19 06:14 UTC 版)
狭義の理想気体のエントロピー S は S = n R ln α T c V n {\displaystyle S=nR\ln \alpha {\frac {T^{c}V}{n}}} となる。ここで α は物質固有の定数である。狭義の理想気体のエントロピーの形は、熱力学第三法則を満たさない。 半理想気体のエントロピー S は S = n R ( ∫ T 0 T C V , m ( T ′ ) R T ′ d T ′ + ln α 0 V n ) {\displaystyle S=nR\left(\int _{T_{0}}^{T}{\frac {C_{V,{\text{m}}}(T')}{RT'}}\,\mathrm {d} T'+\ln \alpha _{0}{\frac {V}{n}}\right)} となる。ここで α0 は物質固有の定数である。半理想気体の CV, m が 3R/2 を下回ることはないので、半理想気体のエントロピーの形もまた、熱力学第三法則を満たさない。 準静的な断熱過程においては、エントロピーが一定となる。このとき T c V = const. {\displaystyle T^{c}V={\text{const.}}} p V γ = const. {\displaystyle pV^{\gamma }={\text{const.}}} の関係がある。これらはポアソンの法則と呼ばれる。狭義の理想気体では、ポアソンの法則が厳密に成り立つ。半理想気体では、ポアソンの法則が近似的に成り立つ。
※この「エントロピー」の解説は、「理想気体」の解説の一部です。
「エントロピー」を含む「理想気体」の記事については、「理想気体」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/16 07:23 UTC 版)
詳細は「エントロピー」を参照 1856年、ドイツの物理学者ルドルフ・クラウジウスが熱力学第二法則を定義し、そこで熱 Q と温度 T から次のような値を考えた。 Q T {\displaystyle {}{\frac {Q}{T}}} そして1865年、この比をエントロピーと名付け、S と表記するようにした。 Δ S = Q T {\displaystyle \Delta S={\frac {Q}{T}}} 従って、熱の不完全微分 δQ は TdS という完全微分で定義されることになる。 δ Q = T d S {\displaystyle \delta Q=TdS\,} 言い換えれば、エントロピー関数 S は熱力学的系の境界を通る熱流の定量化と測定を容易にする。
※この「エントロピー」の解説は、「熱」の解説の一部です。
「エントロピー」を含む「熱」の記事については、「熱」の概要を参照ください。
「エントロピー」の例文・使い方・用例・文例
エントロピーと同じ種類の言葉
| 物理量に関連する言葉 | エントロピー(エントロピ) ベクトル量 運動量(うんどうりょう) |
| エントロピーに関連する言葉 | エントロピー(エントロピ) 結合エントロピー 標準モルエントロピー クロスエントロピー |
- エントロピーのページへのリンク
