エントロピー
エントロピーとは、エントロピーの意味
エントロピーとは、不可逆性や不規則性を含む、特殊な状態を表すときに用いられる概念である。簡単にいうと、「混沌」を意味する。もともとは熱力学において、エントロピーという言葉は使われ始めた。すべての熱をともなう物体は、「高い方から低い方へと流れる」という方向性を持っている。しかし、逆に、低い方から高い方には流れない。逆の現象は起こらないので、「エントロピーが発生している」と表現することとなる。ただ、統計力学や情報理論におけるエントロピーは、熱力学とは微妙に異なる意味合いで用いられている場面が多い。統計力学では、所得格差を指し示すときにエントロピーが登場する。格差状態のない経済は「0」となり、格差が無秩序に広がっている場合は「エントロピーが大きい」と表現される。一方、情報理論の分野で、エントロピーは物事の可能性を示す指標として認識されてきた。可能性の低かった出来事が起こると、「情報エントロピーが大きくなる」などといわれる。
なお、エントロピーと似た言葉に「エンタルピー」がある。エントロピーとエンタルピーの違いを挙げるとすれば、エントロピーはあくまで、物事の方向性についての概念だという点である。そして、「どれだけ外部に対し、活発に働きかけるか」という概念がエンタルピーとなる。ある物体の熱が冷たい物体に伝わるとき、「エンタルピーが高い」と表現される。ただ、熱の伝わり方が分散していれば、「エントロピーが発生している」といわれる。
熱力学におけるエントロピー
熱力学において、熱は必ず温度の高いものから低いものへと伝わっていく。たとえば、熱くなった鉄に氷を乗せれば、氷が溶けるのは自明の理である。その逆はないので、熱の移動は「不可逆性をともなう現象」と定義される。この不可逆性がどれだけ強いのかを、数値で表すために発見された概念がエントロピーである。エントロピーは熱と内部エネルギー、行われる仕事を関数で表す。エントロピーが高くなればなるほど、「不可逆性が強い」ということである。ちなみに、可逆性のある現象については、エントロピーが「0」とされる。エントロピーがマイナスになることはない。エントロピー増大の法則
熱力学で頻繁に用いられる理論が、「エントロピー増大の法則」である。エントロピーは、物質が存在し続ける限り増大し続ける。外部から何らかの働きかけをしてやらない限り、エントロピーが減少することはない。言い換えれば、物事は秩序から始まり、自然に無秩序へと向かう可能性はあっても、さらなる秩序を目指しはしない。前述の、鉄と氷の関係でいえば、熱い鉄はずっと氷を溶かし続ける。仮に、氷が溶けなくなったとすれば、誰かが意図的に鉄を冷やした場合だけである。現象を放置している限り、鉄と氷の間にあるエントロピーは増大する。ちなみに、鉄で溶けた氷は蒸気になってしまっているので、そこから再び氷の形を取り戻するのは難しい。この状態で、熱力学に基づいてエントロピーを計算すれば、数値が高くなる。一方、水がお湯になった程度の現象では、エントロピーは比較的低いと考えられる。
統計力学におけるエントロピー
統計力学の分野でも、熱力学の応用でエントロピー増大の法則は用いられてきた。そもそも統計力学とは、ある現象における法則性の有無を解明しようという学問である。ただ、現象によっては明確な法則性を含んでおらず、混沌にしか見えないことも少なくない。こうした混沌性、不規則性を数値で表すために応用されたのが、熱力学のエントロピーである。そして、統計力学のエントロピーと大きく関係しているのが「小正準集団」である。統計データをグラフにしたとき、関知しにくいほど小さい集団が小正準集団である。小正準集団の多いグラフほど、その混沌性は高い。そして小正準集団の状態数から、はっきりと確認できる力学の潜在値を導き出す方法が「ボルツマンの公式」となる。原則的に、小正準集団が多くなれば、それだけエントロピーの値も大きくなると考えてよい。
また、統計力学にも「エントロピー増大の法則」は存在する。統計力学でもエントロピー増大の法則を応用できると証明する場合、よく使われるのが「気体の例」である。箱の中に気体を入れ、真ん中を板で仕切ったとする。このとき、右半分と左半分に気体が入っているのは明確である。すなわち、エントロピーの値も低くなる。しかし、板を取り外せば、「まだ右の気体と左の気体は変わらない」と言い切れなくなるのでエントロピーの値は高い。この例を考えれば、統計力学においても、現象を放置したほうがエントロピーは増大しやすいといえる。
情報理論におけるエントロピー
情報理論におけるエントロピーは、確率変数に含まれる情報量を表す指標であり、クロード・シャノンによって発見された。確率変数がさまざまな数値になれる状態だと、それだけ情報量も広がりを見せる。つまり、その場合の情報量は確率変数に含まれている不規則性を定義するといえる。ただし、シャノンの研究では、熱力学としてのエントロピー理論が情報理論の分野でも完全に応用できるのか、不透明なままだった。この点は後世の研究者たちの手によって解決されていくこととなる。情報理論とエントロピーの相性が非常によかったのは、「特殊な現象には大きな力が働いている」という観点が共通していたからである。たとえば、大量のデータをコンピュータで処理しようとすれば、当然、かかる時間は遅くなる。少量のデータを処理するケースの方が速い。すなわち、情報量が多いときほど、混沌性が発生しやすいのだといえる。こうした現象を数値化していくために、エントロピーは用いられてきた。
おおまかな解釈として、情報理論のエントロピーは「分からない部分の大きさ」を示している。分からない部分が多いほど、情報量は大きくなる可能性を秘めている。一方、分からない部分が少ない情報量は、大きくなる可能性が切り捨てられてしまっている。なお、ある出来事自体に含まれている情報量を「自己エントロピー」と呼ぶのに対し、平均情報量は単に「エントロピー」といわれることが多い。
エントロピー【entropy】
エントロピー entropy
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2020/12/12 16:06 UTC 版)
エントロピー(英: entropy、中: 熵)は、熱力学および統計力学において定義される示量性の状態量である。熱力学において断熱条件下での不可逆性を表す指標として導入され、統計力学において系の微視的な「乱雑さ」[注 1]を表す物理量という意味付けがなされた。統計力学での結果から、系から得られる情報に関係があることが指摘され、情報理論にも応用されるようになった。物理学者のエドウィン・ジェインズのようにむしろ物理学におけるエントロピーを情報理論の一応用とみなすべきだと主張する者もいる。
出典
- ^ 田崎 & 田崎 2010, 『RikaTan』10-12月号.
- ^ IUPAC Gold Book
- ^ 出典は情報量#歴史を参照
- ^ フェルミ 1973.
- ^ 佐々 2000.
- ^ 田崎 2000.
- ^ 清水 2007.
- ^ Clausius 1865.
- ^ 田崎 2000, pp. 16; 107-110, 1-3 本書の内容について; 6-4 エントロピーと熱.
- ^ 田崎 2000, p. 16, 1-3 本書の内容について.
- ^ Lieb & Yngvason1999.
- ^ リーブ & イングヴァソン 2001, pp. 4-12, 『パリティ』Vol. 16, No. 08.
- ^ 佐々 2000、田崎 2000、清水 2007などを参照。
注釈
- ^ 「でたらめさ」と表現されることもある。ここでいう「でたらめ」とは、矛盾や誤りを含んでいたり、的外れであるという意味ではなく、相関がなくランダムであるという意味である。
- ^ ここでいう「微視的状態が確定する」ということは、あらゆる物理量の値が確定するという意味ではなく、なんらかの固有状態に定まるという意味である。従って量子力学的な不確定性は残る。
- ^ カルノーの定理においては一般には熱効率の上限は ηmax = f(T1, T2) の形で証明されている。この表式が成り立つように、熱力学温度(絶対温度)T を定義する。たとえば、セルシウス度やファーレンハイト度を使った場合には、熱効率の式はやや複雑な形になる。
- ^ a b d'は状態量でない量の微小量ないし微小変化量を表す。文献によってしばしば同様の意味でδが用いられる。
- ^ 古典系の場合は状態を可算個として扱えない。したがって、例えば自由度fの古典系であれば、位相空間上の一点をΓ = (Q1, Q2, …, Qf, P1, P2, …, Pf)と表し、ここに一様な確率測度dΓ/hfを導入する(ここでP•, Q•は正準変数、hはプランク定数)。こうすることにより、積分
でエントロピーを定義できる。
- ^ ボルツマン定数を1とする単位系を取れば、エントロピーは情報理論におけるエントロピー(自然対数を用いたもの)と完全に一致し、無次元量となる。簡便なので、理論計算などではこの単位系が用いられることも多い。なお、この単位系では温度は独立な次元を持たず、エネルギーと同じ次元となる。
- ^ 量子系では厳密には、エネルギーが量子化されているため、ほとんど至るところのEにおいてE = Eiは満たされない。そのため、その間に十分多くのエネルギー固有状態が入るエネルギー間隔ΔEを定義し、条件を|E − Ei|< ΔEと緩めることにする。
エントロピーと同じ種類の言葉
物理量に関連する言葉 | エントロピー(エントロピ) ベクトル量 運動量(うんどうりょう) |
エントロピーに関連する言葉 | エントロピー(エントロピ) 結合エントロピー 標準モルエントロピー クロスエントロピー |
- エントロピーのページへのリンク