エントロピー

新語時事用語辞典

エントロピー

エントロピーとは、エントロピーの意味

エントロピーとは、不可逆性や不規則性を含む、特殊な状態を表すときに用いられる概念である。簡単にいうと、「混沌」を意味する。もともとは熱力学において、エントロピーという言葉は使われ始めた。すべての熱をともなう物体は、「高い方から低い方へと流れる」という方向性を持っている。しかし、逆に、低い方から高い方には流れない。逆の現象は起こらないので、「エントロピーが発生している」と表現することとなる。ただ、統計力学や情報理論におけるエントロピーは、熱力学とは微妙に異なる意味合いで用いられている場面が多い。

統計力学では、所得格差を指し示すときにエントロピーが登場する。格差状態のない経済は「0」となり、格差が無秩序に広がっている場合は「エントロピーが大きい」と表現される。一方、情報理論の分野で、エントロピーは物事の可能性を示す指標として認識されてきた。可能性の低かった出来事が起こると、「情報エントロピーが大きくなる」などといわれる。

なお、エントロピーと似た言葉に「エンタルピー」がある。エントロピーとエンタルピーの違いを挙げるとすれば、エントロピーはあくまで、物事の方向性についての概念だという点である。そして、「どれだけ外部に対し、活発に働きかけるか」という概念がエンタルピーとなる。ある物体の熱が冷たい物体に伝わるとき、「エンタルピーが高い」と表現される。ただ、熱の伝わり方が分散していれば、「エントロピーが発生している」といわれる。

熱力学におけるエントロピー

熱力学において、熱は必ず温度の高いものから低いものへと伝わっていく。たとえば、熱くなった鉄に氷を乗せれば、氷が溶けるのは自明の理である。その逆はないので、熱の移動は「不可逆性をともなう現象」と定義される。この不可逆性がどれだけ強いのかを、数値で表すために発見された概念がエントロピーである。エントロピーは熱と内部エネルギー、行われる仕事を関数で表す。エントロピーが高くなればなるほど、「不可逆性が強い」ということである。ちなみに、可逆性のある現象については、エントロピーが「0」とされる。エントロピーがマイナスになることはない。

エントロピー増大の法則

熱力学で頻繁に用いられる理論が、「エントロピー増大の法則」である。エントロピーは、物質が存在し続ける限り増大し続ける。外部から何らかの働きかけをしてやらない限り、エントロピーが減少することはない。言い換えれば、物事は秩序から始まり、自然に無秩序へと向かう可能性はあっても、さらなる秩序を目指しはしない。前述の、鉄と氷の関係でいえば、熱い鉄はずっと氷を溶かし続ける。仮に、氷が溶けなくなったとすれば、誰かが意図的に鉄を冷やした場合だけである。現象を放置している限り、鉄と氷の間にあるエントロピーは増大する。

ちなみに、鉄で溶けた氷は蒸気になってしまっているので、そこから再び氷の形を取り戻するのは難しい。この状態で、熱力学に基づいてエントロピーを計算すれば、数値が高くなる。一方、水がお湯になった程度の現象では、エントロピーは比較的低いと考えられる。

統計力学におけるエントロピー

統計力学の分野でも、熱力学の応用でエントロピー増大の法則は用いられてきた。そもそも統計力学とは、ある現象における法則性の有無を解明しようという学問である。ただ、現象によっては明確な法則性を含んでおらず、混沌にしか見えないことも少なくない。こうした混沌性、不規則性を数値で表すために応用されたのが、熱力学のエントロピーである。そして、統計力学のエントロピーと大きく関係しているのが「小正準集団」である。統計データをグラフにしたとき、関知しにくいほど小さい集団が小正準集団である。小正準集団の多いグラフほど、その混沌性は高い。

そして小正準集団の状態数から、はっきりと確認できる力学の潜在値を導き出す方法が「ボルツマンの公式」となる。原則的に、小正準集団が多くなれば、それだけエントロピーの値も大きくなると考えてよい。

また、統計力学にも「エントロピー増大の法則」は存在する。統計力学でもエントロピー増大の法則を応用できると証明する場合、よく使われるのが「気体の例」である。箱の中に気体を入れ、真ん中を板で仕切ったとする。このとき、右半分と左半分に気体が入っているのは明確である。すなわち、エントロピーの値も低くなる。しかし、板を取り外せば、「まだ右の気体と左の気体は変わらない」と言い切れなくなるのでエントロピーの値は高い。この例を考えれば、統計力学においても、現象を放置したほうがエントロピーは増大しやすいといえる。

情報理論におけるエントロピー

情報理論におけるエントロピーは、確率変数に含まれる情報量を表す指標であり、クロード・シャノンによって発見された。確率変数がさまざまな数値になれる状態だと、それだけ情報量も広がりを見せる。つまり、その場合の情報量は確率変数に含まれている不規則性を定義するといえる。ただし、シャノンの研究では、熱力学としてのエントロピー理論が情報理論の分野でも完全に応用できるのか、不透明なままだった。この点は後世の研究者たちの手によって解決されていくこととなる。

情報理論とエントロピーの相性が非常によかったのは、「特殊な現象には大きな力が働いている」という観点が共通していたからである。たとえば、大量のデータをコンピュータで処理しようとすれば、当然、かかる時間は遅くなる。少量のデータを処理するケースの方が速い。すなわち、情報量が多いときほど、混沌性が発生しやすいのだといえる。こうした現象を数値化していくために、エントロピーは用いられてきた。

おおまかな解釈として、情報理論のエントロピーは「分からない部分の大きさ」を示している。分からない部分が多いほど、情報量は大きくなる可能性を秘めている。一方、分からない部分が少ない情報量は、大きくなる可能性が切り捨てられてしまっている。なお、ある出来事自体に含まれている情報量を「自己エントロピー」と呼ぶのに対し、平均情報量は単に「エントロピー」といわれることが多い。

（2020年11月11日更新）