エントロピー
エントロピーとは、エントロピーの意味
エントロピーとは、不可逆性や不規則性を含む、特殊な状態を表すときに用いられる概念である。簡単にいうと、「混沌」を意味する。もともとは熱力学において、エントロピーという言葉は使われ始めた。すべての熱をともなう物体は、「高い方から低い方へと流れる」という方向性を持っている。しかし、逆に、低い方から高い方には流れない。逆の現象は起こらないので、「エントロピーが発生している」と表現することとなる。ただ、統計力学や情報理論におけるエントロピーは、熱力学とは微妙に異なる意味合いで用いられている場面が多い。統計力学では、所得格差を指し示すときにエントロピーが登場する。格差状態のない経済は「0」となり、格差が無秩序に広がっている場合は「エントロピーが大きい」と表現される。一方、情報理論の分野で、エントロピーは物事の可能性を示す指標として認識されてきた。可能性の低かった出来事が起こると、「情報エントロピーが大きくなる」などといわれる。
なお、エントロピーと似た言葉に「エンタルピー」がある。エントロピーとエンタルピーの違いを挙げるとすれば、エントロピーはあくまで、物事の方向性についての概念だという点である。そして、「どれだけ外部に対し、活発に働きかけるか」という概念がエンタルピーとなる。ある物体の熱が冷たい物体に伝わるとき、「エンタルピーが高い」と表現される。ただ、熱の伝わり方が分散していれば、「エントロピーが発生している」といわれる。
熱力学におけるエントロピー
熱力学において、熱は必ず温度の高いものから低いものへと伝わっていく。たとえば、熱くなった鉄に氷を乗せれば、氷が溶けるのは自明の理である。その逆はないので、熱の移動は「不可逆性をともなう現象」と定義される。この不可逆性がどれだけ強いのかを、数値で表すために発見された概念がエントロピーである。エントロピーは熱と内部エネルギー、行われる仕事を関数で表す。エントロピーが高くなればなるほど、「不可逆性が強い」ということである。ちなみに、可逆性のある現象については、エントロピーが「0」とされる。エントロピーがマイナスになることはない。エントロピー増大の法則
熱力学で頻繁に用いられる理論が、「エントロピー増大の法則」である。エントロピーは、物質が存在し続ける限り増大し続ける。外部から何らかの働きかけをしてやらない限り、エントロピーが減少することはない。言い換えれば、物事は秩序から始まり、自然に無秩序へと向かう可能性はあっても、さらなる秩序を目指しはしない。前述の、鉄と氷の関係でいえば、熱い鉄はずっと氷を溶かし続ける。仮に、氷が溶けなくなったとすれば、誰かが意図的に鉄を冷やした場合だけである。現象を放置している限り、鉄と氷の間にあるエントロピーは増大する。ちなみに、鉄で溶けた氷は蒸気になってしまっているので、そこから再び氷の形を取り戻するのは難しい。この状態で、熱力学に基づいてエントロピーを計算すれば、数値が高くなる。一方、水がお湯になった程度の現象では、エントロピーは比較的低いと考えられる。
統計力学におけるエントロピー
統計力学の分野でも、熱力学の応用でエントロピー増大の法則は用いられてきた。そもそも統計力学とは、ある現象における法則性の有無を解明しようという学問である。ただ、現象によっては明確な法則性を含んでおらず、混沌にしか見えないことも少なくない。こうした混沌性、不規則性を数値で表すために応用されたのが、熱力学のエントロピーである。そして、統計力学のエントロピーと大きく関係しているのが「小正準集団」である。統計データをグラフにしたとき、関知しにくいほど小さい集団が小正準集団である。小正準集団の多いグラフほど、その混沌性は高い。そして小正準集団の状態数から、はっきりと確認できる力学の潜在値を導き出す方法が「ボルツマンの公式」となる。原則的に、小正準集団が多くなれば、それだけエントロピーの値も大きくなると考えてよい。
また、統計力学にも「エントロピー増大の法則」は存在する。統計力学でもエントロピー増大の法則を応用できると証明する場合、よく使われるのが「気体の例」である。箱の中に気体を入れ、真ん中を板で仕切ったとする。このとき、右半分と左半分に気体が入っているのは明確である。すなわち、エントロピーの値も低くなる。しかし、板を取り外せば、「まだ右の気体と左の気体は変わらない」と言い切れなくなるのでエントロピーの値は高い。この例を考えれば、統計力学においても、現象を放置したほうがエントロピーは増大しやすいといえる。
情報理論におけるエントロピー
情報理論におけるエントロピーは、確率変数に含まれる情報量を表す指標であり、クロード・シャノンによって発見された。確率変数がさまざまな数値になれる状態だと、それだけ情報量も広がりを見せる。つまり、その場合の情報量は確率変数に含まれている不規則性を定義するといえる。ただし、シャノンの研究では、熱力学としてのエントロピー理論が情報理論の分野でも完全に応用できるのか、不透明なままだった。この点は後世の研究者たちの手によって解決されていくこととなる。情報理論とエントロピーの相性が非常によかったのは、「特殊な現象には大きな力が働いている」という観点が共通していたからである。たとえば、大量のデータをコンピュータで処理しようとすれば、当然、かかる時間は遅くなる。少量のデータを処理するケースの方が速い。すなわち、情報量が多いときほど、混沌性が発生しやすいのだといえる。こうした現象を数値化していくために、エントロピーは用いられてきた。
おおまかな解釈として、情報理論のエントロピーは「分からない部分の大きさ」を示している。分からない部分が多いほど、情報量は大きくなる可能性を秘めている。一方、分からない部分が少ない情報量は、大きくなる可能性が切り捨てられてしまっている。なお、ある出来事自体に含まれている情報量を「自己エントロピー」と呼ぶのに対し、平均情報量は単に「エントロピー」といわれることが多い。
entropy
「entropy」の意味・「entropy」とは
「entropy」は、物理学や情報理論において頻繁に使用される英単語である。物理学における「entropy」は、熱力学の第二法則に関連し、物体やシステムのエネルギーがどれだけ散乱または無秩序であるかを示す指標である。一方、情報理論における「entropy」は、情報の量を測定する指標であり、情報がどれだけ予測不可能であるか、つまり不確定性がどれだけあるかを示す。「entropy」の発音・読み方
「entropy」の発音は、IPA表記では /ˈɛntrəpi/ となる。IPAのカタカナ読みでは「エントラピ」となる。日本人が発音するカタカナ英語では「エントロピー」と読む。「entropy」の定義を英語で解説
「entropy」は、物理学においては「A thermodynamic quantity representing the unavailability of a system's thermal energy for conversion into mechanical work」、情報理論においては「A measure of the uncertainty of a random variable」などと定義される。これらの定義は、それぞれ「システムの熱エネルギーが機械的仕事に変換できない程度を表す熱力学的量」、「ランダム変数の不確定性を測る指標」を意味する。「entropy」の類語
「entropy」の類語としては、「disorder」、「randomness」、「uncertainty」などがある。「disorder」は無秩序や混乱を、「randomness」はランダム性や偶然性を、「uncertainty」は不確定性をそれぞれ表す。「entropy」に関連する用語・表現
「entropy」に関連する用語としては、「thermodynamics」（熱力学）、「information theory」（情報理論）、「random variable」（ランダム変数）などがある。これらの用語は、「entropy」が物理学や情報理論の中で重要な役割を果たしていることを示している。「entropy」の例文
1. The entropy of the system increases when heat is added.（システムに熱が加えられると、エントロピーは増加する。）2. In information theory, entropy measures the uncertainty of a random variable.（情報理論において、エントロピーはランダム変数の不確定性を測る。）
3. The concept of entropy is central to the second law of thermodynamics.（エントロピーの概念は、熱力学の第二法則の中心である。）
4. The entropy of the universe is constantly increasing.（宇宙のエントロピーは常に増加している。）
5. Entropy is often associated with the amount of disorder in a system.（エントロピーはしばしば、システム内の無秩序の量と関連付けられる。）
6. The entropy of a perfect crystal at absolute zero is zero.（絶対零度の完全結晶のエントロピーはゼロである。）
7. In the context of data compression, entropy is a measure of the amount of information that is missing.（データ圧縮の文脈では、エントロピーは欠けている情報の量を測る指標である。）
8. The entropy of a closed system never decreases.（閉じたシステムのエントロピーは決して減少しない。）
9. The entropy of a system is a measure of its thermal stability.（システムのエントロピーは、その熱的安定性を測る指標である。）
10. The entropy of an isolated system always tends to a maximum.（孤立したシステムのエントロピーは常に最大に向かって傾く。）
エントロピー
エントロピーとは、物理学や情報理論における重要な概念である。物理学におけるエントロピーは、熱力学の第二法則に基づき、物質の乱雑さや不確定性を表す指標とされる。一方、情報理論におけるエントロピーは、情報の不確定性や予測困難さを数値化する手段として用いられる。 物理学の視点から見ると、エントロピーはエネルギーが均等に分布する状態を示す。例えば、ガス分子が容器内で均等に分布する状態は高エントロピー（乱雑さが高い）状態とされる。情報理論では、エントロピーは情報の量を表す。情報が一様に分布している（すべての事象が等しい確率で起こる）場合、エントロピーは最大となる。 これらの概念は、物理学や情報理論だけでなく、化学、生物学、統計学など、多くの学問領域で応用されている。エントロピーの理解は、自然現象の理解や予測、情報の効率的な伝達や処理に対する理解を深めるために有用である。
エントロピー【entropy】
エントロピー entropy
エントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/02/18 11:19 UTC 版)
| エントロピー entropy | |
|---|---|
| 量記号 | S |
| 次元 | T−2 L2 M Θ−1 |
| 種類 | スカラー |
| SI単位 | ジュール毎ケルビン (J/K) |
| CGS単位 | エルグ毎ケルビン (erg/K) |
| プランク単位 | ボルツマン定数 (k) |
| 熱力学 | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
 | ||||||||||||||||||
エントロピー（英: entropy）は、熱力学や統計力学、情報理論などにおいて定義される示量性の状態量のひとつである。 エントロピーはエネルギーを温度で割った次元を持ち、国際単位系における単位はジュール毎ケルビン（記号: J/K）である。エントロピーと同じ次元を持つ量として熱容量がある。エントロピーはフランスの物理学者サディ・カルノー（仏: Sadi Carnot）にちなんで一般に記号 S を用いて表される[1]。 熱力学では、適当に基準となる状態 O と、そのときの基準値 S0（J/K）を決めて、状態 A におけるエントロピー S(A) を、
| ||||||||||||||||||
| 氷のような結晶性の固体は、結晶構造に従って分子が配列される。
一方、水のような液体や水蒸気のような気体は、自由な分子配置をとれる。 このため、液体や気体が取り得る状態の数が固体に比べて大きく、エントロピーも大きい。 | ||||||||||||||||||
エントロピーに関する法則としてもう一つよく知られるものに、統計力学におけるボルツマンの原理がある。ボルツマンの原理は、ある巨視的な系のエントロピーを、その系が取り得る微視的な状態の数と関係づける。微視的な状態数が W のときのエントロピーは
エントロピーは、ドイツの物理学者ルドルフ・クラウジウスが、カルノーサイクルの研究をする中で、移動する熱を温度で割ったQ/Tという形で導入され、当初は熱力学における可逆性と不可逆性を研究するための概念であった。後に原子の実在性を強く確信したオーストリアの物理学者ルートヴィッヒ・ボルツマンによって、エントロピーが原子や分子の「乱雑さの尺度」であることが論証された。
クラウジウスは1854年にクラウジウスの不等式として熱力学第二法則を表現していたが、彼自身によって「エントロピー」の概念が明確化されるまでにはそれから11年を要した。不可逆サイクルでゼロとならないこの量をクラウジウスは仕事と熱の間の「変換」で補償されない量として、1865年の論文においてエントロピーと名付けた。エントロピーという言葉は「変換」を意味するギリシア語: τροπή（トロペー）に由来している。
その後ボルツマンやギブスによって統計力学的な取り扱いが始まった。情報理論（直接的には通信の理論）における情報量の定式化が行われたのは、クロード・シャノンの1948年『通信の数学的理論』である。シャノンは熱統計力学とは独立に定式化にたどり着き、エントロピーという命名はフォン・ノイマンの勧めによる、と言われることがあるが、シャノンはフォン・ノイマンの関与を否定している[8]。
エントロピーは、熱力学における断熱過程の不可逆性を特徴付ける量として位置付けられる。
エントロピーは平衡状態に対して定義される状態量（＝物理的な系の熱力学的な状態に実数を対応させる関数として定式化される物理量）であり、２つの状態A、Bに対し、AからBに断熱的に遷移[注 3]する事ができれば、これら２つの状態のエントロピー
熱力学におけるエントロピー
エントロピーの導出
上ではリーブとイングヴァソンによる数学的な導出を見たが、より物理的な考察によりエントロピーを導出する手法として以下のものがある：
なお教科書によっては、
というスタイルで記述されているものもある。
以下のエントロピーの説明は、クラウジウスが1865年の論文[22]の中で行ったものを基にしている[23]。クラウジウスは熱を用いてエントロピーを定義した。この方法による説明は多くの文献で採用されている[24]。
簡単な状況下での説明
