エントロピー
エントロピーとは、エントロピーの意味
エントロピーとは、不可逆性や不規則性を含む、特殊な状態を表すときに用いられる概念である。簡単にいうと、「混沌」を意味する。もともとは熱力学において、エントロピーという言葉は使われ始めた。すべての熱をともなう物体は、「高い方から低い方へと流れる」という方向性を持っている。しかし、逆に、低い方から高い方には流れない。逆の現象は起こらないので、「エントロピーが発生している」と表現することとなる。ただ、統計力学や情報理論におけるエントロピーは、熱力学とは微妙に異なる意味合いで用いられている場面が多い。統計力学では、所得格差を指し示すときにエントロピーが登場する。格差状態のない経済は「0」となり、格差が無秩序に広がっている場合は「エントロピーが大きい」と表現される。一方、情報理論の分野で、エントロピーは物事の可能性を示す指標として認識されてきた。可能性の低かった出来事が起こると、「情報エントロピーが大きくなる」などといわれる。
なお、エントロピーと似た言葉に「エンタルピー」がある。エントロピーとエンタルピーの違いを挙げるとすれば、エントロピーはあくまで、物事の方向性についての概念だという点である。そして、「どれだけ外部に対し、活発に働きかけるか」という概念がエンタルピーとなる。ある物体の熱が冷たい物体に伝わるとき、「エンタルピーが高い」と表現される。ただ、熱の伝わり方が分散していれば、「エントロピーが発生している」といわれる。
熱力学におけるエントロピー
熱力学において、熱は必ず温度の高いものから低いものへと伝わっていく。たとえば、熱くなった鉄に氷を乗せれば、氷が溶けるのは自明の理である。その逆はないので、熱の移動は「不可逆性をともなう現象」と定義される。この不可逆性がどれだけ強いのかを、数値で表すために発見された概念がエントロピーである。エントロピーは熱と内部エネルギー、行われる仕事を関数で表す。エントロピーが高くなればなるほど、「不可逆性が強い」ということである。ちなみに、可逆性のある現象については、エントロピーが「0」とされる。エントロピーがマイナスになることはない。エントロピー増大の法則
熱力学で頻繁に用いられる理論が、「エントロピー増大の法則」である。エントロピーは、物質が存在し続ける限り増大し続ける。外部から何らかの働きかけをしてやらない限り、エントロピーが減少することはない。言い換えれば、物事は秩序から始まり、自然に無秩序へと向かう可能性はあっても、さらなる秩序を目指しはしない。前述の、鉄と氷の関係でいえば、熱い鉄はずっと氷を溶かし続ける。仮に、氷が溶けなくなったとすれば、誰かが意図的に鉄を冷やした場合だけである。現象を放置している限り、鉄と氷の間にあるエントロピーは増大する。ちなみに、鉄で溶けた氷は蒸気になってしまっているので、そこから再び氷の形を取り戻するのは難しい。この状態で、熱力学に基づいてエントロピーを計算すれば、数値が高くなる。一方、水がお湯になった程度の現象では、エントロピーは比較的低いと考えられる。
統計力学におけるエントロピー
統計力学の分野でも、熱力学の応用でエントロピー増大の法則は用いられてきた。そもそも統計力学とは、ある現象における法則性の有無を解明しようという学問である。ただ、現象によっては明確な法則性を含んでおらず、混沌にしか見えないことも少なくない。こうした混沌性、不規則性を数値で表すために応用されたのが、熱力学のエントロピーである。そして、統計力学のエントロピーと大きく関係しているのが「小正準集団」である。統計データをグラフにしたとき、関知しにくいほど小さい集団が小正準集団である。小正準集団の多いグラフほど、その混沌性は高い。そして小正準集団の状態数から、はっきりと確認できる力学の潜在値を導き出す方法が「ボルツマンの公式」となる。原則的に、小正準集団が多くなれば、それだけエントロピーの値も大きくなると考えてよい。
また、統計力学にも「エントロピー増大の法則」は存在する。統計力学でもエントロピー増大の法則を応用できると証明する場合、よく使われるのが「気体の例」である。箱の中に気体を入れ、真ん中を板で仕切ったとする。このとき、右半分と左半分に気体が入っているのは明確である。すなわち、エントロピーの値も低くなる。しかし、板を取り外せば、「まだ右の気体と左の気体は変わらない」と言い切れなくなるのでエントロピーの値は高い。この例を考えれば、統計力学においても、現象を放置したほうがエントロピーは増大しやすいといえる。
情報理論におけるエントロピー
情報理論におけるエントロピーは、確率変数に含まれる情報量を表す指標であり、クロード・シャノンによって発見された。確率変数がさまざまな数値になれる状態だと、それだけ情報量も広がりを見せる。つまり、その場合の情報量は確率変数に含まれている不規則性を定義するといえる。ただし、シャノンの研究では、熱力学としてのエントロピー理論が情報理論の分野でも完全に応用できるのか、不透明なままだった。この点は後世の研究者たちの手によって解決されていくこととなる。情報理論とエントロピーの相性が非常によかったのは、「特殊な現象には大きな力が働いている」という観点が共通していたからである。たとえば、大量のデータをコンピュータで処理しようとすれば、当然、かかる時間は遅くなる。少量のデータを処理するケースの方が速い。すなわち、情報量が多いときほど、混沌性が発生しやすいのだといえる。こうした現象を数値化していくために、エントロピーは用いられてきた。
おおまかな解釈として、情報理論のエントロピーは「分からない部分の大きさ」を示している。分からない部分が多いほど、情報量は大きくなる可能性を秘めている。一方、分からない部分が少ない情報量は、大きくなる可能性が切り捨てられてしまっている。なお、ある出来事自体に含まれている情報量を「自己エントロピー」と呼ぶのに対し、平均情報量は単に「エントロピー」といわれることが多い。
entropy
「entropy」の意味・「entropy」とは
「entropy」は、物理学や情報理論において頻繁に使用される英単語である。物理学における「entropy」は、熱力学の第二法則に関連し、物体やシステムのエネルギーがどれだけ散乱または無秩序であるかを示す指標である。一方、情報理論における「entropy」は、情報の量を測定する指標であり、情報がどれだけ予測不可能であるか、つまり不確定性がどれだけあるかを示す。「entropy」の発音・読み方
「entropy」の発音は、IPA表記では /ˈɛntrəpi/ となる。IPAのカタカナ読みでは「エントラピ」となる。日本人が発音するカタカナ英語では「エントロピー」と読む。「entropy」の定義を英語で解説
「entropy」は、物理学においては「A thermodynamic quantity representing the unavailability of a system's thermal energy for conversion into mechanical work」、情報理論においては「A measure of the uncertainty of a random variable」などと定義される。これらの定義は、それぞれ「システムの熱エネルギーが機械的仕事に変換できない程度を表す熱力学的量」、「ランダム変数の不確定性を測る指標」を意味する。「entropy」の類語
「entropy」の類語としては、「disorder」、「randomness」、「uncertainty」などがある。「disorder」は無秩序や混乱を、「randomness」はランダム性や偶然性を、「uncertainty」は不確定性をそれぞれ表す。「entropy」に関連する用語・表現
「entropy」に関連する用語としては、「thermodynamics」(熱力学)、「information theory」(情報理論)、「random variable」(ランダム変数)などがある。これらの用語は、「entropy」が物理学や情報理論の中で重要な役割を果たしていることを示している。「entropy」の例文
1. The entropy of the system increases when heat is added.(システムに熱が加えられると、エントロピーは増加する。)2. In information theory, entropy measures the uncertainty of a random variable.(情報理論において、エントロピーはランダム変数の不確定性を測る。)
3. The concept of entropy is central to the second law of thermodynamics.(エントロピーの概念は、熱力学の第二法則の中心である。)
4. The entropy of the universe is constantly increasing.(宇宙のエントロピーは常に増加している。)
5. Entropy is often associated with the amount of disorder in a system.(エントロピーはしばしば、システム内の無秩序の量と関連付けられる。)
6. The entropy of a perfect crystal at absolute zero is zero.(絶対零度の完全結晶のエントロピーはゼロである。)
7. In the context of data compression, entropy is a measure of the amount of information that is missing.(データ圧縮の文脈では、エントロピーは欠けている情報の量を測る指標である。)
8. The entropy of a closed system never decreases.(閉じたシステムのエントロピーは決して減少しない。)
9. The entropy of a system is a measure of its thermal stability.(システムのエントロピーは、その熱的安定性を測る指標である。)
10. The entropy of an isolated system always tends to a maximum.(孤立したシステムのエントロピーは常に最大に向かって傾く。)
エントロピー
エントロピーとは、物理学や情報理論における重要な概念である。物理学におけるエントロピーは、熱力学の第二法則に基づき、物質の乱雑さや不確定性を表す指標とされる。一方、情報理論におけるエントロピーは、情報の不確定性や予測困難さを数値化する手段として用いられる。 物理学の視点から見ると、エントロピーはエネルギーが均等に分布する状態を示す。例えば、ガス分子が容器内で均等に分布する状態は高エントロピー(乱雑さが高い)状態とされる。情報理論では、エントロピーは情報の量を表す。情報が一様に分布している(すべての事象が等しい確率で起こる)場合、エントロピーは最大となる。 これらの概念は、物理学や情報理論だけでなく、化学、生物学、統計学など、多くの学問領域で応用されている。エントロピーの理解は、自然現象の理解や予測、情報の効率的な伝達や処理に対する理解を深めるために有用である。
エントロピー【entropy】
エントロピー entropy
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/07/26 00:51 UTC 版)
エントロピー(英: entropy)は、熱力学および統計力学において定義される示量性の状態量である。熱力学において断熱条件下での不可逆性を表す指標として導入され、統計力学において系の微視的な「乱雑さ」[注 1]を表す物理量という意味付けがなされた。統計力学での結果から、系から得られる情報に関係があることが指摘され、情報理論にも応用されるようになった。物理学者のエドウィン・ジェインズのようにむしろ物理学におけるエントロピーを情報理論の一応用とみなすべきだと主張する者[誰?]もいる。
- 1 エントロピーとは
- 2 エントロピーの概要
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/08/14 02:47 UTC 版)
離散確率変数のエントロピーは確率密度函数を引数とする汎函数 H [ p ( x ) ] = − ∑ x p ( x ) log p ( x ) {\displaystyle {\begin{aligned}H[p(x)]=-\sum _{x}p(x)\log p(x)\end{aligned}}} であり、従って ⟨ δ H δ p , ϕ ⟩ = ∑ x δ H [ p ( x ) ] δ p ( x ′ ) ϕ ( x ′ ) = d d ϵ H [ p ( x ) + ϵ ϕ ( x ) ] | ϵ = 0 = − d d ε ∑ x [ p ( x ) + ε ϕ ( x ) ] log [ p ( x ) + ε ϕ ( x ) ] | ε = 0 = − ∑ x [ 1 + log p ( x ) ] ϕ ( x ) = ⟨ − [ 1 + log p ( x ) ] , ϕ ⟩ . {\displaystyle {\begin{aligned}\left\langle {\frac {\delta H}{\delta p}},\phi \right\rangle &=\sum _{x}{\frac {\delta H[p(x)]}{\delta p(x')}}\,\phi (x')\\&=\left.{\frac {d}{d\epsilon }}H[p(x)+\epsilon \phi (x)]\right|_{\epsilon =0}\\&=-{\frac {d}{d\varepsilon }}\left.\sum _{x}[p(x)+\varepsilon \phi (x)]\log[p(x)+\varepsilon \phi (x)]\right|_{\varepsilon =0}\\&=\displaystyle -\sum _{x}[1+\log p(x)]\phi (x)\\&=\left\langle -[1+\log p(x)],\phi \right\rangle .\end{aligned}}} 即ち、 δ H δ p = − [ 1 + log p ( x ) ] {\displaystyle {\frac {\delta H}{\delta p}}=-[1+\log p(x)]} が成り立つ。
※この「エントロピー」の解説は、「汎函数微分」の解説の一部です。
「エントロピー」を含む「汎函数微分」の記事については、「汎函数微分」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/10/17 01:47 UTC 版)
エントロピーの変化 ΔS は F = U - TS の関係を使って求める。 Δ S = Δ U − Δ F T ex {\displaystyle \Delta S={\frac {\Delta U-\Delta F}{T_{\text{ex}}}}} あるいは G = H - TS の関係を使って求める。 Δ S = Δ H − Δ G T ex {\displaystyle \Delta S={\frac {\Delta H-\Delta G}{T_{\text{ex}}}}} マクスウェルの関係式を使って求めることもできる。 Δ S = ∫ state A state B d S = ∫ V A V B ( ∂ S ∂ V ) T = T ex d V = ∫ V A V B ( ∂ P ∂ T ) V d V {\displaystyle \Delta S=\int _{\text{state A}}^{\text{state B}}dS=\int _{V_{\text{A}}}^{V_{\text{B}}}\left({\frac {\partial S}{\partial V}}\right)_{T=T_{\text{ex}}}dV=\int _{V_{\text{A}}}^{V_{\text{B}}}\left({\frac {\partial P}{\partial T}}\right)_{V}dV} Δ S = ∫ state A state B d S = ∫ P A P B ( ∂ S ∂ P ) T = T ex d P = − ∫ P A P B ( ∂ V ∂ T ) P d P {\displaystyle \Delta S=\int _{\text{state A}}^{\text{state B}}dS=\int _{P_{\text{A}}}^{P_{\text{B}}}\left({\frac {\partial S}{\partial P}}\right)_{T=T_{\text{ex}}}dP=-\int _{P_{\text{A}}}^{P_{\text{B}}}\left({\frac {\partial V}{\partial T}}\right)_{P}dP}
※この「エントロピー」の解説は、「等温過程」の解説の一部です。
「エントロピー」を含む「等温過程」の記事については、「等温過程」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/02/23 01:21 UTC 版)
「ルドルフ・クラウジウス」の記事における「エントロピー」の解説
クラウジウスは1865年の論文で、Sを d S = d Q T {\displaystyle dS={\frac {dQ}{T}}} と定義した。 クラウジウスは、カルノーサイクルの研究をする中で、このdQ/Tと言う量を積分すると、カルノーサイクルを1周した際、この積分の総和がゼロに成る事に気が付いた。そこで、クラウジウスは、このdQ/Tと言う量に注目したのであった。クラウジウスは、上式の様に、このdQ/TをdSと言う新しい量として表し、このdSを積分した量であるSをエントロピーと呼んだ。そして、この新しい量Sの変化dSが、熱現象の方向を決定する事に気が付いたのであった。 重要な事は、クラウジウスが、原子論に関心を持ちつつも、原子の実在を仮定しない段階でエントロピーと言う関数の存在に注目した事である。即ち、クラウジウスがこのエントロピーと言う関数に注目、発見した段階において、エントロピーは、原子の実在性を全く前提としておらず、啓蒙書などで良く使われる「デタラメさの尺度」と言った意味は全く無かった事を忘れてはならない。クラウジウスがカルノーサイクルの検討から発見した関数エントロピーは、この時点では、あくまでも、熱機関の可逆性の指標だったのである。 彼が発表したエントロピーに関する考えは、当時、多くの科学者より反論された。しかし、ジェームズ・クラーク・マクスウェルによって強く支持され、更に、ボルツマンによって、原子の空間中での分布の仕方を表す量、即ち、「デタラメさの尺度」である事が証明されたのであった(ボルツマンの項を参照の事) クラウジウスは、熱力学第一・第二法則を以下の表現で表した。 宇宙のエネルギーは一定である 宇宙のエントロピーは最大値に向かう
※この「エントロピー」の解説は、「ルドルフ・クラウジウス」の解説の一部です。
「エントロピー」を含む「ルドルフ・クラウジウス」の記事については、「ルドルフ・クラウジウス」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/02/14 14:38 UTC 版)
ベルヌーイ試行のエントロピーを成功確率の関数 H b ( p ) {\displaystyle H_{\mbox{b}}(p)} として表したもの。2値エントロピー関数と呼ばれる。エントロピーは1ビットの成功確率が1/2であるときに最大となる。例えば細工のないコイントスなど。 離散確率変数 M {\displaystyle M} のエントロピー H {\displaystyle H} とは、 M {\displaystyle M} の値の不確かさの尺度である。ここでの「ビット」の定義は重要である。例えば、通常の感覚(0 と 1)で 1000 ビットを転送するとしよう。事前にそのビット群の内容(0 と 1 の送信順序)がわかっている場合、論理的には通信によって得られる情報はゼロである。逆に個々のビットが 0 なのか 1 なのか五分五分の確率であった場合(かつビット間に相互の関連が存在しない場合)、1000 ビットで得られる情報は最大となる。これらの中間で、情報の定量化は次のように表される。 M {\displaystyle \mathbb {M} \,} を確率変数 M {\displaystyle M} の発するメッセージ m {\displaystyle m} の集合とし、 p ( m ) = P r ( M = m ) {\displaystyle p(m)=Pr(M=m)} としたとき、 M {\displaystyle M} のエントロピーは次のようになる(単位はビット)。 H ( M ) = E M [ − log p ( m ) ] = − ∑ m ∈ M p ( m ) log p ( m ) {\displaystyle H(M)=\mathbb {E} _{M}[-\log p(m)]=-\sum _{m\in \mathbb {M} }p(m)\log p(m)} エントロピーの重要な特徴として、メッセージ空間内の全メッセージが全て同じ確率でありうる場合に(つまり最も予測が難しい場合)、エントロピー値が最大の H ( M ) = log | M | {\displaystyle H(M)=\log |\mathbb {M} |} となる。 関数 H を確率分布で表すと次のようになる: H ( p ) = − ∑ i = 1 k p ( i ) log p ( i ) , {\displaystyle H(p)=-\sum _{i=1}^{k}p(i)\log p(i),} ここで ∑ i = 1 k p ( i ) = 1 {\displaystyle \sum _{i=1}^{k}p(i)=1} これの重要かつ特殊な場合を2値エントロピー関数と呼び、次のようになる: H b ( p ) = H ( p , 1 − p ) = − p log p − ( 1 − p ) log ( 1 − p ) {\displaystyle H_{\mbox{b}}(p)=H(p,1-p)=-p\log p-(1-p)\log(1-p)\,} 2つの離散確率変数 X {\displaystyle X} と Y {\displaystyle Y} の結合エントロピーとは、単にその組 ( X , Y ) {\displaystyle (X,Y)} のエントロピーである。例えば、 ( X , Y ) {\displaystyle (X,Y)} がチェスの駒の位置を表すとする。 X {\displaystyle X} が行、 Y {\displaystyle Y} が列を表すとすると、その結合エントロピーとは、駒の位置のエントロピーを表す。数学的には次のようになる。 H ( X , Y ) = E X , Y [ − log p ( x , y ) ] = − ∑ x , y p ( x , y ) log p ( x , y ) {\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,} X {\displaystyle X} と Y {\displaystyle Y} が独立なら、結合エントロピーは単純に個々のエントロピーの総和となる。類似の概念として交差エントロピーがあるが、違うものである。 Y = y {\displaystyle Y=y} のときの X {\displaystyle X} の条件付きエントロピーとは、 Y = y {\displaystyle Y=y} が既知であるときの X {\displaystyle X} のエントロピーである。前述の例で言えば、列が決まっているときの駒の行位置のエントロピーとなる。 Y = y {\displaystyle Y=y} のときの X {\displaystyle X} の条件付きエントロピーは次のようになる: H ( X | y ) = E X | Y [ − log p ( x | y ) ] = − ∑ x ∈ X p ( x | y ) log p ( x | y ) {\displaystyle H(X|y)=\mathbb {E} _{X|Y}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)} ここで p ( x | y ) {\displaystyle p(x|y)} は、ある y {\displaystyle y} に関する x {\displaystyle x} の条件付き確率である。 確率変数 Y {\displaystyle Y} における X {\displaystyle X} の条件付きエントロピーとは、 Y {\displaystyle Y} についての平均条件付きエントロピーであり、次のようになる: H ( X | Y ) = E Y { H ( X | y ) } = − ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log p ( x | y ) {\displaystyle H(X|Y)=\mathbb {E} _{Y}\{H(X|y)\}=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)} = − ∑ x , y p ( x , y ) log p ( x , y ) p ( y ) {\displaystyle =-\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(y)}}} = ∑ x , y p ( x , y ) log p ( y ) p ( x , y ) {\displaystyle =\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}} これを Y {\displaystyle Y} に関する X {\displaystyle X} のあいまい度とも呼ぶ。このように条件付きエントロピーには、確率変数についての定義と、それが特定の値の場合の定義があるので、混同しないこと。これらのエントロピーには次の関係が成り立つ。 H ( X | Y ) = H ( X , Y ) − H ( Y ) {\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}
※この「エントロピー」の解説は、「情報理論」の解説の一部です。
「エントロピー」を含む「情報理論」の記事については、「情報理論」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/02/19 06:14 UTC 版)
狭義の理想気体のエントロピー S は S = n R ln α T c V n {\displaystyle S=nR\ln \alpha {\frac {T^{c}V}{n}}} となる。ここで α は物質固有の定数である。狭義の理想気体のエントロピーの形は、熱力学第三法則を満たさない。 半理想気体のエントロピー S は S = n R ( ∫ T 0 T C V , m ( T ′ ) R T ′ d T ′ + ln α 0 V n ) {\displaystyle S=nR\left(\int _{T_{0}}^{T}{\frac {C_{V,{\text{m}}}(T')}{RT'}}\,\mathrm {d} T'+\ln \alpha _{0}{\frac {V}{n}}\right)} となる。ここで α0 は物質固有の定数である。半理想気体の CV, m が 3R/2 を下回ることはないので、半理想気体のエントロピーの形もまた、熱力学第三法則を満たさない。 準静的な断熱過程においては、エントロピーが一定となる。このとき T c V = const. {\displaystyle T^{c}V={\text{const.}}} p V γ = const. {\displaystyle pV^{\gamma }={\text{const.}}} の関係がある。これらはポアソンの法則と呼ばれる。狭義の理想気体では、ポアソンの法則が厳密に成り立つ。半理想気体では、ポアソンの法則が近似的に成り立つ。
※この「エントロピー」の解説は、「理想気体」の解説の一部です。
「エントロピー」を含む「理想気体」の記事については、「理想気体」の概要を参照ください。
エントロピー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/06/16 07:23 UTC 版)
詳細は「エントロピー」を参照 1856年、ドイツの物理学者ルドルフ・クラウジウスが熱力学第二法則を定義し、そこで熱 Q と温度 T から次のような値を考えた。 Q T {\displaystyle {}{\frac {Q}{T}}} そして1865年、この比をエントロピーと名付け、S と表記するようにした。 Δ S = Q T {\displaystyle \Delta S={\frac {Q}{T}}} 従って、熱の不完全微分 δQ は TdS という完全微分で定義されることになる。 δ Q = T d S {\displaystyle \delta Q=TdS\,} 言い換えれば、エントロピー関数 S は熱力学的系の境界を通る熱流の定量化と測定を容易にする。
※この「エントロピー」の解説は、「熱」の解説の一部です。
「エントロピー」を含む「熱」の記事については、「熱」の概要を参照ください。
「エントロピー」の例文・使い方・用例・文例
エントロピーと同じ種類の言葉
物理量に関連する言葉 | エントロピー(エントロピ) ベクトル量 運動量(うんどうりょう) |
エントロピーに関連する言葉 | エントロピー(エントロピ) 結合エントロピー 標準モルエントロピー クロスエントロピー |
- エントロピーのページへのリンク