エントロピー – Wikipedia

エントロピー(英: entropy)は、熱力学および統計力学において定義される示量性の状態量である。熱力学において断熱条件下での不可逆性を表す指標として導入され、統計力学において系の微視的な「乱雑さ」[注 1]を表す物理量という意味付けがなされた。統計力学での結果から、系から得られる情報に関係があることが指摘され、情報理論にも応用されるようになった。物理学者のエドウィン・ジェインズ英語版のようにむしろ物理学におけるエントロピーを情報理論の一応用とみなすべきだと主張する者もいる。

エントロピーはエネルギーを温度で割った次元を持ち、SIにおける単位はジュール毎ケルビン(記号: J/K)である。エントロピーと同じ次元を持つ量として熱容量がある。エントロピーはサディ・カルノーにちなんで一般に記号 S を用いて表される。

エントロピーは、熱力学、統計力学、情報理論など様々な分野で使われている。しかし分野によって、その定義や意味付けは異なる。よってエントロピーを一言で説明することは難しいが、大まかに「何をすることができて、何をすることができないかを、その大小で表すような量」であると言える。

エントロピーに関わる有名な性質として、熱力学におけるエントロピー増大則がある。エントロピー増大則は、断熱条件の下で系がある平衡状態から別の平衡状態へ移るとき、遷移の前後で系のエントロピーが減少せず、殆ど必ず増加することを主張する。断熱条件の下で系の平衡状態が A から B への遷移が可能な場合、系のそれぞれの平衡状態におけるエントロピーの間には

S(A)≤S(B){displaystyle S({text{A}})leq S({text{B}})}

の関係が成り立つ。等号が成り立ち、状態を移る前後でエントロピーが変化しない場合には、逆向きの B から A への遷移が可能である。逆向きの遷移が可能なのは準静的な断熱過程だけである。逆向きの断熱過程が存在しないならば、状態の遷移に伴ってエントロピーが必ず増加する。
エントロピー増大則は熱力学の特徴である可逆性と不可逆性を特徴付ける法則であり、エントロピーは熱力学における最も基本的な量である。

固体の模式図 液体や気体の模式図
氷のような結晶性の固体は、結晶構造に従って分子が配列される。

一方、水のような液体や水蒸気のような気体は、自由な分子配置をとれる。
このため、液体や気体が取り得る状態の数が固体に比べて大きく、エントロピーも大きい。

エントロピーに関する法則としてもう一つよく知られるものに、統計力学におけるボルツマンの原理がある。ボルツマンの原理は、ある巨視的な系のエントロピーを、その系が取り得る微視的な状態の数と関係づける。微視的な状態数が W のときのエントロピーは

S=kln⁡W{displaystyle S=kln W}

で表される。比例係数 k はボルツマン定数と呼ばれる[2]。系の巨視的な状態は、系のエネルギーや体積、物質量などの巨視的な物理量の組によって定められるが、それらの巨視的な物理量を定めたとしても系の微視的状態は完全には定まらず、いくつかの状態を取り得る。状態数とは巨視的な拘束条件の下で可能な微視的状態の数を見積もったものである。ボルツマンの原理から、可能な微視的状態の数が増えるほどにエントロピーが大きいことが解る(対数は狭義の単調増加関数である)。逆に、微視的状態が確定する[注 2]W = 1 の状況ではエントロピーが S = 0 となる。可能な微視的状態の数が増えるということは、巨視的な情報しか知り得ないとすれば、それだけ微視的世界に関する情報が欠如していると捉えることができ、この意味でボルツマンの原理はエントロピーの微視的乱雑さを表す指標としての性格を示している。

ルドルフ・クラウジウス

エントロピーは、ドイツの物理学者ルドルフ・クラウジウスが、カルノーサイクルの研究をする中で、移動する熱を温度で割ったQ/Tという形で導入され、当初は熱力学における可逆性と不可逆性を研究するための概念であった。後に原子の実在性を強く確信したオーストリアの物理学者ルートヴィッヒ・ボルツマンによって、エントロピーが原子や分子の「乱雑さの尺度」であることが論証された。

クラウジウスは1854年にクラウジウスの不等式として熱力学第二法則を表現していたが、彼自身によって「エントロピー」の概念が明確化されるまでにはそれから11年を要した。不可逆サイクルでゼロとならないこの量をクラウジウスは仕事と熱の間の「変換」で補償されない量として、1865年の論文においてエントロピーと名付けた。エントロピーという言葉は「変換」を意味するギリシア語: τροπή(トロペー)に由来している。

その後ボルツマンやギブスによって統計力学的な取り扱いが始まった。情報理論(直接的には通信の理論)における情報量の定式化が行われたのは、クロード・シャノンの1948年『通信の数学的理論』である。シャノンは熱統計力学とは独立に定式化にたどり着き、エントロピーという命名はフォン・ノイマンの勧めによる、と言われることがあるが、シャノンはフォン・ノイマンの関与を否定している[3]

熱力学におけるエントロピー[編集]

熱エントロピーの説明用の図。

エントロピーは、熱力学における断熱過程の不可逆性を特徴付ける量として位置付けられる。熱力学では、系のすべての熱力学的な性質が、一つの関数によってまとめて表現される。そのような関数は完全な熱力学関数と呼ばれる。エントロピーは完全な熱力学関数の一つでもある。

エントロピーの定義[編集]

エントロピーの定義の方法には、いくつかのスタイルがある。

以下のエントロピーの説明は、クラウジウスが1865年の論文の中で行ったものを基にしている。クラウジウスは熱を用いてエントロピーを定義した。この方法による説明は多くの文献で採用されている。

簡単な状況下での説明[編集]

温度 T1 の吸熱源から Q1 の熱を得て、温度 T2 の排熱源に Q2 の熱を捨てる熱機関(サイクル)を考える。この熱機関が外部に行う仕事はエネルギー保存則から W = Q1Q2 であり、熱機関の熱効率 η

η=WQ1=1−Q2Q1{displaystyle eta ={frac {W}{Q_{1}}}=1-{frac {Q_{2}}{Q_{1}}}}

で与えられる。
カルノーの定理によれば、熱機関の熱効率には二つの熱源の温度によって決まる上限の存在が導かれ、その上限は

η≤ηmax=1−T2T1{displaystyle eta leq eta _{mathrm {max} }=1-{frac {T_{2}}{T_{1}}}}

で表される[注 3]
これら2本の式を整理することで、

Q1T1≤Q2T2{displaystyle {frac {Q_{1}}{T_{1}}}leq {frac {Q_{2}}{T_{2}}}}

(*
)

が成立することが分かる。

可逆な熱機関の熱効率は ηmax と等しく、このため可逆な熱機関では(*) 式は等号

Q1T1=Q2T2{displaystyle {frac {Q_{1}}{T_{1}}}={frac {Q_{2}}{T_{2}}}}

(
)

が成り立つ。すなわち、可逆な過程で高熱源に接している状態から低熱源に接している状態に変化させたとしても Q/T という量は不変となる。クラウジウスはこの不変量をエントロピーと呼んだ。

可逆でない熱機関は熱効率が ηmax よりも悪いことが知られており、このため可逆でない熱機関では(*) 式は等号ではなく不等式

Q1T1<Q2T2{displaystyle {frac {Q_{1}}{T_{1}}}

が成り立つ。すなわち、可逆でない過程で高熱源で熱を得た後、低熱源でその熱を捨てるとエントロピーは増大する(エントロピー増大則)。

一般の場合[編集]

上では話を簡単にするため、高熱源と低熱源の2つしか熱源がない場合を考えたが、より一般にn個の熱源がある状況を考えると(*) 式

∑i=1nQiTi≤0{displaystyle sum _{i=1}^{n}{frac {Q_{i}}{T_{i}}}leq 0}

となる(クラウジウスの不等式)。ただし上の不等式では(*) 式と違いQiは全て温度Tiの熱源から得る熱であり、熱を捨てる場合は負の値としている。

可逆なサイクルでは等号

∑i=1nQiTi=0{displaystyle sum _{i=1}^{n}{frac {Q_{i}}{T_{i}}}=0}

が成り立ち、この式でn→∞とすると、

∮d′QT=0{displaystyle oint {frac {d’Q}{T}}=0}

となる[注 4] 。状態Aから状態Bへと移る任意の可逆過程C,C’を考え、CCの逆過程とする。このとき、C’Cを連結させた過程CCは可逆なサイクルとなり

∮C′−Cd′QT=∫C′d′QT+∫−Cd′QT=∫C′d′QT−∫Cd′QT=0{displaystyle oint _{C’-C}{frac {d’Q}{T}}=int _{C’}{frac {d’Q}{T}}+int _{-C}{frac {d’Q}{T}}=int _{C’}{frac {d’Q}{T}}-int _{C}{frac {d’Q}{T}}=0}

∫C′d′QT=∫Cd′QT{displaystyle int _{C’}{frac {d’Q}{T}}=int _{C}{frac {d’Q}{T}}}

(**
)

が成り立つ。つまり、この積分の値は始状態と終状態が同じならば可逆過程の選び方によらない。

そこで、適当に基準となる状態Oと、そのときの基準値S0を決めると、状態AにおけるエントロピーS(A)

S(A)=S0+∫Γ(A)d′QT{displaystyle S({text{A}})=S_{0}+int _{Gamma ({text{A}})}{frac {d’Q}{T}}}

と定義することができる。ここでΓ(A)は基準状態Oから状態Aへと変化する可逆な過程である。(**) 式からエントロピーの定義は可逆過程Γ(A)の選び方によらない。

基準状態Oから状態Aへと移る可逆過程Γ(A)と、状態Aから状態Bへと移るある可逆過程Cを連結させた過程Γ(A)+Cは基準状態Oから状態Bへと移る可逆過程である。したがって、

∫Γ(A)d′QT+∫Cd′QT=∫Γ(A)+Cd′QT=∫Γ(B)d′QT{displaystyle int _{Gamma ({text{A}})}{frac {d’Q}{T}}+int _{C}{frac {d’Q}{T}}=int _{Gamma (A)+C}{frac {d’Q}{T}}=int _{Gamma ({text{B}})}{frac {d’Q}{T}}}

あるいは

ΔS=S(B)−S(A)=∫Cd′QT{displaystyle Delta S=S({text{B}})-S({text{A}})=int _{C}{frac {d’Q}{T}}}

となる。

エントロピー増大則[編集]

状態Aから状態Bへと移る任意の過程Xと、同じく状態Aから状態Bへと移る可逆過程Cを考え、CCの逆過程とする。このときXCを連結させた過程XCはサイクルとなる。

このサイクルについて、導出と同様にクラウジウスの不等式から

∮X−Cd′QTex=∫Xd′QTex+∫−Cd′QTex=∫Xd′QTex−∫Cd′QTex≤0{displaystyle oint _{X-C}{frac {d’Q}{T_{text{ex}}}}=int _{X}{frac {d’Q}{T_{text{ex}}}}+int _{-C}{frac {d’Q}{T_{text{ex}}}}=int _{X}{frac {d’Q}{T_{text{ex}}}}-int _{C}{frac {d’Q}{T_{text{ex}}}}leq 0}

∫Xd′QTex≤∫Cd′QTex{displaystyle int _{X}{frac {d’Q}{T_{text{ex}}}}leq int _{C}{frac {d’Q}{T_{text{ex}}}}}

が導かれる。ここでTexは熱源の温度であり、一般には系の温度Tとは一致しない。しかし、可逆過程Cの間においては、系は常に平衡状態にあるとみなされるから、熱源の温度Texは系の温度Tに一致する。したがって

∫Xd′QTex≤∫Cd′QT=ΔS{displaystyle int _{X}{frac {d’Q}{T_{text{ex}}}}leq int _{C}{frac {d’Q}{T}}=Delta S}

となる。

特に断熱系(外から仕事が加えられても良い)においてはdQ = 0なので、

ΔS≥0{displaystyle Delta Sgeq 0}

という結果が得られる。これがエントロピー増大則である。熱力学第二法則と同値なクラウジウスの不等式からこれが求められたことにより、熱力学第一法則がエネルギー保存則と対応するのになぞらえて熱力学第二法則とエントロピー増大則を対応させることもある。なお、この導出から明らかなように、熱の出入りがある系ではエントロピーが減少することも当然起こり得る。

エントロピーが増加するために、熱エネルギーのすべてを他のエネルギーに変換することはできない。したがって、熱エネルギーは低品質のエネルギーとも呼ばれる。

完全な熱力学関数[編集]

熱力学第一法則から、ある熱力学過程の間に系が外部から得る熱Qは、その過程の前後での系の内部エネルギーUの変化ΔUと、その過程の間に系が外部になす仕事Wにより

Q=ΔU+W{displaystyle Q=Delta U+W}

と表すことができる。無限小の変化で考えると

d′Q=dU+d′W{displaystyle d’Q=dU+d’W}

となる[注 4]。クラウジウスの不等式とエントロピーの定義式から無限小変化に対して

dS≥d′QTex{displaystyle dSgeq {frac {d’Q}{T_{text{ex}}}}}

となる。系が体積Vの変化dVを通してのみ外部に仕事をなす場合には、外部の圧力をpexとして

d′W=pexdV{displaystyle d’W=p_{text{ex}}dV}

となる。これらをまとめると

dS≥1Tex(dU+pexdV){displaystyle dSgeq {frac {1}{T_{text{ex}}}}(dU+p_{text{ex}}dV)}

が成り立つことがわかる。可逆過程では等号

dS=1Tex(dU+pexdV){displaystyle dS={frac {1}{T_{text{ex}}}}(dU+p_{text{ex}}dV)}

が成り立ち、さらに準静的過程では系と外部が熱平衡および力学的平衡にあるので、外部の温度Texは系の温度Tに等しく、外部の圧力pexは系の圧力pに等しい。すなわち、(U,V)で表される平衡状態から(U+dU,V+dV)で表される平衡状態への準静的な無限小変化では

dS=1T(dU+pdV){displaystyle dS={frac {1}{T}}(dU+pdV)}

となる。

系と外部の間で物質の出入りがなく、外場の作用も受けていないときには、平衡状態にある系の温度と圧力は、(U,V)の関数として一意に定まることが経験的に知られている。系の温度と圧力がそれぞれT(U,V)p(U,V)で表されるとき、不可逆過程においても、(U,V)で表される平衡状態から(U+dU,V+dV)で表される平衡状態への無限小変化で、準静的過程と同じ式

dS=1T(U,V)(dU+p(U,V)dV){displaystyle dS={frac {1}{T(U,V)}}(dU+p(U,V)dV)}

が成り立つ。なぜなら、左辺のdSが状態量Sの変化量なので、右辺もまた途中の過程に依らないからである。この式をS(U,V)の全微分dSと比べると、直ちに偏微分

(∂S∂U)V=1T, (∂S∂V)U=pT{displaystyle left({frac {partial S}{partial U}}right)_{V}={frac {1}{T}},~left({frac {partial S}{partial V}}right)_{U}={frac {p}{T}}}

が得られる。
特に前者は、統計力学において熱力学温度Tを導入する際に用いられる関係式である(エントロピーの存在を公理的に与える論理展開の場合は、熱力学においてもこの式が熱力学温度の定義式である)。

系と外部の間で物質の出入りがなく、外場の作用も受けていないとき、T(U,V)p(U,V)の両方の関数形が知られていれば、これら二つの関数から、熱容量やエントロピーなどの、系の全ての状態量を計算することができる。しかし、どちらか一方の関数形が不明な場合は、これが不可能になる。例えば、p(U,V)だけから系の熱容量を計算することは不可能である。また、T(U,V)だけからでは、体積変化に伴うエントロピー変化を求めることはできない。一方、S(U,V)が知られていれば、この関数ひとつだけから、系の全ての状態量を計算することができる。すなわち、系と外部の間で物質の出入りがなく、外場の作用も受けていないとき、S(U,V)は完全な熱力学関数となる。

エントロピーは内部エネルギーや体積などの示量性状態量を変数に持つとき、完全な熱力学関数となる。系が化学反応など物質の増減によってエネルギーの移動が生じるときは

dS=1T(dU+pdV−μdN){displaystyle dS={frac {1}{T}}(dU+pdV-mu dN)}

となる。
ここで、Nは物質量、μは化学ポテンシャルである。さらに他の示量性状態量の変化dXによるエネルギーの移動があるときは、それに対応する示強性状態量xとして

dS=1T(dU+pdV−μdN−xdX){displaystyle dS={frac {1}{T}}(dU+pdV-mu dN-xdX)}

となる。
Xxの組としては

などがある。

温度による表示[編集]

エントロピーを完全な熱力学関数として用いる場合の系の平衡状態を表す変数は内部エネルギーと体積などの示量性変数である。しかし、温度は測定が容易なため、系の平衡状態を表す変数として温度を選ぶ場合がある。
閉鎖系で物質量の変化を考えない場合に、温度 T と体積 V の関数としてのエントロピー S(T,V) の温度 T による偏微分は

(∂S∂T)V=1T(∂U∂T)V=CV(T,V)T{displaystyle left({frac {partial S}{partial T}}right)_{V}={frac {1}{T}}left({frac {partial U}{partial T}}right)_{V}={frac {C_{V}(T,V)}{T}}}

で与えられる。ここで CV 定積熱容量である。
また、エントロピー S(T,V) の体積 V による偏微分はMaxwellの関係式より

(∂S∂V)T=(∂p∂T)V{displaystyle left({frac {partial S}{partial V}}right)_{T}=left({frac {partial p}{partial T}}right)_{V}}

で与えられる。これは熱膨張係数 α と等温圧縮率 κT で表せば

(∂S∂V)T=ακT{displaystyle left({frac {partial S}{partial V}}right)_{T}={frac {alpha }{kappa _{T}}}}

となる。

従って、TV 表示によるエントロピーの全微分は

dS=CVTdT+(∂p∂T)VdV=CVTdT+ακTdV{displaystyle {begin{aligned}dS&={frac {C_{V}}{T}},dT+left({frac {partial p}{partial T}}right)_{V}dV\&={frac {C_{V}}{T}},dT+{frac {alpha }{kappa _{T}}},dV\end{aligned}}}

となる。

さらに体積に変えて圧力 p を変数に用いれば、体積 V(T,p) の全微分が

dV=V(αdT−κTdp){displaystyle dV=V(alpha ,dT-kappa _{T}dp)}

であることを用いれば、Tp 表示によるエントロピーの全微分は

dS=CpTdT−Vαdp{displaystyle dS={frac {C_{p}}{T}},dT-Valpha ,dp}

となる。

気体のエントロピー[編集]

低圧領域において実在気体の状態方程式をビリアル展開

Vm(T,p)=RTp+BV(T)+O(p1){displaystyle V_{text{m}}(T,p)={frac {RT}{p}}+B_{V}(T)+O(p^{1})}

の形で書くと、モルエントロピー Sm の圧力による偏微分は、マクスウェルの関係式より

(∂Sm∂p)T=−(∂Vm∂T)p=−Rp−dBVdT+O(p1){displaystyle left({frac {partial S_{text{m}}}{partial p}}right)_{T}=-left({frac {partial V_{text{m}}}{partial T}}right)_{p}=-{frac {R}{p}}-{frac {dB_{V}}{dT}}+O(p^{1})}

となる。従って、低圧領域においてモルエントロピーは

Sm(T,p)=Sm∘(T)−Rln⁡pp∘−pdBVdT+O(p2){displaystyle S_{text{m}}(T,p)=S_{text{m}}^{circ }(T)-Rln {frac {p}{p^{circ }}}-p,{frac {dB_{V}}{dT}}+O(p^{2})}

で表される。ここで

Sm∘(T)=limp→0{Sm(T,p)+Rln⁡pp∘}{displaystyle S_{text{m}}^{circ }(T)=lim _{pto 0}left{S_{text{m}}(T,p)+Rln {frac {p}{p^{circ }}}right}}

で定義される S°m(T) は、温度 T における標準モルエントロピーであり、この実在気体が理想気体の状態方程式に従うと仮定した時の、圧力 p°におけるモルエントロピーに相当する。

リーブとイングヴァソンによる再構築[編集]

1999年にエリオット・リーブ英語版ヤコブ・イングヴァソン英語版は、「断熱的到達可能性」という概念を導入して熱力学を再構築した。「状態Yが状態Xから断熱操作で到達可能である」ことを

X≺Y{displaystyle Xprec Y}

と表記し、この

≺{displaystyle prec }

の性質からエントロピーの存在と一意性を示した。
この公理的に基礎付けされた熱力学によって、クラウジウスの方法で用いられていた「熱い・冷たい」「熱」のような直感的で無定義な概念を基礎から排除した。温度は無定義な量ではなくエントロピーから導出される。このリーブとイングヴァソンによる再構築以来、他にも熱力学を再構築する試みがいくつか行われている[13]

統計力学におけるエントロピー[編集]

ある巨視的状態(例えば、圧力と体積を指定した状態)に対して、それを与える微視的状態(例えば、各分子の位置および運動量)は多数存在すると考えられる。そこで仮想的にアンサンブルを考える。つまり、ある巨視的状態に対応する微視的状態の集合を考え、その各々の元が与えられた巨視的状態の下で実現する確率分布を与えることにする。

系の微視的状態(例えば量子系であればエネルギー固有状態)ωを考え、微視的状態ωが実現される確率分布p(ω)が与えられているとき、ボルツマン定数をkとして、エントロピーS

S=k⟨ln⁡1p(ω)⟩=−k∑ωp(ω)ln⁡p(ω){displaystyle S=kleftlangle ln {frac {1}{p(omega )}}rightrangle =-ksum _{omega }p(omega )ln p(omega )}

により定義する[注 5]。これはギブズエントロピー(英: Gibbs entropy)とも呼ばれる。

すなわち、統計力学におけるエントロピーは情報理論におけるエントロピー(無次元量)と定数倍を除いて一致する[注 6]

小正準集団[編集]

例えば、エネルギーEの状態にある孤立系に対応して、小正準集団を用いるとする。すなわち、微視的状態ωにあるときのエネルギーをE(ω)としたときに、系のエネルギーEにある微視的状態のみに有限の確率を等しく

p(ω)={1/Ω(E)if E(ω)=E0if E(ω)≠E{displaystyle p(omega )={begin{cases}1/Omega (E)&{text{if }}E(omega )=E\0&{text{if }}E(omega )neq Eend{cases}}}

として与える[注 7]等重率の原理)。ここで、規格化定数Ω(E)状態数と呼ばれ、系がエネルギーEにあるときに実現しうる微視的状態の数を意味する。このとき、エントロピーはボルツマンの公式としてよく知られる

S(E)=kln⁡Ω(E){displaystyle S(E)=kln Omega (E)}

で与えられる。

熱力学との整合性[編集]

このように小正準集団により与えられたエントロピーが、先に見た熱力学のエントロピーと整合していることを確認する。エネルギーE、小正準集団によるエントロピーSの系を、透熱壁を入れることにより 2 つの部分系に分離する。それぞれの系にエネルギーがE1, E2と分配されるとしよう。この場合、系全体の状態数か、あるいはその対数であるエントロピーが最大になるように部分系のエネルギーが決定されると考えるのは自然であろう。系全体の状態数は 2 つの部分系の状態数の積であり、すなわち系全体のエントロピーSは 2 つの部分系のエントロピーS1, S2の和である。条件E2 = EE1の下で全体のエントロピーを最大とする条件を考えると、

dSdE1=dS1dE1+dS2dE1=dS1dE1−dS2dE2=0{displaystyle {frac {dS}{dE_{1}}}={frac {dS_{1}}{dE_{1}}}+{frac {dS_{2}}{dE_{1}}}={frac {dS_{1}}{dE_{1}}}-{frac {dS_{2}}{dE_{2}}}=0}

すなわち

dS1dE1=dS2dE2{displaystyle {frac {dS_{1}}{dE_{1}}}={frac {dS_{2}}{dE_{2}}}}

となる。ここで、このエントロピーを熱力学のものと同一視すると、dS/dE = 1/Tが成立するのであった(部分系の体積は固定しておくことにする)。透熱壁を用いて 2 つの系を接触させた場合、平衡状態では当然 2 つの系の温度は等しくなることと、ここで確認した事実は確かに整合している。

熱力学と整合するアンサンブルは、ここで例示した小正準集団の他にも、正準分布や大正準分布がある。

情報理論におけるエントロピーとの関係[編集]

情報理論においてエントロピーは確率変数が持つ情報の量を表す尺度で、それゆえ情報量とも呼ばれる。
確率変数Xに対し、XのエントロピーH(X)

H(X)=−∑iPilog⁡Pi{displaystyle H(X)=-sum _{i}P_{i}log P_{i},}

 (ここでPiX = iとなる確率)

で定義されており、これは統計力学におけるエントロピーと定数倍を除いて一致する。この定式化を行ったのはクロード・シャノンである。

これは単なる数式上の一致ではなく、統計力学的な現象に対して情報理論的な意味づけを与える事ができることを示唆する。情報量は確率変数Xが数多くの値をとればとるほど大きくなる傾向があり、したがって情報量はXの取る値の「乱雑さ」を表す尺度であると再解釈できる。よって情報量の概念は、原子や分子の「乱雑さの尺度」を表す統計力学のエントロピーと概念的にも一致する。

しかし、情報のエントロピーと物理現象の結びつきは、シャノンによる研究の時点では詳らかではなかった。この結びつきは、マクスウェルの悪魔の問題が解決される際に決定的な役割を果たした。シラードは、悪魔が分子について情報を得る事が熱力学的エントロピーの増大を招くと考えたが、これはベネットにより可逆な(エントロピーの変化ない)観測が可能である、と反例が示された。最終的な決着は1980年代にまで持ち越された。ランダウアーがランダウアーの原理として示していたことであったのだが、悪魔が繰り返し働く際に必要となる、分子についての以前の情報を忘れる事が熱力学的エントロピーの増大を招く、として、ベネットによりマクスウェルの悪魔の問題は解決された。

この原理によれば、コンピュータがデータを消去するときに熱力学的なエントロピーが発生するので、通常の(可逆でない=非可逆な)コンピュータが計算に伴って消費するエネルギーには下限があることが知られている(ランダウアーの原理。ただし現実の一般的なコンピュータの発熱とは比べるべくもない規模である)。また理論的には可逆計算はいくらでも少ない消費エネルギーで行うことができる。

さらにエドウィン・ジェインズ英語版は統計力学におけるギブズの手法を抽象することで、統計学・情報理論における最大エントロピー原理を打ち立てた。この結果、ギブズの手法は統計学・情報理論の統計力学への一応用例として再解釈されることになった。

統計力学と情報理論の関係は量子力学においても成立しており、量子統計力学におけるフォン・ノイマンエントロピーは量子情報の情報量を表していると再解釈された上で、量子情報や量子計算機の研究で使われている。

ブラックホールのエントロピー[編集]

ブラックホールのエントロピーは表面積に比例する。

S=Akc34ℏG.{displaystyle S={frac {Akc^{3}}{4hbar G}}.}

ここでSはエントロピー、Aはブラックホールの事象の地平面の面積、はディラック定数(換算プランク定数)、kはボルツマン定数、Gは重力定数、cは光速度である。

生物学におけるエントロピー[編集]

エルヴィン・シュレーディンガーは、生命をネゲントロピー(負のエントロピー)を取り入れエントロピーの増大を相殺することで定常状態を保持している開放定常系とした。負のエントロピー自体は後に否定されたが、非平衡系の学問の発展に寄与した。

出典[編集]

注釈[編集]

  1. ^ 「でたらめさ」と表現されることもある。ここでいう「でたらめ」とは、矛盾や誤りを含んでいたり、的外れであるという意味ではなく、相関がなくランダムであるという意味である。
  2. ^ ここでいう「微視的状態が確定する」ということは、あらゆる物理量の値が確定するという意味ではなく、なんらかの固有状態に定まるという意味である。従って量子力学的な不確定性は残る。
  3. ^ カルノーの定理においては一般には熱効率の上限は ηmax = f(T1, T2) の形で証明されている。この表式が成り立つように、熱力学温度(絶対温度)T を定義する。たとえば、セルシウス度やファーレンハイト度を使った場合には、熱効率の式はやや複雑な形になる。
  4. ^ a b dは状態量でない量の微小量ないし微小変化量を表す。文献によってしばしば同様の意味でδが用いられる。
  5. ^ 古典系の場合は状態を可算個として扱えない。したがって、例えば自由度fの古典系であれば、位相空間上の一点をΓ = (Q1, Q2, …, Qf, P1, P2, …, Pf)と表し、ここに一様な確率測度dΓ/hfを導入する(ここでP, Qは正準変数、hはプランク定数)。こうすることにより、積分

    S=k⟨ln⁡1p(Γ)⟩=−k∫dΓhfp(Γ)ln⁡p(Γ){displaystyle scriptstyle S=kleftlangle ln {frac {1}{p(Gamma )}}rightrangle =-kint {frac {dGamma }{h^{f}}},p(Gamma )ln p(Gamma )}

    でエントロピーを定義できる。

  6. ^ ボルツマン定数を1とする単位系を取れば、エントロピーは情報理論におけるエントロピー(自然対数を用いたもの)と完全に一致し、無次元量となる。簡便なので、理論計算などではこの単位系が用いられることも多い。なお、この単位系では温度は独立な次元を持たず、エネルギーと同じ次元となる。
  7. ^ 量子系では厳密には、エネルギーが量子化されているため、ほとんど至るところのEにおいてE = Eiは満たされない。そのため、その間に十分多くのエネルギー固有状態が入るエネルギー間隔ΔEを定義し、条件を|EEi|< ΔEと緩めることにする。

参考文献[編集]

論文
書籍

関連項目[編集]

外部リンク[編集]