エントロピーとは

math_physics/thermodynamics/entropy
8-8-2017 updated

  1. 概要: エントロピーとは
    • ルールの設定
    • 取りうるパターンの総数 W
    • W と S の関係: なぜエントロピーに log が出てくるのか

  2. 熱力学のエントロピー

広告

概要: エントロピーとは

ルールの設定

文献 1 をもとに、情報の総数 W から、新しい概念として 情報量 (エントロピーと同じ) S を定義する 部分をまとめる。極度に省略したメモ書き程度なので、必要に応じて本を読むこと。


以下のように、適当な数列を考えてみる。

1) 2312456346433142543126
2) 1222112122111121121211
3) 1212121212121212121212

数列 1 は「1 から 6 までの数字をランダムに繰り返す」という規則に基づいて作られた数列。サイコロを振った目を並べた感じ。2 は「1 と 2 をランダムに繰り返す」という規則、つまりコインの裏表。3 は「1 と 2 を交互に繰り返す」という規則に基づいた数列である。

感覚的に、「でたらめさ」が大きい = 情報量が多い度合いは 数列 1 > 数列 2 > 数列 3 と言える。この「でたらめさ = 情報量」という概念を S として、これを定式化することを試みる。最終的に S がエントロピーということになる。

ここでは「数列」 1, 2, 3 と表現したが、実際にこれは「ルール 1, 2, 3」と表現した方が正確である。たとえば数列 1 は途中までしか書いておらず、本当に「1 から 6 までの数字をランダムに繰り返す」というルールに基づいたものか明らかでないためである。もしかすると「2312456346433142543126 という数字を 1 回繰り返す」というルールかもしれない。この場合、数字の列を長くしていくと「でたらめさ」は明らかに「1 から 6 までの数字をランダムに繰り返す」場合よりも小さい。

そこで、今後は上記の「ルール」1 から 3 について考える。


取りうるパターンの総数 W

数字が 1 - 3 のルールに基づいて n 個並んでいるとき、取りうる全てのパターンの総数を W とする。明らかに

  • ルール 1 では W = (1/6)n
  • ルール 2 では W = (1/2)n
  • ルール 3 では W = 2 (1 から始まる場合と 2 から始まる場合があるので)

それぞれ W1, W2, W3 とすると W1 > W2 > W3 であり、W が大きいほど 情報量 S も大きい という関係がありそうである。上記の「感覚」に基づいている関係ではあるが。


W と S の関係式

ここで W と S の関係を考えてみる。右の耳からルール 1 の数列を、左の耳からルール 2 の数列を聞いたとしよう。このとき、あなたは 2 つの数列を覚えることになるので、情報量の総和 Stotal は、ルール 1 およびルール 2 の情報量をそれぞれ S1, S2 とすると

Stotal = S1 + S2

と単純に和になるはずである。モールス信号で二つの指令を受け取ったと考えても良い。ただし、2 つの指令は互いに独立であるという条件付き。


ところで、取りうるパターンの総数 Wtotal は、W1 の一つ一つに W2 があると考えられるので、ここは掛け算になる。すなわち

Wtotal = W1W2

この 2 つを満たす W と S の関係式は、

W = k•logS


である。ここで log が登場することになる。k および底は何でもよく、k=1、底=2 とすると情報科学のエントロピー、k をボルツマン定数に、log を自然対数 ln にすると熱力学のエントロピーになる。



広告

熱力学のエントロピー

熱力学のエントロピーについて、もう少し考えてみたい (2)。

エントロピー S の単位は JK-1 になり、絶対温度との積 TS が、エンタルピー H とともに化学変化の方向を決める要因となる。


ΔG = ΔH - TΔS

として、ΔG が負の場合 (つまり、物質系がエネルギーを失う方向の場合) には、反応が自発的に進む。GGibbs の自由エネルギー という。


広告

References

  1. 堀 (1979). エントロピーとは何か - でたらめさの効用.


  1. ギブズ自由エネルギーとはなにものか? Link: Last access 2018/02/11.

コメント欄

サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。