エントロピーとは
math_physics/thermodynamics/entropy
8-8-2017 updated
- 概要: エントロピーとは
- ルールの設定
- 取りうるパターンの総数 W
- W と S の関係: なぜエントロピーに log が出てくるのか
- 熱力学のエントロピー
広告
概要: エントロピーとは
ルールの設定
文献 1 をもとに、情報の総数 W から、新しい概念として
以下のように、適当な数列を考えてみる。
2) 1222112122111121121211
3) 1212121212121212121212
数列 1 は「1 から 6 までの数字をランダムに繰り返す」という規則に基づいて作られた数列。サイコロを振った目を並べた感じ。2 は「1 と 2 をランダムに繰り返す」という規則、つまりコインの裏表。3 は「1 と 2 を交互に繰り返す」という規則に基づいた数列である。
感覚的に、
ここでは「数列」 1, 2, 3 と表現したが、実際にこれは「ルール 1, 2, 3」と表現した方が正確である。たとえば数列 1 は途中までしか書いておらず、本当に「1 から 6 までの数字をランダムに繰り返す」というルールに基づいたものか明らかでないためである。もしかすると「2312456346433142543126 という数字を 1 回繰り返す」というルールかもしれない。この場合、数字の列を長くしていくと「でたらめさ」は明らかに「1 から 6 までの数字をランダムに繰り返す」場合よりも小さい。
そこで、今後は上記の「ルール」1 から 3 について考える。
取りうるパターンの総数 W
数字が 1 - 3 のルールに基づいて n 個並んでいるとき、
- ルール 1 では W = (1/6)n
- ルール 2 では W = (1/2)n
- ルール 3 では W = 2 (1 から始まる場合と 2 から始まる場合があるので)
それぞれ W1, W2, W3 とすると
W と S の関係式
ここで W と S の関係を考えてみる。右の耳からルール 1 の数列を、左の耳からルール 2 の数列を聞いたとしよう。このとき、あなたは 2 つの数列を覚えることになるので、情報量の総和 Stotal は、ルール 1 およびルール 2 の情報量をそれぞれ S1, S2 とすると
と単純に和になるはずである。モールス信号で二つの指令を受け取ったと考えても良い。ただし、2 つの指令は互いに独立であるという条件付き。
ところで、取りうるパターンの総数 Wtotal は、W1 の一つ一つに W2 があると考えられるので、ここは掛け算になる。すなわち
この 2 つを満たす W と S の関係式は、
である。ここで log が登場することになる。k および底は何でもよく、k=1、底=2 とすると情報科学のエントロピー、k をボルツマン定数に、log を自然対数 ln にすると熱力学のエントロピーになる。
広告
熱力学のエントロピー
熱力学のエントロピーについて、もう少し考えてみたい (2)。
エントロピー S の単位は JK-1 になり、絶対温度との積 TS が、エンタルピー H とともに化学変化の方向を決める要因となる。
として、ΔG が負の場合 (つまり、物質系がエネルギーを失う方向の場合) には、反応が自発的に進む。G を Gibbs の自由エネルギー という。
広告
References
堀 (1979). エントロピーとは何か - でたらめさの効用.
- ギブズ自由エネルギーとはなにものか? Link: Last access 2018/02/11.
コメント欄
サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。