エントロピーとは

math_physics/thermodynamics/entropy
8-8-2017 updated

  1. 概要: エントロピーとは

広告

概要: エントロピーとは

ルールの設定

文献 1 をもとに,情報の総数 W から,新しい概念として 情報量 (エントロピーと同じ) S を定義する 部分をまとめる。極度に省略したメモ書き程度なので,必要に応じて本を読むこと。


以下のように,適当な数列を考えてみる。

1) 2312456346433142543126
2) 1222112122111121121211
3) 1212121212121212121212

数列 1 は「1 から 6 までの数字をランダムに繰り返す」という規則に基づいて作られた数列。サイコロを振った目を並べた感じ。2 は「1 と 2 をランダムに繰り返す」という規則,つまりコインの裏表。3 は「1 と 2 を交互に繰り返す」という規則に基づいた数列である。

感覚的に,「でたらめさ」が大きい = 情報量が多い度合いは 数列 1 > 数列 2 > 数列 3 と言える。この「でたらめさ = 情報量」という概念を S として,これを定式化することを試みる。最終的に S がエントロピーということになる。

ここでは「数列」 1, 2, 3 と表現したが,実際にこれは「ルール 1, 2, 3」と表現した方が正確である。たとえば数列 1 は途中までしか書いておらず,本当に「1 から 6 までの数字をランダムに繰り返す」というルールに基づいたものか明らかでないためである。もしかすると「2312456346433142543126 という数字を 1 回繰り返す」というルールかもしれない。この場合,数字の列を長くしていくと「でたらめさ」は明らかに「1 から 6 までの数字をランダムに繰り返す」場合よりも小さい。

そこで,今後は上記の「ルール」1 から 3 について考える。


取りうるパターンの総数 W

数字が 1 - 3 のルールに基づいて n 個並んでいるとき,取りうる全てのパターンの総数を W とする。明らかに

  • ルール 1 では W = (1/6)n
  • ルール 2 では W = (1/2)n
  • ルール 3 では W = 2 (1 から始まる場合と 2 から始まる場合があるので)

それぞれ W1, W2, W3 とすると W1 > W2 > W3 であり,W が大きいほど 情報量 S も大きい という関係がありそうである。上記の「感覚」に基づいている関係ではあるが。


W と S の関係式

ここで W と S の関係を考えてみる。右の耳からルール 1 の数列を,左の耳からルール 2 の数列を聞いたとしよう。このとき,あなたは 2 つの数列を覚えることになるので,情報量の総和 Stotal は,ルール 1 およびルール 2 の情報量をそれぞれ S1, S2 とすると

Stotal = S1 + S2

と単純に和になるはずである。モールス信号で二つの指令を受け取ったと考えても良い。ただし,2 つの指令は互いに独立であるという条件付き。


ところで,取りうるパターンの総数 Wtotal は,W1 の一つ一つに W2 があると考えられるので,ここは掛け算になる。すなわち

Wtotal = W1W2

この 2 つを満たす W と S の関係式は,

W = k•logS


である。ここで log が登場することになる。k および底は何でもよく,k=1,底=2 とすると情報科学のエントロピー,k をボルツマン定数に,log を自然対数 ln にすると熱力学のエントロピーになる。



広告

References

  1. 堀 (1979). エントロピーとは何か - でたらめさの効用.


広告

コメント欄

コメントをどうぞ! (500 字まで)



関連書籍