想いを寄せた人に、その想いに耐え切れず思い切ってラブレターを渡してうちあけたけれど、あっさり断られてしまった。遠い昔学生時代の、友人のことである。その数学科の友人はシューベルトの歌曲 「美しき水車小屋の娘」 や 「冬の旅」 が好きで、下宿にいつ訪ねても、Ｆ・ディスカウのレコードがせつなく回っていて、彼は目を閉じて聴いていた。お陰で、今でもこれらの曲がラジオから流れてくると、その当時の時代がまざまざと蘇る。
　さて、今日話題にしたいことは、友人が想いを彼女にうちあける前の状態と、うちあけた後の状態とでのエントロピー値の変化についてである。もちろん彼の心情をエントピー値で表せるということではない。彼女は彼が好きか好きでないかが不確かな状態であったのに、不運にも彼女は彼が好きではなかったという事実(情報)が得られたわけだから、ここに不確かさの度合い(多様性の度合い、混乱の度合い)としてのエントロピー値に変化があるのである。

　ところで、学校の授業で習ったけれど、どうもその意味することがよく分からない、ということは幾つかあるものである。私の場合には、本職の物理や数学においても、幾つかどころか数え切れないほどある。にも関わらず、いつの間にか教える立場になってしまい教壇に立っているのだが、もちろんそのような話題は避けて通るし、間違っても深入りしないのが教師の芸のうちであると心得ている。避けられないときにも、理解している範囲で話すしかない。
　さて、分かりにくいと言われている代表格のものが、 ”エントロピー” であると思う。エントロピーが理解しにくいものであることの理由の一つに、その定義の仕方がいろいろある、という所にあると私は思っている。そこをはっきりした上で、私の理解の範囲であるが、できるだけ分かり易く説明することに挑んでみたい。

　まず、”エントロピー” という概念は、熱力学において導入されたものであるが、その後統計力学や情報理論などでも用いられるようになった。”エントロピー” そのものの概念はどの分野でも、もちろん同じものであるが、定義の仕方が異なる。
　(I) 熱力学における定義　　(II) 統計力学における定義　　(III) 情報理論における定義
これらの内、エントロピーの概念を理解するには 、(III) 情報理論における定義 が最もわかりやすいのである。

(III) 情報理論における定義
　次の例で説明しよう。いま、１から４まで数字が書かれた４枚のカードがある。その中から相手に好きなカードを１枚引いてもらい、その相手が引いたカードを言い当てるとしよう。もちろん言い当てる確率は １/４ である。もし、数字が１と２だけの２枚のカードだったら、言い当てる確率は １/２ になる。
　この言い当てる確率の違いは、不確かさの度合い (多様性、乱雑さ、混乱の度合い) の違いにある。すなわち、１と２の２枚だけのカードの場合が、１から４までの４枚のカードの場合よりも言い当てることができる確率が高いのは、不確かさが少ないからである。逆に、不確かさの度合いは言い当てる確率による、ということができる。ではこの不確かさの度合いということを、ちゃんと数値で示せないものであろうか、と考えた人がいたのである。その人は、次の式でそれをやってみせた。

　(不確かさの度合い) ＝−ｌｏｇ₂(言い当てる確率)　　　(Ａ)

先の例の場合で、(Ａ) 式を用いて不確かさの度合いを計算してみよう。

　４枚のカードの場合の　(不確かさの度合い) ＝−ｌｏｇ₂(１/４) ＝−ｌｏｇ₂２^-2＝２
　２枚のカードの場合の　(不確かさの度合い) ＝−ｌｏｇ₂(１/２) ＝−ｌｏｇ₂２^-1＝１

　ここで、疑問をもつ人は多いと思う｡ 『そもそも不確かさの度合いが大きい（小さい）ということは、言い当てる確率が小さい（大きい）ということだから、(不確かさの度合い) ＝１/(言い当てる確率) ＝(カードの枚数)、すなわち、
　(不確かさの度合い) ＝(カードの枚数)　　　(Ｂ)
とすればいいではないか、何も対数なんぞを持ち出すこたぁない。』　おっしゃる通りである。それでもとりあえず構わないのである。 では、なぜ対数を持ち出したのか？　それは、カードの数が非常に多い場合には、不確かさの度合いの数値が大きくなり過ぎて扱いにくいという理由である。また、次の例で考えていただきたい。
　まず先のように、１から４まで数字が書かれた４枚のカードの中から１枚を引いてもらう。同時にそれとは別に、１から８まで数字が書かれた８枚のカードの中から１枚を引いてもらう。そして、相手が引いた最初のカードと２番目に引いたカードの両方を言い当てるとしよう。　このときの言い当てる確率は、　(１/４)×(1/８) ＝１/３２　である。したがって、この場合の (Ａ) 式を用いた不確かさの度合いは次のようになる。
　(不確かさの度合い) ＝−ｌｏｇ₂(１/３２) ＝−ｌｏｇ₂２^-5＝５
これは次のように考えることもできる。
　(不確かさの度合い) ＝−ｌｏｇ₂(１/４) −ｌｏｇ２（１/８）＝−ｌｏｇ₂(１/３２)
このように、対数の性質を用いると具合がよい。(Ｂ) 式の (不確かさの度合い) ＝(カードの枚数) というわけにはいかない。
　また、(Ａ)式より逆に、
　(言い当てる確率)＝(1/２)^{(不確かさの度合い)}
とした式の方が、不確かさの度合いが大きいほど言い当てる確率が小さくなることがよく分かる。特に、(不確かさの度合い)＝０、すなわち”確か”であるなら上式より、(言い当てる確率)＝１ となるし、(不確かさの度合い)＝１ なら、(言い当てる確率)＝１/２ となる。(不確かさの度合い)というものが結局、情報量と関わっているわけであるが、情報理論では確率が１/２の事象が情報量として１ビットとすることに対応している。このことが、(Ａ)式で底を２とする対数にしている理由である。

　さて、今まで不確かさの度合い (多様性、乱雑さ、混乱の度合い) と言ってきたものが、実は情報理論における ”エントロピー” の正体なのである。正確な(情報の)エントロピーの定義は後で記すとして、ここではとりあえず次のように定義しておこう。ある対象があって、その対象において何が起こるかを言い当てる確率が与えられたとき、その対象のエントロピーＳを

　Ｓ＝−ｌｏｇ₂(何が起こるかを言い当てる確率)

とする。特に注意してほしいことは、右辺の (　) の部分を、その対象において（あるひとつのことが起こる確率) とはしなくて、その対象において（何が起こるかを言い当てる確率) としている点である。(ここの部分をよく理解することが、エントロピーを理解するかしないかの分かれ目であるように思う。ただし、(何が起こるかを言い当てる確率) という言い方は、もうちょっと複雑な対象も含めた一般的な場合には正しくないので、正確な(情報の)エントロピーの定義は下枠に書いておく。)　先の１から４まで数字が書かれた４枚のカードの例で言えば、
　対象：「１から４まで数字が書かれた４枚のカードの中から、相手が好きなカード１枚を引く」
　何が起こるかを言い当てる確率：「相手がどのカードを引くかを言い当てる確率」
ということである。
　何が起こるかを言い当てる確率が小さい(大きい)ならエントロピー値は大きく(小さく）なる。このことから、エントロピーは乱雑さ、混沌さ、わからなさなどの程度を示す量だと言われるのである。

　では、友人が想いを彼女にうちあける前の状態と、うちあけた後の状態とでのエントロピー値の変化について見ておこう。この場合、
　対象：「彼女が友人を好きであるかどうか」
　何が起こるかを言い当てる確率：「彼女が友人を好きであるかどうかを言い当てる確率」
である。ここで、何が起こるかを言い当てる確率として「彼女が友人を好きである確率」ではない、ということに十分注意していただきたい。友人が想いを彼女にうちあける前は、全く彼女の気持ちはわからなかったのだから、彼女が友人を好きであるかどうかを言い当てる確率は １/２であった。想いをうちあけた後では、不運にも彼女が友人を好きではないことが判明した。よって、
　(うちあける前の状態でのエントロピー) Ｓ＝−ｌｏｇ₂(１/２)＝１
　(うちあけた後の状態でのエントロピー) Ｓ＝−ｌｏｇ₂１＝０
ということになるのである。たとえ、うちあけた後に彼女が友人を好きであったとしても、(うちあけた後の状態でのエントロピー) ＝０ なのである。
　友人はうちあけて振られたけれど、大学卒業して１年後には別な人と結婚してしまった。やはり、エントロピーを減少させるということは、勇気ある人の行なえることかも知れない。一方、若き私はエントロピーを零にしない生き方を好んだ。彼女にうちあけて返事を聞いてしまったら、不運にも振られたらもちろんであるが、幸運にも相手が自分を好きであったとしても、そこでせつない恋愛は終わりである。恋愛の本質はせつなさにあると考える私などは、エントロピー零の恋に情緒を感じない時代遅れの男だった。

　練習問題：サイコロを振る。
　　対象：「サイコロを振る」
　　何が起こるかを言い当てる確率：「サイコロを振って何の目がでるかを言い当てる確率」
振る前のエントロピーを求めよ。　(解：Ｓ＝ｌｏｇ₂６)
　応用問題：あなたと相手で、じゃんけんをする。相手の癖はわかっていて、グーを出す確率＝40%、パーを出す確率＝33%、チョキを出す確率＝27% である。
　　対象：「相手とじゃんけんをする」
　　何が起こるかを言い当てる確率：「相手が何を出すかを言い当てる確率」
じゃんけんをする前のエントロピーを求めよ。
　　(解： Ｓ＝−0.40×ｌｏｇ₂(0.40)−0.33×ｌｏｇ₂(0.33)−0.27×ｌｏｇ₂(0.27) )

　この応用問題をやるには、今までの説明、あるいは今までのエントロピーの定義では不足である。その前に、練習問題のような場合には、サイコロの目を何か適当にひとつ予想して当たる確率は、１/６なので、Ｓ＝ｌｏｇ₂６ とした。すなわち、(何が起こるかを言い当てる確率)＝(何か適当にひとつ予想して当たる確率) ということになる。それでいいのであるが、このことをもう少し丁寧にやると次のようになる。
　１が出ると予想して当たる確率は １/６ なので、(仮エントロピー) ＝−ｌｏｇ₂(１/６)＝ｌｏｇ₂６
　２が出ると予想して当たる確率は １/６ なので、(仮エントロピー) ＝−ｌｏｇ₂(１/６)＝ｌｏｇ₂６
　　　：
　６が出ると予想して当たる確率は １/６ なので、(仮エントロピー) ＝−ｌｏｇ₂(１/６)＝ｌｏｇ₂６
よって、サイコロを振る前のエントロピーとして、それぞれの仮エントロピー値にそれらの確率を掛けて加えて、Ｓ＝ｌｏｇ₂６ となるのである。
　さて、応用問題の場合には、
　相手がグーを出すと予想して当たる確率は 0.40 なので、(仮エントロピー)＝−ｌｏｇ₂(0.40)
　相手がパーを出すと予想して当たる確率は 0.33 なので、(仮エントロピー)＝−ｌｏｇ₂(0.33)
　相手がチョキを出すと予想して当たる確率は 0.27 なので、(仮エントロピー)＝−ｌｏｇ₂(0.27)
そこで、じゃんけんをする前のエントロピーとして、それぞれの仮エントロピー値にそれらの確率を掛けて加える、すなわち
　Ｓ＝−0.40×ｌｏｇ₂(0.40)−0.33×ｌｏｇ₂(0.33)−0.27×ｌｏｇ₂(0.27)
となるのである。仮エントロピーのことを情報量ということにすると、このようにして求めたエントロピーは、平均情報量ということができる。

　長くなってしまった。エントロピーの、(I) 熱力学における定義、および (II) 統計力学における定義 は、またの機会にしよう。

　一般に、
　対象：「１、２、…、ｎ 個の起こり得ることがあり、ｋ番目の起こる確率が ｐ_ｋ　(ｋ＝１,２,…,ｎ)　（Σｐ_ｋ＝１） である事象。」
このとき
　Ｓ＝−Σｐ_ｋｌｏｇ₂ｐ_ｋ
で定義されるＳのことを、(情報の)エントロピー（あるいは平均情報量）という。

　「よく働く美しき水車小屋の娘」　を嫁にもらわないか、と言われた男がいた。男は、「よく働く美しい娘」 ときいて一も二も無く喜んで結婚した。　．．．ところが、その娘はよく働きもしなかったし美しくもなかった。彼女の家の水車小屋は美しく昼夜を問わずよく働いていたけれど...。　情報は落ち着いて正しく読み取ることが大切であるという 「よく働く美しき水車小屋、のよく働かない美しくない娘」　のせつなくも哀しいお話でした。