数学者のための確率的グラフィカルモデル２

A Blog Entry on Bayesian Computation by an Applied Mathematician

$$

$$

1 統計力学概観

1.1 興りと運動論的方法

統計力学は，マクロ観測量をミクロ情報のみから予測することを最大の目的とする．その成果の１つとして，マクロ観測量の揺らぎについても，より細かい分析を可能とする．¹ 特に物理的過程を確率過程としてもモデリングする非平衡統計力学は，粗視化と確率化が対応していることを示唆する．²

The aim of statistical mechanics is to predict the relations between the observable macroscopic properties of the system, given only a knowledge of the microscopic forces between the components. (Baxter, 1982, p. 1)

(Boltzmann, 1872) による方程式 $$S=k\log W$$ は Max Planck が 1900 年前後にまとめたものである．³

統計力学はこの１行から生まれたといってもよかろう． (戸田盛和 et al., 2011, p. vi)

これは希薄気体の熱力学を，ミクロの対象に関する密度関数の時間変化を記述することで基礎付けたもので，この接近を一般に 運動論的方法 (kinetic method) という．⁴

この手法がそのまま統計熱力学一般の基礎付けとはならず，その抽象的な枠組みは，後に (Gibbs, 1902) によって与えられた．⁵

なお，運動論的方法は，統計物理学の端緒であると同時に，現在でも十分に理解されているとは言い難く，機械学習などとも結びつきながら現在でも活発に研究が進められている分野である (Villani, 2002)．

1.2 磁性体の物理

多くの物質は，外部磁場 $H>0$ を印加すると磁化する：$M(H)>0$．これを 常磁性体 (paramagnetism) という．これは相互作用が無視できる要素から出来ているためと言える．そのため，理想体系 とも呼ばれる．⁶

一方で鉄などの強磁性体では，外部磁場を印加したのち，これを取り除いても磁性が残り，これを 自発磁化 という：$M_0:=M(0)>0$． ⁷

一方で，磁場を反転させたとき，逆向きに磁荷されるから，$M(-H)=-M(H)$ というべきである．すなわち，強磁性体は $H=0$ において相転移を起こす．⁸

強磁性体には (Weiss, 1907) が一定の理解を与え，これが理論が与えられた最初の秩序無秩序問題である．⁹ その後多くの模型が提案されているが，Ising 模型を初め，１次元の場合と２次元の特別な例のいくつかを除いて，相転移の厳密な理論は存在しない．¹⁰

しかし強磁性体も，一定の温度以上では自発磁化を失い，常磁性体と同じように振る舞う．すなわち，$M$ は $H=0$ でも連続になる．これを Curie温度 といい，$T_C$ で表す．¹¹

理論的には，$T=T_C$ の場合，$H=0$ では連続であるが傾きが発散して可微分ではないとする．

物体の磁化 $H$ を $T,H$ の２変数関数と見做した場合，線分 $[0,T_C]$ を除いた領域で $H$ は滑らかである，とも解釈できる．点 $(T_C,0)$ を 臨界点 (critical point) という．

$$M_0(T)=\underset{H\to 0+}{lim}M(H,T).$$

1.3 磁化率

磁化率を $$\chi (H,T):=\frac{\partial M(H,T)}{\partial H}$$ と定義する．変数変換 $t=\frac{T-T_C}{T_C}$ も用いる．すると臨界点は $(H,t)=(0,0)$ にある．

磁化率 $\chi$ は $(H,t)=(0,0)$ に，近づき方によって異なる非整数位数の極 $$\frac{\chi (0,T)}{t^{-\gamma }}=O(1)(t\to 0+),$$ $$\frac{\chi (0,T)}{(-t{)}^{-{\gamma }^{\prime }}}=O(1)(t\to 0-)$$ を持つことが知られており，その指数 $\gamma ,{\gamma }^{\prime }$ を 臨界指数 (critical exponents) という．¹²

この臨界指数は，一部のモデルでは斉次になる：$\gamma ={\gamma }^{\prime }$ ことを，(Griffiths, 1967) は２次と３次の Ising モデルで例を構成した．

また，臨界指数は具体的な Hamiltonian $H$ の関数形には殆ど依らないと考えられている (Fisher, 1966)．これを 普遍性 という．¹³

1.4 最近傍 Ising モデル

Ising モデルは強磁性体の磁性体への相転移を記述するために (Lenz, 1920) によって導入された．命名は Lenz の指導の下で完成を見た Ising の博士論文 (Ising, 1925) から (Peieris, 1936) がつけたものであるが，Ising 本人は Lenz-Ising model としていた．¹⁴

Ising モデルは格子点 $\mathrm{\Lambda }\subset {\mathbb{Z}}^d$ 上の無向グラフ $G=(\mathrm{\Lambda },\mathcal{E})$ 上に定義される．多くの場合 $$\mathrm{\Lambda }:=B(n):=\{-n,\dots ,n{\}}^d,$$ $$\mathcal{E}:=\{\{x,y\}\subset \mathrm{\Lambda }|\parallel x-y{\parallel }_1=1\},$$ とする．

Ising 模型最大の単純化として，各頂点を２値変数と同一視する．すなわち，ミクロ状態の全体を $$\mathrm{\Omega }:=\{\pm 1{\}}^{\mathrm{\Lambda }}{\simeq }_{\mathrm{Set}}P(\mathrm{\Lambda })$$ とし，配置集合 (configuration) ともいう．¹⁵

この上に Hamiltonian を $$\begin{array}{rl}{H}_{\mathrm{\Lambda },h}(\omega )& :=H_0(\omega )+H_1(\omega )\\ & :=-\sum _{(i,j)\in \mathcal{E}}{J}_{ij}{\omega }_i{\omega }_j-h\sum _{i\in \mathrm{\Lambda }}{\omega }_i\end{array}$$ と定義する．¹⁶ $h$ は外部磁場である．Hamiltonian の値をエネルギーともいう．

この Hamiltonian を 最近傍 Ising 模型 (nearest-neighbor Ising model) という．相互作用を表す偶関数 $H_0$ の関数系をもっと一般的に取ることで，より一般的な Ising 模型も構成される．¹⁷

$J>0$ の場合，隣り合うスピンが揃っている方が Hamiltonian は小さいため，これは強磁性体の模型になっていると言える．¹⁸

この最近傍 Ising 模型についても，３次元以上の場合と，２次元で $h\ne 0$ の場合はまだ解かれていない．¹⁹

この Hamiltonian $H_{\mathrm{\Lambda },h}$ が $\mathrm{\Omega }$ 上に定める Gibbs 分布 とは，²⁰ $${\mu }_{\mathrm{\Lambda };\beta ,h}(\omega )\propto e^{-\beta H_{\mathrm{\Lambda };h}(\omega )}$$ をいう．規格化定数は $$Z_{\mathrm{\Lambda }}(\beta ,h):=\sum _{\omega \in \mathrm{\Omega }}{e}^{-\beta H_{\mathrm{\Lambda };h}(\omega )}$$ $$\beta :=\frac{1}{kT}$$ などと表され，分配関数 と呼ばれる．

この最も簡単とも思われる設定の下で，全磁化 $$M_{\mathrm{\Lambda }}(\omega ):=\sum _{i\in \mathrm{\Lambda }}{\omega }_i$$ または磁化密度 $$\frac{M_{\mathrm{\Lambda }}(\omega )}{N},N:=|\mathrm{\Lambda }|$$ を確率変数と見て，Gibbs 分布の上で調べるのである．²¹

Ising 模型は流体のモデルとしても用いられ，Ising 模型に従うと仮想される気体を 格子気体 (lattice gas) という．²² $J_{ij}$ には Lennard-Jones ポテンシャルなどが用いられる．

1.5 平衡統計力学の枠組み

このように，全ミクロ状態 $\mathrm{\Omega }$ とその上の Hamiltonian $H:\mathrm{\Omega }\to \mathbb{R}$ を考え，Gibbs 分布 $\mu$ と分配関数 $$Z:=\sum _{s\in \mathrm{\Omega }}{e}^{-\frac{H(s)}{kT}}$$ を考えるというのが，(Gibbs, 1902) が創始した枠組みである．²³

こうして，平衡統計力学の議論の中心は，Gibbs 分布に関する平均の計算である．²⁴ 得られる平均は，絶対温度 $T$ と，$H$ 内の変数（Ising 模型では外部磁場 $h$）に関する関数になる．

同時に平衡統計力学の中心問題が明らかになる．それは分配関数 $Z$ の計算が多くの模型では極めて難しいということである．

こうして，Isign 模型のような簡単な模型から議論するか，平均の値を近似する手法を考えることになるが，特に臨界点付近では後者の方法は行き詰まる．²⁵

前者も，多くの正確に解かれた模型は，Ising 模型の例と見れる上に，殆どが２次元以下である．²⁶

1.6 Curie-Weiss 模型

一方で，(Weiss, 1907) の理論は，Ising 模型の 平均場近似 に基づいていた．²⁷

３次元以上では解けていない Ising 模型を，平均場近似で近似的に解くことが出来る．ただし，１次元の場合でも相転移が起こるという都合の悪い面も出てくる．²⁸

$J_{ij}\equiv J$ とした最近傍 Ising 模型において， $$-J\sum _{(i,j)\in \mathcal{E}}{\omega }_i{\omega }_j=-(2dJ{\omega }_i)\cdot \frac{1}{2d}\sum _{(i,j)\in \mathcal{E}}{\omega }_j$$ と見て，第２の因子 $\frac{1}{2d}\sum _{(i,j)\in \mathcal{E}}{\omega }_j$ を ${\omega }_i$ の周囲の局所的な平均磁化とみなす．$2d$ はちょうど最近傍格子点の数であることに注意．

この値を，大域的な磁化密度 $\frac{1}{N}\sum _{j=1}^N{\omega }_j$，$N:=|\mathrm{\Lambda }|$ に置き換えることを Weiss近似 といい，平均場近似の歴史上最初の例であった．²⁹

こうして，次の Curie-Weiss Hamiltonian を得る： $$H_{N;J,h}(\omega ):=-\frac{dJ}{N}\sum _{i,j=1}^N{\omega }_i{\omega }_j-h\sum _{i=1}^N{\omega }_i.$$

最近傍 Ising 模型と違って，積 ${\omega }_i{\omega }_j$ を取る際の添字 $i,j$ に制約はないから，大域的な相互作用も考えていることになる．ただし，この相互作用には一様性を課しており，粒子の個々の位置関係などは完全に捨象されている．実際，$N$ 位の完全グラフ $K^n$ 上の最近傍 Ising 模型とも見れる．

それ故，強相関電子系 など揺らぎの大きな系では，平均場近似では正確な結果は得られない．

1.7 バンド理論

バンド計算における 一電子近似 も平均場近似の例である．³⁰

固体内の電子は，まず化学結合に寄与する価電子 (valence electron) と原子核に束縛された核電子 (core electron) に分けられる．第一近似として，原子核とその核電子と，価電子とを，固体の独立な２つの構成要素と考えることが多い．³¹

さらにはバンド理論では，電子と正孔の間の相互作用を捨象している．³²

1.8 半導体

価電子帯と伝導帯の間の 禁制帯 (band gap) が十分に小さくて遷移を制御することが可能で，基底状態では価電子帯は完全に埋まっているものの伝導帯は空いているような物質を 半導体 という．³³

このような半導体では，熱や光，また外部電磁場などにより価電子が励起され，伝導帯に移る．この電子に加えて，価電子帯に生じた正孔も導電性に寄与する．³⁴ この 正孔 (hole) を擬似的に粒子と扱い，正孔の波動方程式を議論したのが (Heisenberg, 1931) である．

(Faraday, 1833) は，通常金属では温度の上昇と共に電気抵抗が増すが，硫化銀 Ag₂S を初めとしたいくつかの物質では逆に電気抵抗が減少することを報告している．

(Braun, 1874) は 方鉛鉱 PbS に電流を流そうとしても，単一方向にしか電流が流れない整流作用を示すことを発見し，³⁵ その後20世紀に入るとラジオに応用された．Braun はその後ブラウン管を発明し，こちらの業績により 1909 年にノーベル物理学賞を受賞する．

2 Markov 確率場

(Li, 2009) Chapter 2 も参照．

References

Baxter, R. J. (1982). Exactly solved models in statistical mechanics. Academic Press.

Böer, K. W., and Pohl, U. W. (2018). Semiconductor physics. Springer Cham.

Boltzmann, L. (1872). Weitere studien über das wärme gleichgenicht unfer gasmoläkuler. Sitzungsberichte Der Akademie Der Wissenschaften, 66, 275–370.

Braun, F. (1874). Über die stromleitung durch schwefelmetalic. Annalen Der Physik and Chemie, 153(4), 556–563.

Faraday, M. (1833). Experimental researches in electricity. Third series. Philosophical Transactions of the Royal Society of London, 123, 23–54.

Fisher, M. E. (1966). Quantum corrections to critical-point behavior. Physical Review Letters, 16(1), 11–14.

Friedli, S., and Velenik, Y. (2017). Statistical mechanics of lattice systems. Cambridge University Press.

Gibbs, J. W. (1902). Elementary principles in statistical mechanics: Developed with especial reference to the rational foundation of thermodynamics. Charles Scribner’s Sons.

Griffiths, R. B. (1967). Thermodynamic functions for fluids and ferromagnets near the critical point. Physical Review, 158(1), 176–187.

Heisenberg, W. (1931). Zum paulischen ausschließungsprinzip. Annalen Der Physik, 402(7), 888–904.

Huebener, R. P. (2019). Conductors, semiconductors, superconductors: An introduction to solid-state physics. Springer Cham.

Ising, E. (1925). Beitrag zur theorie des ferromagnetismus. Zeitschrift Für Physik, 31, 253–258.

Kittel, C. (2018). Introduction to solid state physics. John Wiley.

Lenz, W. (1920). Beiträg zum verständnis der magnetischen eigenschaften in festen körpern. Physikalische Zeitschrift, 21, 613–615.

Li, S. Z. (2009). Markov random field modeling in image analysis. Springer London.

Madelung, O. (1978). Introduction to solid-state theory,Vol. 2. Springer Berlin, Heidelberg.

Maxwell, J. C. (1867). On the dynamical theory of gases. Philosophical Transactions of the Royal Society of London, 157, 49–88.

Maxwell, J. C. (1878). On stresses in rarefied gases arising from inequalities of temperature. Proceedings of the Royal Society of London, 27, 304–308.

Peieris, R. E. (1936). On ising’s model of ferromagnetism. Mathematical Proceedings of the Cambridge Philosophical Society, 32(3), 477–481.

Preston, C. J. (1974). Gibbs states on countable sets,Vol. 68. Cambridge University Press.

Villani, C. (2002). Handbook of mathematical fluid dynamics. In S. Friedlander and D. Serre, editors,Vol. I, pages 71–305. North-Holland, Amsterdam.

Villani, C., and Mouhot, C. (2015). The princeton companion to applied mathematics. In N. J. Higham, editor,. Princeton University Press.

Weiss, P. (1907). L’hypothèse du champ moléculaire et la propriété ferromagnétique. Journal of Physics: Theories and Applications, 6(1), 661–690.

戸田盛和, 斎藤信彦, 久保亮五, and 橋爪夏樹. (2011). 統計物理学,Vol. 5. 岩波書店.

Footnotes

1. (Baxter, 1982, p. 1) の他に，(Friedli and Velenik, 2017, p. 18) にも同様の記述がある．

2. (戸田盛和 et al., 2011, p. ix) 「物理的過程を確立的に捉えるとき，根元的なミクロのレベルから出発して，マクロのレベルに到達するには，ものの見方の粗さ (coarse graining) のさまざまな段階がある．それぞれの段階でインフォメーションが失われ，それに応じた確率化が行われる．」

3. (戸田盛和 et al., 2011, p. vi), Eric Weisstein’s World of Physics．これは方程式というよりは，エントロピー（左辺）の数学的定義と読むべきである (Villani and Mouhot, 2015, p. 6)．

4. (戸田盛和 et al., 2011, p. vi)．「ミクロの対象」と言ったが，Maxwell がこの理論を展開した当時 (Maxwell, 1867), (Maxwell, 1878) は原子論もまだ仮説の一つに過ぎなかった (Villani and Mouhot, 2015, p. 3)．

5. statisitcal ensemble の概念もこのときに導入された．Wikipedia

6. 同様の例として Boyle-Charles の法則に従う気体も挙げられている (戸田盛和 et al., 2011, p. 129)

7. (Kittel, 2018, p. 323), (Baxter, 1982, p. 1)．

8. (Baxter, 1982, p. 2)．「相転移を起こす系は一般に構成要素間に相互作用のある系であり，協力系 とも呼ばれ，相転移は 協力現象 と言われることもある」 (戸田盛和 et al., 2011, p. 129)．

9. (戸田盛和 et al., 2011, p. viii)．

10. (戸田盛和 et al., 2011, p. viii), (Baxter, 1982, p. v)．

11. (Kittel, 2018, p. 323), (Huebener, 2019, pp. 176–177)．よく $T_C$ で表される．一方で反磁性体では Néel温度 という．

12. (戸田盛和 et al., 2011, p. 170) も参照．

13. (Baxter, 1982, p. 7)．

14. (Friedli and Velenik, 2017, p. 40)

15. (Preston, 1974, p. 1) も参照．$B(n)$ の $n\to \mathrm{\infty }$ の場合などが，熱力学的極限の例である． (Friedli and Velenik, 2017, p. 43)．

16. (Friedli and Velenik, 2017, p. 42), (Baxter, 1982, p. 15) など参照．

17. (Baxter, 1982) の1.7節が一般 Ising 模型，1.8節が最近傍 Ising 模型．

18. (Friedli and Velenik, 2017, p. 42), (Baxter, 1982, p. 21) 参照．

19. (Baxter, 1982, p. 21), (Friedli and Velenik, 2017, p. 60)．

20. $\mathrm{\Omega }$ 上の分布は 状態 ともいう (Preston, 1974, p. 2)．

21. (Baxter, 1982, p. 17) も参照．

22. (Baxter, 1982, p. 24) 1.9節, (戸田盛和 et al., 2011, p. 131)．

23. (Baxter, 1982, p. 8)．

24. (Baxter, 1982, p. 9)．

25. (Baxter, 1982, p. 11)

26. (Baxter, 1982, p. 14)．

27. 現在でこそ平均場近似と呼ばれるが，(Weiss, 1907) は分子場近似と呼んでいた．平均場近似の最初の例である．

28. (戸田盛和 et al., 2011, p. 167) 参照．

29. (戸田盛和 et al., 2011, p. 162), (Friedli and Velenik, 2017, pp. 60–61) も参照．二元合金においては Bragg-Williams 近似ともいう．

30. (Madelung, 1978, p. 10)．

31. (Madelung, 1978, p. 6)．

32. (Madelung, 1978, p. 118)．

33. (Böer and Pohl, 2018, p. 4), (Huebener, 2019, p. 73) Chapter 6．金属が電気を通すのは，伝導帯が部分的に電子によって占められているためである．半導体は，（例えば温度を上げることなどにより）価電子帯の電子を簡単に伝導帯に移すことができるため，思い通りに金属のような振る舞いも，絶縁体のような振る舞いも引き出すことができる．しかし，半導体の自由電子は，金属に比べて極めて少なく．Boltzmann 統計に従い，金属の自由電子は Fermi 統計に従う (Madelung, 1978, p. 17)．一方で，金属の導電性は電子の密度とは関係がなく，金属内の電子密度は温度により一定である (Madelung, 1978, p. 211)．

34. (Huebener, 2019, p. 75)．

35. (Huebener, 2019, p. 73) 特に伝導体と半導体の境界部分で強く見られた．