(Metropolis ほか, 1953) では \(N\) が数百になる場合を考えており(時代を感じるスケール感),当然愚直な数値積分は現代の計算機でも実行可能ではない.そこで Monte Carlo 法を考えることになるが,当時 Monte Carlo 法といえば,一様乱数を用いた計算法の全般を指し,具体的には \(\langle F\rangle\) を重点サンプリング推定量 \[
\widehat{F}=\frac{\sum_{n=1}^NF(\omega)e^{-\frac{E(\omega)}{kT}}}{\sum_{n=1}^Ne^{-\frac{E(\omega)}{kT}}}
\] で推定することを指した.4
Chen, F., Lovász, L., と Pak, I. (1999). Lifting Markov chains to speed up mixing. Proceedings of the Thirty-First Annual ACM Symposium on Theory of Computing, ページ 275–281. New York, NY, USA: Association for Computing Machinery.
Duane, S., Kennedy, A. D., Pendleton, B. J., と Roweth, D. (1987). Hybrid Monte Carlo. Physics Letters B, 195(2), 216–222.
Gelman, A., Roberts, G. O., と Gilks, W. R. (1996). Efficient Metropolis Jumping Rules. Bayesian Statistics 5: Proceedings of the Fifth Valencia International Meeting. Oxford University Press.
Hamiltonian Monte Carlo の名称は (Neal2011-HMC?) からで,元々は Hybrid Monte Carlo と呼ばれていました.分子動力学法 (Molecular Dynamics) と MCMC のハイブリッド,という意味でした.Stan で実装されている MCMC アルゴリズムについては こちら を参照.↩︎
自己相関関数が大きいほど,その Markov 連鎖を用いて構成した Monte Carlo 推定量の漸近分散が大きくなります.加えて,自己相関関数の裾が重すぎると,例えエルゴード性を持っており大数の法則が成り立とうとも,中心極限定理が成り立たなくなります.換言すれば,\(n^{-1/2}\) よりも遅い収束レートになってしまいます.↩︎
“While (Metropolis ほか, 1953) proposed the use of MCMC sampling to compute particular integrals in statistical mechanics, it was the Hastings paper that elevated the concept to a general one, and introduced it to the broader statistics community.” (Martin+2023-history?) 3.5節.↩︎