(Metropolis et al., 1953) では \(N\) が数百になる場合を考えており(時代を感じるスケール感),当然愚直な数値積分は現代の計算機でも実行可能ではない.そこで Monte Carlo 法を考えることになるが,当時 Monte Carlo 法といえば,一様乱数を用いた計算法の全般を指し,具体的には \(\langle F\rangle\) を重点サンプリング推定量 \[
\widehat{F}=\frac{\sum_{n=1}^NF(\omega)e^{-\frac{E(\omega)}{kT}}}{\sum_{n=1}^Ne^{-\frac{E(\omega)}{kT}}}
\] で推定することを指した.4
Chen, F., Lovász, L., and Pak, I. (1999). Lifting markov chains to speed up mixing. In Proceedings of the thirty-first annual ACM symposium on theory of computing, pages 275–281. New York, NY, USA: Association for Computing Machinery.
Duane, S., Kennedy, A. D., Pendleton, B. J., and Roweth, D. (1987). Hybrid monte carlo. Physics Letters B, 195(2), 216–222.
Gelman, A., Roberts, G. O., and Gilks, W. R. (1996). Efficient Metropolis Jumping Rules. In Bayesian Statistics 5: Proceedings of the Fifth Valencia International Meeting. Oxford University Press.
自己相関関数が大きいほど,その Markov 連鎖を用いて構成した Monte Carlo 推定量の漸近分散が大きくなります.加えて,自己相関関数の裾が重すぎると,例えエルゴード性を持っており大数の法則が成り立とうとも,中心極限定理が成り立たなくなります.換言すれば,\(n^{-1/2}\) よりも遅い収束レートになってしまいます.↩︎
“While (Metropolis et al., 1953) proposed the use of MCMC sampling to compute particular integrals in statistical mechanics, it was the Hastings paper that elevated the concept to a general one, and introduced it to the broader statistics community.” (Martin+2023-history?) 3.5節.↩︎