研究紹介

MCMC ダイナミクスの非対称化

モンテカルロ法は統計物理学において系の平衡状態のシミュレーションに用いられますが，ベイズ統計においても事後分布を「未知のハミルトニアンを持った系の平衡分布」とみなすことでモンテカルロ法によりシミュレーションすることができます．

これを実行するアルゴリズムを，統計学では マルコフ連鎖モンテカルロ法 (MCMC: Markov Chain Monte Carlo) と呼びます．

多くの既存の MCMC は，平衡分布からのサンプリングに平衡分布にある物理系のダイナミクスを模倣して行います．Langevin Monte Carlo などはその代表であり，ダイナミクスは拡散過程になります．

しかし，自然が平衡状態に至るのは必ずしも速いでしょうか？コーヒーに砂糖を溶かす際，我々は砂糖粒子の拡散にまかせるのではなく，スプーンで混ぜます．同様の仕組みを取り入れることで，既存手法から効率性をさらにあげることができます．

そのキーワードが 非対称性 であり，この性質をもつアルゴリズムの提案と計算複雑性の解析，そして大規模で複雑なデータへの応用を行なっています．

MCMC は物理学，計算機科学，統計学で広く使われます．初めは基本的に，ランダムウォークを提案核とする Metropolis アルゴリズムが用いられていました．

空間の広さが \(n\) であるとき，通常のランダムウォークは収束までに \(n^2\) のステップを必要としますが，特定の場合に，決定論的なダイナミクスを導入することで \(n\) や \(\log n\) で収束するように加速することが可能でした (Chung et al., 1987)．

のちに (Diaconis et al., 2000), (Chen et al., 1999), (Neal, 2004), (Diaconis, 2013) らにより，このような加速トリックがいずれも 非対称性 を導入することが加速の原因であると理解されていきました．

区分確定的 Markov 過程 (PDMP: Piecewise Deterministic Markov Process) はこれを推し進めたマルコフ過程で，決定論的で非対称なダイナミクスをもちます．

Metropolis アルゴリズムなどの従来の MCMC とアルゴリズムは全く違うものになりましたが，より速い収束が可能である上に，大規模なデータへの応用も可能です．

階層モデルへの応用

ベイズ統計が最も力を発揮する設定は，階層モデリングやノンパラメトリックモデリングなどの複雑なモデルです．

項目反応モデル

粒子輸送によるサンプリング

SMC による軌道推定

References

Chen, F., Lovász, L., and Pak, I. (1999). Lifting markov chains to speed up mixing. In Proceedings of the thirty-first annual ACM symposium on theory of computing, pages 275–281. New York, NY, USA: Association for Computing Machinery.

Chung, F. R. K., Diaconis, P., and Graham, R. L. (1987). Random Walks Arising in Random Number Generation. The Annals of Probability, 15(3), 1148–1165.

Diaconis, P. (2013). Some things we’ve learned (about Markov chain Monte Carlo). Bernoulli, 19(4), 1294–1305.

Diaconis, P., Holmes, S., and Neal, R. M. (2000). Analysis of a nonreversible markov chain sampler. The Annals of Applied Probability, 10(3), 726–752.

Neal, R. M. (2004). Improving asymptotic variance of MCMC estimators: Non-reversible chains are better.