メトロポリスを超えた枠組みで我々はどこまで行けるか？

発表概要

区分確定的マルコフ過程 (PDMP: Piecewise Deterministic Markov Process) に基づく Monte Carlo 法は，Metropolis-Hastings (MH) の枠組みから逸脱することでスケーラビリティを達成する MCMC 手法である．良いサーベイは (Fearnhead et al., 2018) など．

より速い収束 (Andrieu and Livingstone, 2021) に加え，ミニバッチから計算した勾配の不偏推定量のみを用いて実行した場合も漸近的に正確な推論が可能であることが美点である．この点，Stochastic Gradient (Ma et al., 2015) と特に相性が良いと言える．

しかし，momentum を用いる方法 (Horowitz, 1991) や自然勾配 (Girolami and Calderhead, 2011) を用いる方法など，従来 MH 法に対して培われた性能改善手法はそのままでは PDMP に使えない．

その中で，PDMP の性能を持続的な運動量を保持する技術を備えた Forward Event-Chain Monte Carlo 法 (Michel et al., 2020) という手法が，PDMP の枠組みの中で尤度の幾何的情報を上手に利用して収束を速める・計算複雑性を低減できているということを，スケーリング解析を通じて示す．

機械学習若手の会 (YAML) 2025

Date	Location
Sep. 21st - 23rd, 2025	ハートピア熱海

画像をクリックで PDF を表示

参考ページ集

PDMP とそのシミュレーションに関しては，次のスライドにわかりやすく解説されています：

図は全て発表者開発のパッケージ PDMPFlux.jl によるものです．

Sticky PDMP (Bierkens et al., 2023) に関するさらに詳しい内容，またはベイズ変数選択一般については，次の記事にまとめています：

References

Andrieu, C., and Livingstone, S. (2021). Peskun–Tierney ordering for Markovian Monte Carlo: Beyond the reversible scenario. The Annals of Statistics, 49(4), 1958–1981.

Bierkens, J., Grazzi, S., Meulen, F. van der, and Schauer, M. (2023). Sticky PDMP Samplers for Sparse and Local Inference Problems. Statistics and Computing, 33(1), 8.

Fearnhead, P., Bierkens, J., Pollock, M., and Roberts, G. O. (2018). Piecewise Deterministic Markov Processes for Continuous-Time Monte Carlo. Statistical Science, 33(3), 386–412.

Girolami, M., and Calderhead, B. (2011). Riemann manifold langevin and hamiltonian monte carlo methods. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 73(2), 123–214.

Horowitz, A. M. (1991). A generalized guided monte carlo algorithm. Physics Letters B, 268(2), 247–252.

Ma, Y.-A., Chen, T., and Fox, E. (2015). A complete recipe for stochastic gradient MCMC. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in neural information processing systems,Vol. 28. Curran Associates, Inc.

Michel, M., Durmus, A., and Sénécal, S. (2020). Forward event-chain monte carlo: Fast sampling by randomness control in irreversible markov chains. Journal of Computational and Graphical Statistics, 29(4), 689–702.