MCMC と PDMP の概観
2025-05-31
博士課程の標準卒業年限まで残り３年を切ったこの段階で，現時点で考えている研究の方向性を５つ書き留めておきたい．
おおまかに，統計学・機械学習における計算手法（特にサンプリング手法）を，確率過程の技術を用いて効率化する，という方向性が共通している．
MCMC も拡散モデルも大きな成功をおさめている手法であるが，「提案時の枠組み（Markov 連鎖と拡散過程）に縛られすぎているところがあるのではないか？」というのが私の秘められたテーマである．1
MCMC と PDMP の背景
最初の４つのテーマは MCMC，特に PDMP を用いた Monte Carlo 法におけるテーマである．
これらの背景は別稿にまとめたのでぜひ参考にしてほしい．
A Blog Entry on Bayesian Computation by an Applied Mathematician
$$
$$
1 真に高次元で効率的な PDMP リフレッシュ戦略の特定
本研究テーマは Boost の申請書 でも扱ったもので，自分が現在中核としている研究プロジェクトである．
2 Hamiltonian Monte Carlo と測度の集中現象
3 非定常レジームと確定的流体極限
4 Stick technique で何が可能になるか？
実は本研究テーマは，筆者が人生で最初に取り組んだ研究課題であるが，恐ろしいほど難しい可能性が浮上しつつある．第19回日本統計学会春季集会での発表 でも扱ったので，そちらの 予稿 も参考にしてほしい．
拡散モデルの背景
5 拡散モデル
Austin, J., Johnson, D. D., Ho, J., Tarlow, D., and Berg, R. van den. (2021). Structured Denoising Diffusion Models in Discrete State-Spaces. In M. Ranzato, A. Beygelzimer, Y. Dauphin, P. S. Liang, and J. W. Vaughan, editors, Advances in neural information processing systems,Vol. 34, pages 17981–17993. Curran Associates, Inc.
Betancourt, M. (2018). A conceptual introduction to hamiltonian monte carlo.
Betancourt, M., Byrne, S., Livingstone, S., and Girolami, M. (2017). The geometric foundations of Hamiltonian Monte Carlo. Bernoulli, 23(4A), 2257–2298.
Bierkens, J., Grazzi, S., Meulen, F. van der, and Schauer, M. (2023). Sticky PDMP Samplers for Sparse and Local Inference Problems. Statistics and Computing, 33(1), 8.
Chevallier, A., Fearnhead, P., and Sutton, M. (2023). Reversible jump PDMP samplers for variable selection. Journal of the American Statistical Association, 118(544), 2915–2927.
Christensen, O. F., Roberts, G. O., and Rosenthal, J. S. (2005). Scaling limits for the transient phase of local metropolis–hastings algorithms. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 253–268.
Footnotes
確率過程の中でも，Markov 連鎖は非負行列，拡散過程は SDE という，直感的な記法と calculus が確立された爛熟した分野であることは注記に値するだろう．しかしこれが数学的に自然なものの見方であるとは限らない．私見ではあるが，Markov 過程や確率微分方程式などの確率過程の枠組みは，確率積分がセミマルチンゲールの枠組みにまで一般化されたことを皮切りに，この１世紀でまだまだ化ける要素を秘めていると思う．それくらいに底が見えない領域であり，Lebesgue 積分の定義，Kolmogorov による確率論の公理化などに匹敵するような，分野としてもう一段階の変化をまだ隠しているのではないかと感じる．↩︎