セミパラメトリック重回帰分析
Statistics
Nonparametrics
On the Identifiability of the Bafumi et. al. Ideal Point Model
Bayesian
Statistics
MCMC
R
Ideal point models are 2-parameter item response model, tailored to the purpose of visualizing / measuring the ideological positions of the legislators / judges. (Bafumi et al., 2005) introduced a hierarchical structure to the model to deal with the problem of identifiability. In this article, we re-examine the model and show that the posterior distribution of the parameters (ideal points) is still bimodal, indicating its weak identifiability.
brms を用いたベイズ混合ロジスティック回帰分析
Bayesian
Statistics
R
Stan
brms を用いたベイズ重回帰分析
Bayesian
Statistics
R
PDMPFlux.jl パッケージ
Julia
MCMC
PDMP / 連続時間 MCMC とは 2018 年に以降活発に研究が進んでいる新たな MCMC アルゴリズムである． 実用化を遅らせていた要因として，種々のモデルに統一的な実装が難しく，モデルごとにコードを書き直す必要があったことが挙げられたが， この問題は自動微分の技術と，(Corbella et al., 2022), (Sutton and Fearnhead, 2023) らの適応的で効率的な Poisson 点過程のシミュレーションの研究によって解決されつつある． ここでは (Andral and Kamatani, 2024) の Python パッケージ
pdmp_jax とこれに基づく Julia パッケージ PDMPFlux.jl を紹介する．
雑音除去拡散サンプラー
Sampling
Process
Python
(Vargas et al., 2023) の DDS (Denoising Diffusion Sampler) は変分推論のように逆 KL 乖離度を最小化することを通じて，一般の確率分布からのサンプリングを可能にする方法である．今回は 公式の実装 を吟味する．
流体モデル概観
Nature
Julia
Lorenz’ 63, Lorenz’ 96 とはそれぞれ (Lorenz, 1963), (Lorenz, 1995) によって導入された大気モデルである． 前者はバタフライ効果の語源ともなった，最初に特定されたカオス力学系でもある． Navier-Stokes 方程式は流体の運動を記述する方程式である． これらはいずれもデータ同化・軌道推定技術のベンチマークとして用いられている． ここでそれぞれのモデルの数学的性質と Julia を通じたシミュレーションの方法をまとめる．
理想点解析のハンズオン
Bayesian
Statistics
MCMC
R
ベイズ分散分析のモデル解析
Bayesian
Statistics
R
ベイズデータ解析２
Statistics
超次元 MCMC
Bayesian
MCMC
Statistics
Skilling-Hutchinson の跡推定量
Probability
Functional Analysis
階層モデル再論
Statistics
Kernel
Probability
Bayesian
拡散モデルからシュレディンガー橋へ
Process
Sampling
P(X)
拡散モデルは「データ過程をノイズに還元する Langevin ダイナミクスを時間反転する」という発想に基づいており，画像と動画の生成・条件付き生成タスクに関して 2024 年時点で最良の方法の１つである． この発想を正確なサンプリング法に昇華するためには，(Deming and Stephan, 1940) の Iterative Proportional Fitting アルゴリズムを用いることができる． この方法は拡散モデルによる条件付き生成の加速法として (Shi et al., 2022) によって提案された． こうして得る拡散過程は Schrödinger Bridge とも呼ばれ，エントロピー最適輸送と深い関わりを持つ．
拡散模型の実装
Deep
Sampling
Python
大規模な不均衡データに対するロジスティック回帰（前編）
Bayesian
Computation
Julia
MCMC
Statistics
Lévy 過程を見てみよう
Process
Sampling
Stan
YUIMA
R
分子動力学法
Nature
Computation
ベイズ統計学とスピングラス
Bayesian
Nature
Information
新時代の MCMC を迎えるために
MCMC
Sampling
Poster
brms によるベイズ混合モデリング入門
Bayesian
MCMC
R
Stan
Statistics
Duane+ (1987) Hybrid Monte Carlo
Review
Duane et al. [Phys. B 195(1987) 216-222] は Hamiltonian Monte Carlo 法の提案論文と目されているが，その実は全く違う文脈の中で提案された．場の量子論における (Parisi and Wu, 1981) の確率過程量子化や小正準法にように，正確に物理的過程をシミュレーションする必要はないのである．これを Metropolis 法の提案核に使うことを提案した論文である．
Metropolis+ (1953) Equation of State Calculations by Fast Computing Machines
Review
Metropolis et. al. [The Journal of Chemical Physics 21(1953) 1087-1092] は初の MCMC（乱歩 Metropolis 法）を，対称分布を Gibbs の正準分布として，“modified Monte Carlo scheme” という名前の下で提案し，剛円板モデルのシミュレーションに応用した論文である．重点サンプリングを “Monte Carlo method” と呼び，「目標分布から直接サンプルを生成できるために提案分布と目標分布とのズレによる性能劣化がない」ことを美点として挙げている．この手法は後の (Hastings, 1970) による改良と併せて，Metropolis-Hastings 法と呼ばれるようになる．
Peters and de With (2012) Rejection-Free Monte Carlo Sampling for General Potentials
Review
Peters and de With [Phys. E 85(2012) 026703] は Metropolis 法による棄却-採択の代わりに，衝突により方向を変える粒子を想定することで，効率的な Monte Carlo 法を実行することを目指した．ただの event-driven な molecular dynamics と違い，一般の滑らかなポテンシャルに適用可能である点が革新的である．しかし，粒子系のポテンシャルは常に和の形で表されるように，一般の PDMP に基づいた連続時間 MCMC 手法も，適用可能なモデルの範囲が限定されている点が難点である (Nemeth and Fearnhead, 2021)．
A Recent Development of Particle Methods
Particles
Computation
Poster
ニューラル常微分方程式
Deep
Sampling
P(X)
純粋跳躍過程の生成作用素と区分的確定的 Markov 過程
Process
Sampling
R
測度の正則性 | Regularities of Measures on Topological Spaces
Functional Analysis
Measurability of the Minkowski Sum of Two Sets
Functional Analysis
No matching items
References
Andral, C., and Kamatani, K. (2024). Automated techniques for efficient sampling of piecewise-deterministic markov processes.
Bafumi, J., Gelman, A., Park, D. K., and Kaplan, N. (2005). Practical Issues in Implementing and Understanding Bayesian Ideal Point Estimation. Political Analysis, 13(2), 171–187.
Corbella, A., Spencer, S. E. F., and Roberts, G. O. (2022). Automatic Zig-Zag Sampling in Practice. Statistics and Computing, 32(6), 107.
Deming, W. E., and Stephan, F. F. (1940). On a least squares adjustment of a sampled frequency table when the expected marginal totals are known. The Annals of Mathematical Statistics, 11(4), 427–444.
Gelman, A. (2005). Analysis of variance—why it is more important than ever. The Annals of Statistics, 33(1), 1–53.
Hastings, W. K. (1970). Monte carlo sampling methods using markov chains and their applications. Biometrika, 57(1), 97–109.
Lorenz, E. N. (1963). Deterministic nonperiodic flow. Journal of Atmospheric Sciences, 20(2), 130–141.
Lorenz, E. N. (1995). Predictability: A problem partly solved. In Seminar on predictability, 4-8 september 1995. ECMWF.
Nemeth, C., and Fearnhead, P. (2021). Stochastic gradient markov chain monte carlo. Journal of the American Statistical Association, 116(533), 433–450.
Parisi, G., and Wu, Y. (1981). PERTURBATION THEORY WITHOUT GAUGE FIXING. Scientia Sinica, 24(4), 483–.
Rouder, J. N., Morey, R. D., Speckman, P. L., and Province, J. M. (2012). Default bayes factors for ANOVA designs. Journal of Mathematical Psychology, 56(5), 356–374.
Shi, Y., De Bortoli, V., Deligiannidis, G., and Doucet, A. (2022). Conditional simulation using diffusion Schrödinger bridges. In J. Cussens and K. Zhang, editors, Proceedings of the thirty-eighth conference on uncertainty in artificial intelligence,Vol. 180, pages 1792–1802. PMLR.
Sutton, M., and Fearnhead, P. (2023). Concave-Convex PDMP-based Sampling. Journal of Computational and Graphical Statistics, 32(4), 1425–1435.
Vargas, F., Grathwohl, W. S., and Doucet, A. (2023). Denoising Diffusion Samplers. In The eleventh international conference on learning representations.