離散空間上の拡散確率モデル
位相構造を取り入れた次世代の構造生成へ
2024-08-09
A Blog Entry on Bayesian Computation by an Applied Mathematician
$$
$$
No matching items
1 Denoising Markov Model 再論
1.1 はじめに：離散状態空間
拡散モデルのアイデアをどこまで一般化できるか？何が最も肝心な骨組みで，何が交換可能であるかを再論したい．
例えば，画像・言語をはじめとして，離散データのモデリングを考える際に，連続緩和するのではなく離散なまま扱いたいとしよう．
このような場合でも全く問題なく，一般化スコアマッチングにより従来通りの議論により，訓練目標が得られることが (Benton, Shi, et al., 2024) で示されている．
1.2 離散拡散モデルを連続時間で考えたい理由
2 誤差解析
2.1 はじめに
\(p\) を前向き過程の遷移密度，\(q\) を逆向き過程の遷移密度としたとき， \[ \operatorname{KL}(p_\delta,q_t) \] という量を評価することを考える．
連続状態空間上の，普通の意味での拡散モデルに対しては (Benton, Bortoli, et al., 2024) が，離散状態空間上では (Ren et al., 2025) がこれを行っている．
References
Benton, J., Bortoli, V. D., Doucet, A., and Deligiannidis, G. (2024). Nearly \(d\)-linear convergence bounds for diffusion models via stochastic localization.
Benton, J., Shi, Y., De Bortoli, V., Deligiannidis, G., and Doucet, A. (2024). From denoising diffusions to denoising Markov models. Journal of the Royal Statistical Society Series B: Statistical Methodology, 86(2), 286–301.
Ren, Y., Chen, H., Rotskoff, G. M., and Ying, L. (2025). How discrete and continuous diffusion meet: Comprehensive analysis of discrete diffusion models via a stochastic integral framework. In The thirteenth international conference on learning representations.