拡散モデルによる事後分布サンプリング
Langevin 拡散の時間反転を用いたシミュレーションベースのサンプリング法
2024-08-03
司馬 博文
8/03/2024
10/06/2024
(Vargas et al., 2023) の DDS (Denoising Diffusion Sampler) は変分推論のように逆 KL 乖離度を最小化することを通じて,一般の確率分布からのサンプリングを可能にする方法である. 本記事では Schrödinger 橋を用いて DDS を正確にすることを考える.
A Blog Entry on Bayesian Computation by an Applied Mathematician
$$
$$
全く同様にして,Schrödinger 橋としての見方を導入することにより,DDGS の効率はさらに上げられる.
加えて,無雑音極限において,Schrödinger 橋問題は,エントロピー正則化を持つ最適輸送問題と Monge-Kantorovich 問題と関連がある (De Bortoli et al., 2021, p. 3.1節).
この場合も,
このアプローチでは,IPF は2回のイテレーションで収束するという美点がある.このための数値的方法も広い分野で提案されている:(Barr et al., 2020), (Zhang et al., 2021).
終端の測度を Dirac 測度としていることの綻びが数値的な不安定性に現れやすいことが (Vargas et al., 2023) で述べられている.