Schrödinger-Föllmer サンプラーとは何か？

A Blog Entry on Bayesian Computation by an Applied Mathematician

$$

$$

輸送手法一般については次の記事参照：

1 Schrödinger-Föllmer 橋

1.1 はじめに

Schrödinger 橋は前稿でも扱った：

これには等価な特徴付けがある．

1.2 Schrödinger-Föllmer 橋

\[ dX_t=b(X_t,t)\,dt+dB_t,\qquad X_0=0,\qquad t\in[0,1], \tag{1}\] \[ b(x,t):=-\nabla_xU(x,t)=\frac{\operatorname{E}[\nabla f(x+\sqrt{1-t}Z)]}{\operatorname{E}[f(x)+\sqrt{1-t}Z]}, \] \[ Z\sim\mathrm{N}_p(0,I_d),\qquad U(x,t):=-\log P_{1-t}f(x),\qquad f:=\frac{d \pi}{d \mathrm{N}_d(0,I_d)}. \] で定まる過程 \(\{X_t\}_{t=0}^1\subset\mathcal{L}(\Omega;\mathbb{R}^d)\) は (Föllmer, 1985) により，Schrödinger 問題 (Schrödinger, 1932) の研究の過程で導入された．¹

ただし，\((P_t)\) は Brown 運動の遷移半群とした．変形にはさらに Stein の等式 (Stein, 1972) を用いることができることに注意．

(Jamison, 1975), (Dai Pra, 1991) は \(f\in\mathcal{L}^\infty(\mathbb{R}^d),P_{1-t}f\in C^{2,1}(\mathbb{R}^d\times[0,1])\) の仮定の下で SDE (1) の弱解の存在を導いている．

強解の存在は (Jiao et al., 2021) も参照．

1.3 変分問題としての定式化

Schrödinger-Föllmer 橋の分布は，確率過程の分布の空間 \(\mathcal{P}(C([0,1];\mathbb{R}^d))\) 上の次の変分問題の解として特徴付けられる (Jamison, 1975), (Dai Pra, 1991)：

\[ \min_{\Pi_0=\delta_0,\Pi_1=\pi}\operatorname{KL}(\Pi,\mathbb{W}). \]

ただし \(\mathbb{W}\in\mathcal{P}(C([0,1];\mathbb{R}^d))\) は \(\mathbb{W}_x=\delta_x\) を満たす Wiener 測度とした．

References

Dai Pra, P. (1991). A stochastic control approach to reciprocal diffusion processes. Applied Mathematics and Optimization, 23(1), 313–329.

Eldan, R., Lehec, J., and Shenfeld, Y. (2020). Stability of the logarithmic Sobolev inequality via the Föllmer process. Annales de l’Institut Henri Poincaré, Probabilités Et Statistiques, 56(3), 2253–2269.

Föllmer, H. (1985). An entropy approach to the time reversal of diffusion processes. In M. Metivier and E. Pardoux, editors, Stochastic differential systems filtering and control, pages 156–163. Berlin, Heidelberg: Springer Berlin Heidelberg.

Huang, J., Jiao, Y., Kang, L., Liao, X., Liu, J., and Liu, Y. (2021). Schrödinger-Föllmer Sampler: Sampling without Ergodicity.

Jamison, B. (1975). The markov processes of schrödinger. Zeitschrift für Wahrscheinlichkeitstheorie Und Verwandte Gebiete, 32(4), 323–331.

Jiao, Y., Kang, L., Liu, Y., and Zhou, Y. (2021). Convergence analysis of schrödinger-föllmer sampler without convexity.

Léonard, C. (2014). A survey of the schrödinger problem and some of its connections with optimal transport. Discrete and Continuous Dynamical Systems.

Schrödinger, E. (1932). Sur la théorie relativiste de l’électron et l’interprétation de la mécanique quantique. Annales de l’institut Henri Poincaré, 2(4), 269–310.

Stein, C. (1972). A Bound for the Error in the Normal Approximation to the Distribution of a Sum of Dependent Random Variables. Stanford University. Retrieved from https://purl.stanford.edu/jc818sv7483

Footnotes

1. (Léonard, 2014), (Eldan et al., 2020), (Huang et al., 2021) も参照．