1 書籍紹介 Del Moral (2013) Mean field simulation for Monte Carlo integration
リンクの在処は分かりにくいですが，前文と一部の内容が著者のHPからご覧になれます．
Mean Field Simulation for Monte Carlo Integration | Pierre Del Moral |「平均場粒子モデルは非線型発展方程式を確率的に線型化する技法である」とはどういうことか？前文を読むだけでストーリーがあらかた掴めます（が長いです）．
2 Preface
2.1 Monte Carlo Integration
本書は平均場シミュレーションモデルのモンテカルロ積分への応用と理論的基礎を扱う．
ここ30年，このトピックが純粋・応用確率論，ベイズ推論，統計的機械学習，情報理論，理論化学，量子物理，金融数学，信号処理，リスク解析，工学，計算機科学の，最も活発な接点の1つとなっている．
モンテカルロシミュレーションの源は， Metropolis and Ulam (1949) The Monte Carlo Method であり，MetropolisがUlamのポーカー付きから，モナコの首都にちなんで名付けた．
モンテカルロ積分の最初の応用はロスアラモス国立研究所でのManhattan計画にて，原子爆弾着火のモデルにおいてSchödinger作用素の基底状態のエネルギーを計算するために用いられたものだ．
Monte Carlo積分の理論，MCMCとSMC，そして平均場IPS (Interacting Particle Systems)とは，いずれも複雑な確率分布からサンプリングするために用いられる．この文脈では，ランダムサンプルは積分の計算のために用いられる．他の状況で，確率的なアルゴリズムは，逆問題，大域的最適化，事後分布計算，非線形推定問題，統計的学習問題など，複雑な推定問題を解くのにも使われる．
最も有名なMCMCアルゴリズムはMetropolis-Hastings法だろう． Metropolis and Ulam (1949) The Monte Carlo Method によると，
the Monte Carlo method is, “essentially, a statistical approach to the study of differential equations, or more generally, of integro-differential equations that occur in various branches of the natural sciences.”
まさにそういうように，「確率測度の空間上の任意の発展モデルは，いつでもMarkov過程のランダムな状態の分布だと解釈できる」ことを強調しておきたい．この観察は，Markov過程と関連する線型発展モデルとの研究ではよく知られていることである．
さらに面白いことには，Markov過程のランダムな状態の分布と，非線形に相互作用することを許すならば，非線型な発展モデルもMarkov過程の分布とみれる．そのMarkov連鎖のランダムな状態は複雑な確率分布のフローに従い，しばしば解析的な解が存在しない（計算不可能）であることもある．この文脈で，Monte Carlo法と平均場法は，このような複雑系をシミュレーションしたり分析するにあたって，シンプルで安価な方法を提供してくれる．
この2点の観察が，本書で展開される平均場粒子理論の大事な到達点である．
2.2 Mean Field Simulation
平均場IPSの研究は1960年代の Henry McKean の流体力学における非線型楕円型偏微分方程式のMarkov解釈の研究から始まった．
この初期の研究から1990年代の半ばにかけて，複数の研究者がこの分野を開拓した．主な内容は非線型Markov連鎖モデルの存在に関連するマルチンゲール問題を解く問題，連続時間IPSモデル（McKean-Vlasov拡散，反応拡散方程式，Boltzmann型相関ジャンプ過程など）のカオスの伝播の記述などであった．古典的な応用は基本的に流体力学，化学，凝縮系物理に制限されていた．
しかし1990年代の中盤から，平均場IPS手法を，情報理論，工学，計算物理学，統計的機械学習理論におけるMonte Carloシミュレーションへの応用が爆発した．この洗練された，個体群タイプのIPSアルゴリズムは，並列化や分散化された計算環境にも向いていた．その結果，ここ数年来，安価な計算資源の普及に後押しされて，これらの計算機集約的なツールは大きく知名度を上げた．この発展的なMonte Carlo積分法は，決定論的な関数射影アルゴリズムやグリッドを用いるアルゴリズムが低次元空間における線型モデルにしか使えない弱みを補完する手法を提供している．
古典的なMCMC法と違って，平均場IPS法の大きな美点は，正確性を司るパラメータは，何か固定された目的分布とも，予備動作時間とも関係なく，ただ粒子数 \(N\) のみに依存する，という点である．つまり，IPS算譜を動かす計算機の並列計算力などのみに依存して，正確性を発揮することが出来るということである．
過去20年，非線型フィルタリング問題や複雑なBayes事後分布を計算したり，遺伝的手法で最適化問題を解いたりする中で，新たなクラスの平均場PISサンプラーが発明された．こうして，古典的な流体力学モデルから，種々の科学分野で見られる様々な非線型問題に，射程を広げつつある．
非線型フィルタリング問題への応用は，乱流についての流体力学や，天気予報の問題で生じる．最近では空間的点過程への応用が進んでいるが，これは生態系モデリング，生物学，疫学，地震，物質科学，待ち行列理論，天文学など種々の分野で見つかる．
さらに最近では金融への応用も盛んである．粒子法の稀事象解釈を通じて，信頼のおけるポートフォリオが同時にデフォルトを起こす確率のシミュレーションを行っている研究が Carmona, Fouque and Vestal (2009) にある．
さらに最近には，ジャンプ拡散過程による価格モデルで，ジャンプ時刻やジャンプサイズなどの潜在変数をフィルタリングする研究もある．粒子法は，確率的最適化アルゴリズムの構築にも使えるが，これも金融数学の分野で応用が進みつつある．これは複数の最小値点が存在する場合でも使える手法として Ben Hamida and Cont (2005) が開拓している．
さらに分岐するIPSは，直接生物学や自然淘汰理論のモデルとして応用が進んでいる．
この文脈で，平均場ゲーム理論にも触れねばならないだろう．ここで「流体粒子」に当たるものはエージェント（または会社）とみなされ，ある報酬関数に対して最適な行動を取るように，社会経済的な環境で競争をしていく様子をモデリングする．
Kolokoltsovにより，大量のエージェントを備えるゲーム理論の生物学・経済学・ファイナンスへの応用が進んでいる．平均場ゲームのHamilton-Jacobi非線型方程式を解くための有限差分法の研究も同時に進んでいる．
2.3 A Need for Inter-diciplinary Research
この平均場シミュレーション理論には多くの分野の研究者が参入していることは，その文献の多さが証明している．しかし，これらの異なる分野の間のコミュニケーションは非常に難しいことで，実際まだまだ伸び代がある．実際，平均場Feynman-Kacモデルは多くの別の名前で知られている．
In physics, engineering sciences, as well as in Bayesian statistical analysis, the same interacting jump mean field model is known under several lively buzzwords; to name a few: pruning [403, 549], branching selection [170, 286, 484, 569], rejuvenation [8, 134, 275, 336, 490], condensation [339], look-ahead and pilot exploration resampling [263, 403, 405], Resampled Monte Carlo and RMC methods [556], subset simulation [20, 21, 22, 396, 399], Rao-Blackwellized particle filters [280, 444, 457], spawning [138], cloning [310, 500, 501, 502], go-with-the-winner [7, 310], resampling [324, 522, 408], rejection and weighting [403], survival of the fittest [138], splitting [121, 124, 282], bootstrapping [43, 289, 290, 409], replenish [316, 408], enrichment [54, 336, 262, 374], and many other botanical names.
一方で，多くの応用的な研究が，数学的な側面については盲目に突き進んでいるという現状もある．結果として，多くの応用的な研究で平均場IPSモデルが自然言語的に直感的に提示され，全くパフォーマンス解析もロバスト性や安定性に対する言及もなく使われている．
逆に数学的な側面の研究についても，多くの未解決問題が存在する．数理統計楽や確率論の研究者は，現在の多くの応用研究で進行中の研究を注視する必要がある．より豊かな応用数学と応用科学のためには，学際的な交流が欠かせないと考える．
そのためには，統一的な数学的基盤，共通言語というのが欠かせないだろう．この本は，Monte Carlo積分に対する平均場シミュレーションの技術に対して最新の取り扱いを統一的に記述することで，複数の分野を橋渡しするためにある！この本が確率論研究者，応用統計家，生物学者，統計物理学者，計算機科学者が，互いの障壁を乗り越える一助になることを願っている．
古典的なMonte Carlo法やシミュレーション法本は数え切れないにも拘らず，平均場シミュレーション理論を扱った書籍は少ない．
本書は Del Moral (2004) と確率論セミナー (2000)，そしてさらに新しいサーベイ (2012) の続編とみなすことができる．本書は，Feynmna-Kacモデルだけでなく，McKean-Vlasovモデルや分岐相関ジャンプ過程などの種々のIPSアルゴリズムに応用可能な平均場理論も提供する．
2.4 Use and Interpretations of Mean Field Models
特に強調したいことは，本書で扱うほとんどの平均場IPSアルゴリズムは数学的には全く等価であり，ただ解釈の仕方が，その応用分野に依って異なるのみである．
流体力学と計算物理学において，平均場粒子モデルはマクロ物理量がミクロ変数の分布と相互作用しながら発展していく系のモデルになる．例えば期待，マクロ流体モデルや，分子系である．中心的なアイデアは，2次の摂動項を無視することで，分布の空間上の閉じた非線型発展方程式に還元することである．このモデルの平均場極限は，（多くの場合微分／積分方程式の言葉で）物理量の発展を記述する．
計算生物学や個体群動態学では，生誕・死亡や競争選択の過程によって，平均場遺伝的粒子モデルが構成される．このモデルの平均場極限はしばしば「無限人口モデル (infinite population model)」と呼ばれる．
計算機科学では，平均場遺伝的IPSアルゴリズムは複雑な最適化問題を解くための確率的探索手法として使われる．この場合のモデルの平均場極限は，ある種の適合度を表すポテンシャル関数に付随するBoltzmann-Gibbs測度によって与えられる．
信号処理と機械学習理論において，平均場IPSモデルは逐次Monte Carloサンプラーとも呼ばれる．名前の通り，このモデルは，複雑性が増していく確率分布の列から逐次的にサンプリングをするために用いられる．状態空間は，稀事象シミュレーションではexcursion space，逐次重点サンプリングでは遷移状態空間，フィルタリングと平滑化問題では見本道の空間である．信号処理の分野においては，この手法は「粒子フィルター」とも呼ばれる．このモデルにおいて，平均場極限は，ある事象について条件づけた際の確率過程の条件付き分布の発展方程式系になる．線型Gaussモデルにおいて，最適フィルターは，平均と分散がKalmanフィルターによって逐次的に与えられるような条件付きGauss分布になる．この設定において，その発展方程式はMcKean-Vlasov拡散モデルとみなせる！この平均場モデルは，気象予測とデータ同化の分野で用いられているアンサンブルKalmanフィルターに一致するのである．
物理学と分子化学において，平均場IPS発展モデルは多体Schödinger発展方程式の基底状態のエネルギーの推定に用いられる．この設定において，「粒子」と呼ぶと物理的対象と混同してしまうため，”walker”（探索者）と呼ばれる．この確率的な発展モデルは QMC (Quantum Monte Carlo) または DMC (Diffusion Monte Carlo) 法と呼ばれる．この手法は多体系の状態空間上での経路積分を近似するために設計される．このモデルの平均場極限は正規化されたSchrödinger方程式になる．したがって，このモデルの非線型半群の長期的な振る舞いは，Schrödinger作用素の最大固有値と基底状態のエネルギーに関連を持つのである．
確率論において，平均場IPSモデルは2通りの解釈を持つ．1つ目の見方として，粒子系は，目的の発展方程式の解を，逐次的に経験測度の空間へ射影しているとみれる．より正確に，平均場IPSモデルの定める経験測度は，この削減された有限次元状態空間上のMarkov過程として発展していく．従来のMCMC法は単一の確率過程の長期的な振る舞いに基づいて設計されていたのと対照的に，平均場IPSのMarkov過程は \(N\) 個の状態空間上の積上で発展する．この意味で「平均場粒子モデルは非線型発展方程式を確率的に線型化する技法である」と言える．2つ目の見方は，分布の空間上の非線型発展方程式の新たな確率的摂動論という見方である．粒子の集団の局所的なサンプリングの推移は，現在の粒子の経験測度に依存するので，局所的なサンプリング誤差を系に導入する．粒子はこの摂動を持ちながら非線型発展方程式に従っている，と見れるのである．
2.5 A Unifying Theoretical Framework
本書の大半は，「平均場理論の離散世代と分布空間上の非線型発展方程式への応用」を扱う．ほとんどのモデルは，連続時間における測度値過程を，離散時間で近似することで生じる．物理学，金融，生物学分野での連続時間モデルの重要性を鑑みて，本書の多くの部分は離散時間測度値過程とその連続時間の場合（特に線型・非線型微分・積分方程式）との関連も取り扱っている．
古典的なMCMC法の平衡への収束に関する解析で用いられている数学と，我々が用いる数学とは大きく異なる．加えて，従来のMonte Carloサンプラーと対照的に，平均場IPSモデルは統計的に独立な粒子を取り扱っている訳ではないから，従来の大数の法則の知識を直接適用して相関粒子系によるサンプラーの解析に用いることは出来ない．
直近に発展した，連続時間の相関粒子系の解析は，「カオスの伝播」という性質と漸近理論に基づいており，エルゴード的な性質や指数集中性については全く判っていなかった．
筆者の知る限り，離散世代平均場粒子モデル，時間パラメータに対する一様な定量的推定とその非線型フィルタリング問題への応用とについての最初の研究は，Del Moral (1996), Del Moral (1998) である．その後この研究は更なる発展を遂げ，多くの応用を持った．
離散世代平均場モデルの収束解析を進めるにあたって，次の数学理論を使うことになるだろう：分布空間上の非線型半群，相関を持つ経験過程理論，指数集中不等式，時間上限 \(T\) に関する一様収束推定，汎函数揺動定理．さらにこれらの複合を用いることが日常茶飯事である．例えば，一様指数集中不等式は，後ろ向き非線型半群と，分布空間上の1次のTaylor展開， \(L^m\)-平均誤差推定，Orliczノルム解析とLaplace近似を用いる．
時間上限 \(T\) の一様定量的 \(L^m\)-平均誤差バウンドと一様集中不等式とは，非線型半群の極限的な安定性に関する振る舞いに依存する．このような，平均場粒子モデルの長期的な振る舞いと，測度のフローの極限的な安定性とが関連しているというタイプの結果は新しいものではない．
離散世代遺伝的粒子モデルの解析は，系統樹モデル，部分的に観測された分岐過程，粒子自由エネルギー，後ろ向きMarkov粒子モデルなど，他の数学モデルとも深い繋がりを持っている．本書の大部分は，半群理論と確率的摂動理論とを組み合わせて，種々の相関粒子系の収束を示す，という議論を抽象的に行う．
いま，抽象的で一般的な非線型発展方程式の解析で苦しんでいる人の苦悩は，本書を読めば，すぐに解決されるかもしれない．というのも，平均場相関粒子近似は，すぐさまに強力なMonte Carloシミュレーション法を与えるからである．このタイプの叙述も，McKean-Vlasov拡散モデルと，Feynman-Kac分布フローと，空間分岐発展モデルなどとについて行った．
本書は，現状強力な道具となっているカオスの伝播の性質や，Berry-Esseen定理や，漸近的な大偏差原理については触れない．これらは Del Moral (2004) を参照のこと．
2.6 A Contents Guide
本書の中心的なテーマは平均場シミュレーション理論の，分布空間上の非線型発展方程式への応用である．
初めの第1章と第2章は概観を提供する．この2つの章は読み飛ばすべきではない．
理論の基礎はMarkov過程である．線型だろうと非線型だろうと，発展方程式の解析においてMarkov過程は中心的な役割を果たす．分布の空間上の発展モデルは常にランダムな状態を持つMarkov過程の分布として解釈できる．この同一視により，Markov過程の理論が，分布値の方程式を，そのMarkov過程からランダムにサンプリングすることで解く方法を示唆する．この抽象的な理論を，種々の応用例で解説しているのが第1章である．
第2章はMcKean-Vlasov拡散モデル，Feynman-Kacモデルを，種々の応用の中で見ていく．
第3章はFeynman-Kacモデルを導入し，応用を見る．
第4章で，Feynman-Kacモデルの4つの等価な解釈を見る．それは分岐過程による解釈とそれが導く遺伝的アルゴリズム(GA)，逐次Monte Carlo法を導く解釈(SMC)，相関を持つMCMCサンプラーを導く解釈(i-MCMC)，そして最後に平均場相関粒子系としての解釈である(IPS)．
数学的な観点からは，いずれの解釈も全く等価である．しかしながら，それぞれの解釈は異なるアルゴリズムを導く．
さらに，McKean-Vlasov拡散モデルも，平均場Feynman-Kacモデルと結びつくということを強調しておきたい．この種の平均場IPSフィルタリングモデルは乱流流体力学や気象予測問題における非線型フィルタリング問題を解くのに使われている．
第5章で，離散世代Feynman-Kacモデルとその連続時間バージョンとの関係を述べる．
第6章で，
本書の第II部は，平均場IPS理論を種々の科学分野への応用を扱う．