Recent Posts – Hirofumi Shiba

Notations | Categories | English Entries

雑音除去拡散サンプラー

Python によるハンズ・オン

Sampling

Process

Python

[@Vargas-Grathwohl-Doucet2023] の DDS (Denoising Diffusion Sampler) は変分推論のように逆 KL 乖離度を最小化することを通じて，一般の確率分布からのサンプリングを可能にする方法である．今回は公式の実装を吟味する．

流体モデル概観

大気の Lorenz 96 モデル，流体の Navier-Stokes モデル

Nature

Julia

Lorenz’ 63, Lorenz’ 96 とはそれぞれ [@Lorenz1963], [@Lorenz1995] によって導入された大気モデルである．前者はバタフライ効果の語源ともなった，最初に特定されたカオス力学系でもある． Navier-Stokes 方程式は流体の運動を記述する方程式である．これらはいずれもデータ同化・軌道推定技術のベンチマークとして用いられている．ここでそれぞれのモデルの数学的性質と Julia を通じたシミュレーションの方法をまとめる．

理想点解析のハンズオン

pscl, MCMCpack, emIRT パッケージ

Bayesian

Statistics

MCMC

R

理想点解析とは，政治学においてイデオロギーを定量化する方法論である．この手法は多くの側面を持ち，多次元展開法 (MDU: Multidimensional Unfolding) であると同時に項目反応モデルでもある．初めに政治学における理想点解析の目的と役割を概観し，続いて多次元展開法と項目反応理論の２つの観点から理想点解析を眺める．

ベイズデータ解析３

標本調査データと欠測データの扱い

Bayesian

Statistics

標本調査において欠測はつきものである．観測単位が欠測している場合 (unit nonresponse)，call-back や follow-up などの調査を行うか，それができない場合は 荷重校正 (calibration weighting) が可能である．一方で，項目が欠測している場合 (item nonresponse)，代入法 (imputation) が用いられる．

ベイズデータ解析４

アンケートデータとデータ統合

Bayesian

Statistics

応募法 (voluntary sampling) や多くのウェブアンケートは，確率標本抽出に該当しない．このような場合でも母集団に関する補助情報がある限り，バイアスを軽減し推定精度を高めることができる．

ベイズデータ解析１

Bayesian

Statistics

心理学などの人間を対象にする研究では変数の数が多く，正しいモデルを見つけるために分散分析 (ANOVA) が広く用いられる．しかし古典的な ANOVA 解析手法である F-検定や t-検定は，データの一側面しか伝えない．これらの問題点を解決策としてベイズの方法を導入し，ベイズ ANOVA，ベイズ推論とモデル比較が ANOVA の発展として得られることをみる．

ベイズデータ解析２

平均処置効果の推定とセミパラメトリック法

Statistics

人間を対象にする介入の研究では，介入の前後で変化があったかが争点となる．

R 上の Stan インターフェイス

RStan と CmdStanR

Bayesian

Computation

Stan

R

Stan は MCMC や変分推論などのベイズ推論エンジンを備えた，統計モデリングのための確率的プログラミング言語です．CLI，Python，Julia，R など，主要な言語からパッケージを通じて利用可能ですが，本稿では特に R からの利用方法をまとめます．

ベイズ生存時間解析

生存曲線のベイズ階層モデルによる外挿

Bayesian

MCMC

Statistics

本稿では生存時間解析の代表的なモデルを概観する．特に医療技術評価への応用では，打ち切りデータを最もよく外挿できるハザードモデルが探索され，ベイズ推定が有効な方法としてよく選択される．本稿では特に表現力の高い競合リスクモデルとして polyhazard model を紹介し，ベイズ推定の困難さを議論する．

次稿ではこのモデルを Zig-Zag サンプラーでベイズ推定する方法を紹介する．

最適輸送とは何か？

歴史と概観

P(X)

Survey

最適輸送問題は変分法の黎明期に提案された変分問題の１つであるが，その発展は確率論の成熟を待つ必要があった．現代では多くの非正則な空間上に幾何学的な量を定義する普遍的な手法として理解されてから，多くのフィールズ賞受賞者を輩出する最も活発な分野の１つとなっている．ここまでの発展の歴史を本記事では概観したい．

雑音除去過程

Ornstein-Uhlenbeck 過程の時間反転

Process

Sampling

拡散過程の時間反転を考えると，Hyvärinen スコアがドリフト項に現れる．特に OU 過程の時間反転は雑音除去過程 (Denoising Diffusion) といい，サンプリングに利用されている．デノイジングスコアマッチングでは，時間反転に Hyvärinen スコアが出現することを利用してデータ分布のスコアを推定する．Tweedie の式がこれを正当化するが，この式を用いたサンプリング手法には確率的局所化というものもある．

Skilling-Hutchinson の跡推定量

Probability

Functional Analysis

Skilling-Hutchinson の跡推定量は，跡の計算 \(O(d^2)\) を \(O(d)\) に落とすことができる Monte Carlo 法である．

ニューラル常微分方程式

PyTorch によるハンズオン

Deep

Sampling

Python

Gauss 分布からデータ分布までの変換を，可逆なニューラルネットワークでモデリングする正規化流は，ODE に基づいて設計することもできる．この方法は Neural ODE や連続な正規化流 (CNF) ともいう．今回は PyTorch を用いて，正規化流の実装の概要を見る．

特異値分解

Functional Analysis

行列の特異値分解とは，正方行列の直交対角化を一般の行列に拡張したものである．特異値を大きいものから \(r\) 個選ぶことで，Hilbert-Schmidt ノルムの意味で最適な \(r\)-階数近似が構成できる．このことは主成分分析に応用を持つ．

階層モデル再論

多変量解析から機械学習へ

Statistics

Kernel

Probability

Bayesian

本稿では，線型かつ１層の潜在変数モデルに議論を限り，機械学習と統計学と種々の応用分野での潜在変数モデル／階層モデルの議論を統一的に扱う．

カーネル法の概観

半正定値カーネルから距離学習まで

Kernel

カーネル法とは，半正定値カーネルを用いてデータを Hilbert 空間内に埋め込むことで，非線型な変換を行う統一的な手法である．再生核 Hilbert 空間の理論により，写した先における内積は，半正定値カーネルの評価を通じて効率的に計算できるため，無限次元空間上での表現に対する tractable な手段を提供する．適切な半正定値カーネルを用いることで，データの「類似度」を定義することができる．本稿では半正定値カーネルの理論と距離学習法を扱う．

フローベース模型による条件付き生成

誘導からフローマッチングへ

Deep

Sampling

P(X)

拡散模型は拡張性にも優れており，条件付けが容易である．現状は誘導付き拡散によってこれが実現されるが，連続的な条件付き生成のために，フローマッチングなる方法も提案された．

離散空間上のフローベース模型

位相構造を取り入れた次世代の構造生成へ

Deep

Sampling

Nature

画像と動画に関してだけでなく，化学分子の構造生成の分野でも拡散模型が state of the art となっている．これは，連続空間上だけでなく，グラフなどの離散空間上でも拡散模型が拡張されたことが大きい．本稿では，離散データを連続潜在空間に埋め込むことなく，直接離散空間上に拡散模型をデザインする方法をまとめる．

Neural Network 訓練の加速

PyTorch について調べたこと

Deep

Python

前稿で DDPM の実装を紹介したが，実際にローカルのマシンで訓練をしてみると２日かかる．これを加速するためのテクニックを調べた．筆者のローカルマシンは M2 Mac mini であるため，CUDA がなく，皮層的な内容に終始している．Apple Silicon 上では，小さなモデルであっても MPS (Metal Performance Shaders) を用いることで５倍以上の高速化が可能であった．

拡散モデルによる事後分布サンプリング

Langevin 拡散の時間反転を用いたシミュレーションベースのサンプリング法

Process

Sampling

P(X)

拡散モデルから始まるフロー学習手法は，画像と動画に関して 2024 年時点で最良の性能を誇る．これは統計的に言えば事後分布からの近似的サンプリングを実行していることに相当する．近似的ではなく，正確に２つの分布を補間するような拡散過程を推定するためには Schrödinger 橋がある． Schrödinger 橋については次稿に譲るとし，本稿ではサンプラーとしての拡散モデルを復習する．

拡散モデルからシュレディンガー橋へ

Iterative Proportional Fitting アルゴリズムについて

Process

Sampling

P(X)

拡散モデルは「データ過程をノイズに還元する Langevin ダイナミクスを時間反転する」という発想に基づいており，画像と動画の生成・条件付き生成タスクに関して 2024 年時点で最良の方法の１つである．この発想を正確なサンプリング法に昇華するためには，[@Deming-Stephan1940] の Iterative Proportional Fitting アルゴリズムを用いることができる．この方法は拡散モデルによる条件付き生成の加速法として [@Shi+2022] によって提案された．こうして得る拡散過程は Schrödinger Bridge とも呼ばれ，エントロピー最適輸送と深い関わりを持つ．

エネルギーベースモデルのノイズ対照学習

PyTorch によるハンズオン

Deep

Sampling

Python

確率分布を統計物理の言葉（エネルギー，分配関数など）でモデリングする方法論である．今回は PyTorch を用いて，エネルギーベースモデルのノイズ対照学習の実装を見る．

正規化流

normflows によるハンズオン

Deep

Sampling

Python

確率分布を Gauss 潜在変数の非線型な押し出しとしてモデリングする．この押し出しを深層ニューラルネットワークでモデリングすれば，豊かな表現力が得られる．加えて，このニューラルネットワークを可逆に設計すれば，このモデルの尤度も評価することが出来る．今回は normflows を用いて，正規化流の実装の概要を見る．

スコアマッチング

JAX によるハンズオン

Deep

Python

スコアマッチングとは，データ分布のスコアを学習すること中心に据えた新たな生成モデリングへのアプローチである．ここでは，JAX を用いた実装を取り扱う．

拡散模型の実装

PyTorchによるハンズオン

Deep

Sampling

Python

今回は PyTorch を用いて， Ho et. al. [NeurIPS 33(2020)] による DDPM (Denoising Diffusion Probabilistic Model) の実装の概要を見る．DDPM は拡散模型の最初の例の１つであり，ノイズからデータ分布まで到達するフローを定める拡散過程（雑音除去過程）を，データをノイズにする拡散過程の時間反転として学習する方法である．画像や動画だけでなく，離散空間上でタンパク質などの構造生成でも state of the art の性能を示すモデルである．

非線型な次元縮約法の概観

最古にして最難のタスクと多様体学習

Deep

Nature

Statistics

Geometry

生成・表現学習と深い関係にあるタスクに，次元縮約がある．非線型な次元縮約法は多様体学習の名前の下でも研究されている．表現学習とも関連が深いが，一般に表現学習はパラメトリックであるとするならば，次元縮約ではノンパラメトリックな表現と視覚化の学習が目標である．

表現学習と非線型独立成分分析

「データ理解」に向けた深層潜在変数モデル

Deep

表現学習，非線型独立成分分析など，「生成」以外の潜在変数模型の応用法を横断してレビューする．識別性を保った深層潜在モデルを学習しようとする方法は，因果的表現学習とも呼ばれている．

VAE：変分自己符号化器

PyTorch によるハンズオン

Deep

Sampling

Python

変分自己符号化器 (VAE) は，データを周辺分布にもつ潜在変数モデルを変分 Bayes 推論によって学習するアルゴリズムである．従来計算・近似が困難であった変分下界を，ニューラルネットワークによって近似するアプローチである．学習されたベイズ潜在変数モデルからはサンプリングによって新たなデータを生成することができるため，深層生成モデルの一つに分類されることもある．

サンプリングとは何か

Monte Carlo 法が人類にもたらした「力」

Computation

Sampling

Opinion

サンプリング，または Monte Carlo 法は，現代の統計学と機械学習において必要不可欠な道具となっている．それは一体どうしてだろうか？初まりは Los Alamos 研究所にて，確率変数をシミュレーションすることが可能になったことは，人類に何をもたらしただろうか？

信念伝搬アルゴリズム

変分平均場近似

Bayesian

Nature

Computation

信念伝搬法 (BP: Belief Propagation) はランダムグラフや木の上で定義されたスピン系の熱平均を計算するアルゴリズムであり，Monte Carlo 法より高速な代替となる．変分手法と違い，前述のクラスのモデルでは正確な推論が可能になる上に，一般のグラフ上でも良い近似を与え，また一般により速いアルゴリズムを与える．コミュニティ抽出や圧縮センシングの問題はまさにこのクラスのモデルと対応し，信念伝搬法（または変分近似）によって効率的に解くことができる．

Zig-Zag サンプラーのサブサンプリングによるスケーラビリティ

大規模モデル・大規模データに対する MCMC を目指して

MCMC

Computation

Julia

Sampling

Zig-Zag サンプラーは，その非対称なダイナミクスにより，収束が速くなることが期待されている MCMC 手法である．それだけでなく，対数尤度の勾配に対する不偏推定量をサブサンプリングにより構成することで，ベイズ推論においてサンプルサイズに依らない一定のコストで効率的な事後分布からのサンプリングが可能である．

大規模な不均衡データに対するロジスティック回帰（後編）

離散時間 MCMC から連続時間 MCMC へ

Bayesian

Computation

Julia

MCMC

ロジットモデルやプロビットモデルの事後分布からのサンプリングには，その混合構造を利用したデータ拡張による Gibbs サンプラーが考案されている．しかし，このような Gibbs サンプラーは不明な理由で極めて収束が遅くなることがよく見られ，そのうちの１つのパターンが 大規模な不均衡データ である．前編ではこの現象がなぜ起こるかに関して考察した．ここでは代替手法として Zig-Zag サンプラーがうまくいくことをみる．

理想点解析・多次元展開法・項目応答理論

空間モデルの特定を目指して

Bayesian

Statistics

MCMC

理想点解析とは，政治学においてイデオロギーを定量化する方法論である．この手法は多くの側面を持ち，多次元展開法 (MDU: Multidimensional Unfolding) であると同時に項目反応モデルでもある．初めに政治学における理想点解析の目的と役割を概観し，続いて多次元展開法と項目反応理論の２つの観点から理想点解析を眺める．

大規模な不均衡データに対するロジスティック回帰（前編）

離散時間 MCMC から連続時間 MCMC へ

Bayesian

Computation

Julia

MCMC

Statistics

ロジットモデルやプロビットモデルの事後分布からのサンプリングには，その混合構造を利用したデータ拡張による Gibbs サンプラーが考案されている．しかし，このような Gibbs サンプラーは不明な理由で極めて収束が遅くなることがよく見られ，そのうちの１つのパターンが 大規模な不均衡データ である．この記事では，この現象がなぜ起こるかに関する考察を与え，次稿で代替手法として Zig-Zag サンプラーがうまくいくことをみる．

Langevin Dynamics の多項式エルゴード性

Ergodic Lower Bounds

Process

目標分布の裾が重ければ重いほど，Langevin 拡散過程の収束は遅くなる．本記事ではその様子を，平衡分布との全変動距離について，定量的に評価する．

Zig-Zag 過程によるサンプリング

ジャンプと確定的な動きによる新たな MCMC 手法

Process

Sampling

Julia

MCMC

Zig-Zag サンプラー定義とエルゴード性を解説する．続いて，Zig-Zag サンプラーは非対称なダイナミクスを持つために，従来の MCMC よりも速い収束が期待されることを，MALA との比較でみる．最後に，Zig-Zag サンプラーの実装に用いたパッケージとその利用方法を示す．

Lévy 過程を見てみよう

YUIMA パッケージを用いたシミュレーションを通じて

Process

Sampling

Stan

YUIMA

R

Lévy 過程は独立定常増分な Feller-Dynkin 過程のことである．このクラスの過程は，Brown 運動と純粋跳躍過程の独立和として表現される．これが Lévy-Ito 分解であるが，純粋跳躍過程の全てが複合 Poisson 過程かといえばそうではない．Gamma 過程は任意の区間上で無限回跳躍するが，有界変動である（B 型の Lévy 過程）．Cauchy 過程は有界変動ではなく，跳躍部分は発散するが，無限に強いドリフトによってこれを打ち消している（C 型の Lévy 過程）．これらの過程を例とし，YUIMA パッケージを通じてシミュレーションを行いながら，Lévy の特性量 \((A,\nu,\gamma)\) の変化が，Lévy 過程の見本道にどのような変化をもたらすかの直感的理解を試みる．

分子動力学法

数学者のための統計力学３：物理に寄り添った Monte Carlo 法

Nature

Computation

本質的に Metropolis 法がサンプリング法であるならば，MD 法は \(N\)-体問題に対する数値解法であると言える．しかし，Hamiltonian Monte Carlo は元々 Monte Carlo 法と MD 法との融合を目指したものであること，Event-Chain Monte Carlo 法も MD 法における古典的手法の輸入と理解できること，Langevin 動力学も正準集団に対する MD 法と捉えられることを考えると，尽きぬ計算テクニックの源泉であると言える．

Poisson 過程を見てみよう

YUIMA パッケージを用いたシミュレーションを通じて

Process

Sampling

Stan

YUIMA

R

Poisson 点過程とは，各集合内に入る点の数が Poisson 分布によって定まるランダムな点からなる測度である．これを一般化した複合 Poisson 点過程のクラスは，互いに素な集合に入る点の個数が独立に決まるようなランダム測度を網羅するクラスになる．Lévy 過程のジャンプ測度は複合 Poisson 点過程になる．

ESRP HP マニュアル

記事の作成から公開まで

Economic Security

Lifestyle

記事を書き終わったら slack の 002_hp掲載記事作成 チャンネルにプレビューを共有してください．

ベイズ統計学とスピングラス

誤り訂正符号を題材にして

Bayesian

Nature

Information

広い範囲の設定の下では，種々のベイズ推定は，スピングラスの planted ensemble における基底状態探索や平衡物理量の計算と同一視できる．この対応が歴史上最初に発見されたのが，誤り訂正符号の設定においてであった．特にこの対応の下で，ハイパーパラメータの正確な特定に成功したベイズ最適な推定とは，西森ライン上のスピングラス系の熱力学として捉えられる．西森ライン上ではスピングラス相は出現せず，数々の魅力的な性質が成り立つ．EM アルゴリズムはこれを利用してハイパーパラメータの真値と MAP 推定を同時に行うアルゴリズムと見れる．

ベイズ統計学と統計物理学

スパース符号の復元を題材として

Bayesian

Nature

Information

ノイズ付きで観測された情報を復元するデノイジング問題は，ベイズ推定問題として扱える．これを統計力学の観点からランダムエネルギーモデルとして解析することで，データ数無限大の極限における振る舞いを理解できる．一般に，ベイズ統計モデルはスピングラスモデルと同一視することができ，その漸近論（特に比例的高次元極限）に閾値現象が出現することはスピングラス系の常磁性相とスピングラス相の相転移と深い対応を持つ．

R による記号微分入門

calculus パッケージ入門

R

YUIMA

calculus は c++ を通じて数値微分・数値積分を高速に実行するパッケージである．同時に，ほとんどの演算を，純粋に記号操作により実行する機能も持つ．一般の多変数関数を，記号のまま微分，Taylor 展開することができる．

総合研究大学院大学５年一貫博士課程のすすめ

統計科学コース（統計数理研究所）

Opinion

Life

統数研での五年一貫制博士課程（正確には，総合研究大学院大学統計科学コース）を紹介します．同期が居ないこと（がありえること）が最も人を選ぶ点でしょう．しかし，そのことが気にならない場合は，まさに理想郷のような研究環境が整っていると言えるでしょう．

新時代の MCMC を迎えるために

連続時間アルゴリズムへの進化

MCMC

Sampling

Poster

物質科学を震源地とする MCMC のイノベーションが，統計力学と統計学の分野に波及して来ています．その結果，ここ 10 年で急激に MCMC 手法の革新が起こりました．従来 MCMC が離散時間ベースだったところが，イベントベースかつ連続時間ベースなものにとって替わられようとしているのです．これら連続時間 MCMC はどのような手法なのか？従来法を超えるのか？どのような場面で使えるのか？……等々疑問は尽きません．この新たな手法を正しく受け止めるために，現状の MCMC への理解から，新手法がどのように生まれたかの軌跡を辿り，現状の理解を確かめます．

YUIMA による汎函数計算

漸近展開と setFunctional()

Stan

R

YUIMA

Process

R パッケージ yuima は確率過程のモデリングとその統計推測を可能にするフレームワークです．広範なクラスの確率微分方程式のシミュレーションが可能です．今回はそのような確率過程の汎函数の漸近展開に基づく計算方法を紹介します．確率変数の期待値を近似するのに Monte Carlo 法は普遍的な方法ですが，漸近展開が用いられる場合，その計算時間は比較にならないほど速くなります．

Stan 入門

rstan による Stan の利用

Bayesian

Computation

Stan

Stan は MCMC や変分推論などのベイズ推論エンジンを備えた，統計モデリングのための確率的プログラミング言語です．CLI，Python，Julia，R など，主要な言語からパッケージを通じて利用可能です．本稿では Stan 言語の基本をまとめます．

YUIMA 入門

Stan

R

YUIMA

Process

R パッケージ yuima は確率過程のモデリングとその統計推測を可能にするフレームワークです．従来の i.i.d. 仮定の下での統計推測から，一般の確率過程の統計推測への橋渡しを目標としています．鋭意開発中のパッケージですが，すでに広範なクラスの確率微分方程式のシミュレーションが可能です．本稿では基本的な使い方を紹介します．

R によるベイズ混合モデリング入門

brms を用いた混合効果モデリング入門

Bayesian

MCMC

R

Stan

Statistics

brms はベイズ階層モデリングを，確率的プログラミング言語 Stan をエンジンとして行うための R パッケージである．本稿では，brms の基本的な使い方と，その実装を紹介する．

また，ランダム効果モデルとは何であるか，固定効果モデル・混合効果モデル・一般化推定方程式などとの違いをレビューする．ランダム効果の追加は縮小推定などの自動的な正則化を可能とする美点がある一方で，係数の不偏推定やロバスト推定に拘る場合はこれを避ける判断もあり得る．

志学・応用数学

統計的推論のダイナミクスとその変分原理

Opinion

Life

現代の統計・機械学習を確率的ダイナミクスとして理解し，同時にこれを説明する変分原理を明らかにすることが，これからの応用数学の１つの有望な方向だと考える．統計や機械学習のモデルに物理学的な解釈を付加したり，ベイズ推論としての解釈や事前分布を明瞭化したりすることで，双方に資すると同時に，共通理解の足場となる数学を目指したいものである．

Roberts and Tweedie (1996) Exponential Convergence of Langevin Distributions and Their Discrete Approximations

Review

Roberts and Tweedie [Bernoulli 2(1996) 341-363] は MALA (Metropolis-Adjusted Langevin Algorithm) の指数エルゴード性を議論したもの．

Duane+ (1987) Hybrid Monte Carlo

Review

Duane et al. [Phys. B 195(1987) 216-222] は Hamiltonian Monte Carlo 法の提案論文と目されているが，その実は全く違う文脈の中で提案された．場の量子論における [@Parisi-Wu1981] の確率過程量子化や小正準法にように，正確に物理的過程をシミュレーションする必要はないのである．これを Metropolis 法の提案核に使うことを提案した論文である．

Metropolis+ (1953) Equation of State Calculations by Fast Computing Machines

Review

Metropolis et. al. [The Journal of Chemical Physics 21(1953) 1087-1092] は初の MCMC（乱歩 Metropolis 法）を，対称分布を Gibbs の正準分布として，“modified Monte Carlo scheme” という名前の下で提案し，剛円板モデルのシミュレーションに応用した論文である．重点サンプリングを “Monte Carlo method” と呼び，「目標分布から直接サンプルを生成できるために提案分布と目標分布とのズレによる性能劣化がない」ことを美点として挙げている．この手法は後の [@Hastings1970] による改良と併せて，Metropolis-Hastings 法と呼ばれるようになる．

Tartero and Krauth (2023) Concepts in Monte Carlo Sampling

Review

Tartero and Krauth [arXiv (2023)] は１次元の非調和振動子を題材に，分子動力学法，Metropolis 法，consensus，lifting，連続時間 MCMC，thining などの計算手法と計算技術を，疑似コード付きで解説している．

統計力学における基本的な模型の総覧

数学者のための統計力学１：Ising 模型とスピングラス

Nature

Deep

統計力学の場面設定を数学的に理解することを試みる．統計力学の代表的なモデルを，古典粒子系と格子系とに分けて紹介する．現代の計算科学の最前線は，剛円板モデルや \(XY\) モデルをはじめとした，２次元のモデルであると言える．

アンサンブルと熱力学極限

数学者のための統計力学２：小正準集団・正準集団・大正準集団

Nature

統計力学の理論で用いられる３つのアンサンブルと，熱力学極限の概念を定義し，これらが熱力学極限において同等な理論を与えることを見る．統計力学の中心的トピックの１つである相転移も，熱力学極限における物理量の解析性の喪失として定義される．

計算とは何か

計算とサンプリングのはざまにある Monte Carlo 法

Computation

Sampling

Opinion

数値実験と LLM とはいずれもシミュレーションに使えるが，用いる形式が違う（数字と文字）．これにより，物理的な用途と社会的な用途とに別れている．この形式の違いを超克するのが機械学習の悲願であるとするならば，計算とはなんだろうか？ Monte Carlo 法とはシミュレーションと計算を架橋する存在であるならば，今後どのような貢献ができるのであろうか？

Peters and de With (2012) Rejection-Free Monte Carlo Sampling for General Potentials

Review

Peters and de With [Phys. E 85(2012) 026703] は Metropolis 法による棄却-採択の代わりに，衝突により方向を変える粒子を想定することで，効率的な Monte Carlo 法を実行することを目指した．ただの event-driven な molecular dynamics と違い，一般の滑らかなポテンシャルに適用可能である点が革新的である．しかし，粒子系のポテンシャルは常に和の形で表されるように，一般の PDMP に基づいた連続時間 MCMC 手法も，適用可能なモデルの範囲が限定されている点が難点である [@Nemeth-Fearnhead2021]．

Butkovsky and Veretennikov (2013) On Asymptotics for Vaserstein Coupling of Markov Chains

Review

Kernel

Butkovsky and Veretennikov [Stochastic Processes and Their Applications 123(2013) 3518-3541] は対称とは限らないエルゴード的な Markov 連鎖の収束レートを，カップリングの方法を用いて導出した仕事．

エネルギーベースモデル

深層生成モデル５

Deep

Nature

Sampling

確率分布を統計物理の言葉（エネルギー，分配関数など）でモデリングする方法論である．

待ち時間の Markov 過程のエルゴード性

Recurrent Events and Residual Waiting Time

Process

繰り返し起こる事象の待ち時間をモデル化した Markov 連鎖・過程を例として，Markov 連鎖のエルゴード性に関連する概念を概観する．特に，収束レートと中心極限定理がいつ成り立つかを議論する．待ち時間の分布が一次の積率を持つとき，過程はエルゴード的であり，全変動距離は多項式速度で収束する．待ち時間の分布の裾が重いほど，収束は遅くなる．

確率核という概念

データ解析の営みを確率空間の圏上で理解する

Probability

Kernel

Process

Functional Analysis

P(X)

確率核という概念は現状あまりポピュラーではないと思われるが，数学的にいえば，Markov 過程論，確率論，さらにはデータ解析の中心に据えられるべき中心概念であると言えるかもしれない．例えば，カーネル法とは確率核に沿った埋め込みである．MCMC の性質も，本質的に確率核の性質が決定する．また確率核は，確率空間の圏の射となる．
このように，多くのデータ解析手法の中核に位置する数学的本体たる「確率核」への入門を目指すのが本記事である．

これからはじめるベイズ機械学習

所信表明を兼ねて

Bayesian

AI

Opinion

現在，産業界における “AI” というと専ら，いくつかの限られた巨大 IT 企業が，巨大ニューラルネットワークを最尤推定で学習させ，これを基盤モデルとして公開し，我々一般庶民はそれを有効活用して下流タスクを安価に解くことだけ考えるという営みを指す．

グラフニューラルネットワーク

位相的データ解析の旗手

Deep

グラフニューラルネットワークは CNN や Transformer などの従来のニューラルネットワークアーキテクチャを拡張したクラスである．

半導体入門

現代社会の「魔素」が見えるように

Nature

Survey

半導体デバイスの基本原理と製造方法を物理から理解することを目指す．

ESRP 配信マニュアル

シンポジウムでの YouTube 配信のやり方

Economic Security

Lifestyle

ESRP は 2/25/2024 時点で過去８回のシンポジウムを開催しており，うち７回で YouTube での同時配信をしました．

ESRP 配信マニュアル

シンポジウムでの YouTube 配信のやり方

Economic Security

Lifestyle

ESRP は 2/25/2024 時点で過去８回のシンポジウムを開催しており，うち７回で YouTube での同時配信をしました．

A Recent Development of Particle Methods

Inquiry towards a Continuous Time Limit and Scalability

Particles

Computation

Poster

Recently developments in continuous-time MCMC algorithms have emerged as a promising direction for scalable Bayesian computation. This poster explores their SMC counterparts. A new finding about a continuous-time limit of particle filter is discussed.

トランスフォーマー

深層生成モデル１

Deep

AI

2023 年までの「基盤モデル」と呼ばれるような大規模な深層学習モデルは，ほとんど全て同一のアーキテクチャを持つ．これがトランスフォーマーである．その構造を，主に言語の分野に注目して概説する．最後に画像と動画の分野にも触れる．

VAE：変分自己符号化器

深層生成モデル３

Deep

Sampling

変分自己符号化器 (VAE) は，データを周辺分布にもつ潜在変数モデルを変分 Bayes 推論によって学習するアルゴリズムである．従来計算・近似が困難であった変分下界を，ニューラルネットワークによって近似するアプローチである．学習されたベイズ潜在変数モデルからはサンプリングによって新たなデータを生成することができるため，深層生成モデルの一つに分類されることもある．

拡散模型

深層生成モデル６

Deep

Process

Sampling

拡散模型はノイズからデータ分布まで到達するフローを生成する拡散過程を，データをノイズにする拡散過程の時間反転として学習する方法である．大規模なニューラルネットワークを用いて学習した場合，画像と動画に関しては 2024 年時点で最良の性能を誇る．

正規化流

深層生成モデル４

Deep

Sampling

確率分布を Gauss 潜在変数の非線型な押し出しとしてモデリングする．この押し出しを深層ニューラルネットワークでモデリングすれば，豊かな表現力が得られる．加えて，このニューラルネットワークを可逆に設計すれば，このモデルの尤度も評価することが出来る．

ニューラル常微分方程式

シミュレーションなしの拡散モデルとしての連続正規化流

Deep

Sampling

P(X)

Gauss 分布からデータ分布までの変換を，可逆なニューラルネットワークでモデリングする正規化流は，ODE に基づいて設計することもできる．この方法は Neural ODE や連続な正規化流 (CNF) ともいう．しかし，連続なフローを学習するのに，MLE では大変なコストがかかる．実は２つの分布を繋ぐ経路を学習する問題は尤度とは何の関係もなく，Flow Matching により直接的かつ効率的に学習できる．現在の最先端の画像・動画生成モデルは，この Flow Matching の技術に拠っている．

変分推論３

変分ベイズ推論

Bayesian

Computation

Python

確率的グラフィカルモデルの汎用推論手法である変分 Bayes アルゴリズムを解説する．変分 Bayes 推論とは，事後分布を指定した分布族の中で，KL-距離が最も小さくなるように近似する手法をいう．この分布族として，種々のパラメトリック分布を仮定したり，平均場近似を採用したりすることで，種々の変分 Bayes アルゴリズムが得られる．

数学者のための深層学習概観

歴史と導入

Deep

Survey

数学者のために，深層学習の基礎と歴史を概観する．ニューラルネットワークの成功は，極めて単純な関数族を表現する可微分な層を深く重ねていくことで，関数としての高い表現力を得ながら，自動微分により効率的に数値的な最尤推定を実行可能にした，計算機時代最強のモデリング技法の１つである．関数近似能力，適切な初期値設定を見つける表現学習技法，そこからの確率的最適化など，種々の要素が成功に必要不可欠であったために，その成功の理由は極めて込み入っている．ここでは少しでもその成功の理由に近づくことを目標に，深層学習の発展の歴史を概観する．

Gauss 過程を用いたベイズ推論

Bayesian

Kernel

Process

Gauss 過程は関数に対するノンパラメトリックモデルである．正確には，関数空間上の共役確率分布を定めるため，Gauss 過程を用いて回帰関数に関する効率的な Bayes 推論が可能になる．ニューラルネットワークも，例えば１層で全結合のものは，隠れ素子数が無限になる極限で Gauss 過程回帰と等価になる．

GAN：敵対的生成ネットワーク

深層生成モデル２

Deep

Sampling

数学者のために，深層生成モデルの先駆けである GAN を概観する．

Gauss 過程を用いた統計解析

実践編（回帰と分類）

Bayesian

Kernel

Python

数学者のために，Gauss 過程を用いた統計解析を，回帰と分類の２例紹介する．

変分推論２

EM アルゴリズム

Computation

Python

数学者のために，変分推論の基本的な考え方を説明するシリーズであるが，第２回は変分 Bayes アルゴリズムの特殊な場合とみれる EM アルゴリズムに注目する．

法律家のための統計数理（６）GPT 入門

草野数理法務

今回は番外編と称し，ChatGPT の元となる大規模言語モデルである GPT の概要を解説する．

変分推論１

K-平均アルゴリズム

Computation

Python

本稿では，\(K\)-平均アルゴリズムによるクラスタリングの考え方と問題点を，Python による実演を通じてみる．次稿で，\(K\)-平均アルゴリズムの model-aware な一般化として EM アルゴリズムを説明し，その共通の問題点「初期値依存性」と「局所解へのトラップ」の数理的な理解を目指す．

純粋跳躍過程の生成作用素と区分的確定的 Markov 過程

ジャンプと確定的な動きによる新たな MCMC 手法

Process

Sampling

R

PDMP は，A 型の Lévy 過程を含む，複合 Poisson 点過程が定めるジャンプと決定論的なドリフトのみからなる確率過程のクラスをいう．この性質をよく理解するために，まずは，有界なレートを持つ純粋に跳躍のみで動く過程の生成作用素を調べる．確率核 \(\mu\) とレート \(\lambda\) という２つのパラメータは，それぞれ各地点からのジャンプ先を定める確率核と，ジャンプの起こりやすさを表す．最後に，現状もっとも活発に研究されている２つの PDMP である Zig-Zag Sampler と Bouncy Particle Sampler とを紹介する．

生い立ち

Life

1999 年に横浜市磯子区に生まれる．

法律家のための統計数理（５）統計的仮説検定入門

教科書第３章第５―８節 (pp. 96-126)

草野数理法務

教科書第３章第５節から第８節 (pp. 96-126) を通じ，統計学検定への入門も兼ねて，推測統計学のうち統計的仮説検定の基礎を学ぶ．

数学者のための確率的グラフィカルモデル２

統計力学の観点から

Bayesian

Computation

Nature

数学者のために，マルコフネットワークの古典的な例と，統計力学の考え方を概観する．

法律家のための統計数理（４）推測統計学

教科書第３章第１―４節 (pp. 73-96)

草野数理法務

教科書第３章第１節から第４節 (pp. 73-96) を通じ，統計学検定への入門も兼ねて，推測統計学の基礎を学ぶ．

統計的学習理論１

Foundation

統計的機械学習には，「汎化」に価値を置く独特の決定理論的な枠組みが存在する．特に，第一義的には経験リスクを最小化すること，より正確には経験リスク最小化と正則化とをバランスよく目指す「構造的リスク最小化」が広く機械学習のモデリング指針として採用されている．

測度の正則性 | Regularities of Measures on Topological Spaces

Functional Analysis

位相空間上の測度の正則性に関連する概念をまとめる．

Measurability of the Minkowski Sum of Two Sets

Functional Analysis

For two Borel sets \(A,B\in\mathcal{B}(\mathbb{R}^n)\), we cannot expect \(A+B\) to be always Borel. We give sufficient conditions for the Minkowski sum \(A+B\) to be Borel, and also give a concrete counterexample for the case \(n\ge3\).

分岐過程

Process

分岐過程の定義と歴史，性質についてまとめる．

VSCode での執筆環境

LaTeX, Overleaf, Quarto, Julia, R, Python, … etc.

Lifestyle

VSCode での LaTeX 環境構築に関するページ．

法律家のための統計数理（３）意思決定解析

教科書第２章 (pp. 42-72)

草野数理法務

教科書第2章第4節 (pp. 42-72)を通じ，決定木を用いた意思決定分析の方法を学んだ．機械学習では，不確実性の下での意思決定支援をするエキスパートシステム作成を目指した，確率的グラフィカルモデルという分野が絶賛発展中である．決定木からベイジアンネットワークへの進化を遂げた現代の技術の広がりを，世界銀行報告書，内閣府日本経済白書，そして法科学への応用事例を通じて学んだ．

数学者のための確率的グラフィカルモデル１

ベイジアンネットワークとマルコフネットワーク

Bayesian

Computation

PGM (Probabilistic Graphical Modelling) で用いられる代表的なモデル３つ（ベイジアンネットワーク，マルコフネットワーク，ファクターグラフ）を定義し，その性質を抽象的に説明する．これらは，複雑な高次元分布の分解を，計算機に理解可能な形で与える技法である．マルコフネットワークの形で与えられる分布に対しては，たとえ高次元であろうとも，MCMC によって効率的なサンプリングが可能である．

粒子フィルターを用いたサンプリング | About SMC Samplers

テンパリングを通じたもう一つの万能サンプラー

Particles

MCMC

Survey

粒子フィルターは 30 年前に「万能」非線型フィルタリング手法として開発されたが，それは粒子系を輸送するメカニズムとしての万能性も意味するのであり，汎用サンプラーとしても「万能」であるのかもしれないのである．近年，最適化や最適輸送の理論と結びつき，その真の力がますます明らかになりつつある．本稿では現在までのサンプラーとしての SMC 手法に対する理解をまとめる．

粒子フィルターの実装 | Particles Package

NumPy と SciPy で粒子フィルターを実装する

Particles

Python

Pythonを用いて粒子フィルターを実装する方法を，Nicolas Chopinによるparticlesパッケージを参考に解説する．

法律家のための統計数理（２）Bayes の定理

教科書第１章第２―３節 (pp. 14-30)

草野数理法務

教科書第１章第２〜３節 (pp. 14-30) までの内容を自分たちで一から解いた．特に，第３節の内容で，Bayes の定理を自分たちの手だけで，公理のみから導出した．加えて，Bayes 統計学と筆者の専門である Bayes 計算の分野紹介をした．

ベイズ計算とは何か | About Bayesian Computation

Bayesian

Computation

Sampling

Survey

「ベイズ統計学」は一大トピックであるが，「ベイズ計算」という分野があることはそれほど周知のことではない．しかし，ベイズ統計学は常に「計算が困難で実行が難しい」という問題と共にあってきたのであり，ここ30年のベイズ統計学の興隆は計算機の普及と効率的なベイズ計算法の発明に因る．モデル・データがいずれも大規模で複雑になっていく現代において，ベイズの枠組みも柔軟に取り入れた更なる統計計算法の発展が欠かせない．

About Mental Health Issues

Life

メンタルヘルスの世界を知らざるを得なくなった人と，「自分は今後どうなるのか」という不安に苛まれている人へ．

「有界」測度と「有限」測度 | Between ‘Bounded’ Measures and ‘Finite’ Measures

Functional Analysis

They are the same mathematical object. Let’s step back to view the big picture.

条件付き期待値の測度論的基礎付け

Probability

条件付き期待値を，測度論から厳密に定義する際，ポイントは次の4点である．

Influential Books Which Paved My Path into Mathematics

Book Recommendations

Life

I will explore how a few books inspired me and paved my way into Mathematics.

粒子フィルターとは何か

非線型フィルタリング手法としての粒子フィルタ

Particles

Survey

Computation

粒子フィルターは今年で誕生30周年を迎える「万能」非線型フィルタリング手法である．相関を持つ粒子系によって分布を逐次的に近似する遺伝的アルゴリズムであり，多くの科学分野にまたがる応用を持つと同時に，数理的対象としても豊かな構造を持つ．その発明の歴史と今後の研究方向を紹介する．

確率測度の変換則

Gamma 分布と Beta 分布を例に

Probability

Gamma 確率変数と，その変換として得る Beta 確率変数とに関する次の命題の証明を与える（第 3 節）．

Whispter API を通じて日本語音声を書き起こす方法

Lifestyle

Python

Whispter API は25MBまでの音声ファイルしか書き起こししてくれないので，長時間の音声ファイルを一度に書き起こしてもらうには工夫が必要．

正規標本の標本平均と標本分散が独立であることの証明

Probability

次の命題の証明を与える．

法律家のための統計数理（１）確率論入門

教科書第１章第１節 (pp. 1-14)

草野数理法務

教科書第1章第1節(pp.1-14)までの内容を，確率論の公理と数学の考え方を補足しながら，自分の言葉で導出しなおした．

条件付き正規分布からのシミュレーション法

Sampling

Probability

(Doucet, 2010) の内容に基づき，証明を与えながら，条件付き Gauss 分布の特定と，効率的なシミュレーション法を議論し，線型Gauss 状態空間モデルのフィルタリング（特に Ensemble Kalman filter）に応用する．

Markov Category (nLab) | 紹介

Probability

Foundation

「総合的確率論」アプローチの基本概念に Markov 圏の概念がある．これは可測空間を対象とし，確率核を射として得る圏のことである．nLab の Markov category のページを翻訳して紹介する．

書籍紹介 Del Moral (2013) Mean field simulation for Monte Carlo integration

Review

前文を翻訳

書籍紹介 Del Moral (2004) Feynman-Kac Formulae

Review

Feynman-Kac モデルという物理モデルを定義し，逐次モンテカルロ法（粒子フィルター）をその Monte Carlo シミュレーション法として位置付けて解説した書籍である．例として挙げられるトピックも物理学のものが多く，書籍のスタイルも物理学書のそれである．ここでは 1.1 節 “On the Origins of Feynman-Kac and Particle Models” の抄訳を通じて内容を概観したい．

数学者のためのカーネル法概観

カーネル PCA と SVM を例として

Kernel

数学者のために，カーネル法によるデータ解析が何をやっているのかを抽象的に説明する．カーネルとは対称な２変数関数であり，これを用いてデータ点を，データ空間上の関数に変換することで非線型変換を獲得するための道具である．

相関粒子系の社会実装

Particles

Opinion

相関粒子系がどのように社会で活躍出来るか？という問いに対する１つの案として，「ビジネスモデルのモデル」が提示される．ここでは「状態空間モデル」の構造を人間社会に見つけることが肝要になる．

俺の人生を変えたもの Top5

Life

10月以前と10月以降で過ごし方が大きく変わったその要因のうち最も大きいと思われるもの５つを紹介

Quarto はじめて良かったこと

Lifestyle

Quarto は TeX のような使用感で，数式とコードが併存する文章を書き，１つのソースファイルから PDF, HTML, Word, Reveal.js, PowerPoint などの多様な形式に出力できる次世代の執筆環境である．TeX, RStudio, Jupyter Notebook のいずれかに慣れている人であれば，極めて手軽に Quarto を使うことができる．筆者が用意したテンプレートから簡単に始めることができる．公式のギャラリーも参照．

R（２）ベクトル

Computation

R

統計言語 R において，ベクトルは極めて基本的なデータ構造であり，行列・配列・リストはいずれも追加の属性を持ったベクトルと理解できる．本稿では，ベクトルの構成法，単項演算，二項演算，indexing などを解説する．

R（３）リスト

Computation

R

R におけるリストは，独自の index $ を持った構造体であり，Python の dictionary， Perl の hash table に似ている．$ は S3 の機能で，S4 は @ である．これはリストが本質的に R の実装の深いところに存在するデータ型だからである．

R の概観

Computation

R

R は統計計算のための言語です．その基本的なデータ型と，「属性」を通じた実装，そしてオブジェクト志向の構造について解説します．

俺のための Julia 入門（０）

数値計算への新たな接近

Julia

俺のためのJulia入門

Julia はスクリプト言語とコンパイル言語の良いとこどりを目指して開発された言語である．Matlab のような数学的な記述ができ，C のような実行速度を保ち，Python のような汎用性を持ち，Shell のようなモジュール性を持つ．