Notes

A Blog by a Bayesian Computation Researcher

Notations

A Function that is Continuous on a Closed Subset

Topology

The set of all continuity points of a function is a \(G_\delta\) set. Conversely, every \(G_\delta\) set is the set of all continuity points of some function. We construct an example of a function \(f:\mathbb{R}\to\mathbb{R}\) that is continuous on \((-\infty,0]\) but discontinuous on \((0,\infty)\).

4/17/2025
Hirofumi Shiba

PDMP によりスパイク付きの非絶対連続分布からもサンプリングが可能になる

PDMP

第19回日本統計学会春季集会でのポスター発表の予稿です．PDF 版はこちら

2/25/2025
司馬博文

Implementation Details of PDMPFlux.jl

Simulating PDMPs with Automatic Differentiation
Julia
PDMP
In this introduction, we quickly give an overview of how the PDMPFlux.jl package works, through a standard example.
12/31/2024
Hirofumi Shiba

セミパラメトリック重回帰分析

自乗残差最小化の視点から
Statistics
Nonparametrics

重回帰モデルにおける OLS 推定量は，部分回帰推定量としての解釈を持つ． この性質を用いた手法が媒介分析や操作変数法である． OLS 推定量は不均一分散の場合でも不偏性・一致性・漸近正規性を持ち得るが，漸近有効性は失われる． これを回復するには，誤差の分散を推定して重み付けを行う必要がある． このような方法は一般化最小二乗法と呼ばれる． さらに相関を持つデータを分析するために，より一般の共分散構造を持ったモデルに対してこの手法が拡張されている． 疫学では一般化推定方程式，さらに一般には計量経済学で一般化モーメント法と呼ばれる方法である． これらの方法は作業共分散の選択により，セミパラメトリック漸近最適な分散を達成したり，バイアスを小さくしたりできるが， いずれもトレードオフの範疇にある．

12/29/2024
司馬博文

Likelihood of Hierarchical Models

Probability
Statistics

We examine how to find & formally determine the likelihood function of hierarchical models. As a real-world example, we consider the ideal point model, also known as the 2-parameter logistic item response model.

12/23/2024
Hirofumi Shiba

On the Identifiability of the Bafumi et. al. Ideal Point Model

Rethinking of the Hierarchical Model of Bafumi et. al. (2005)
Bayesian
Statistics
MCMC
R

Ideal point models are 2-parameter item response model, tailored to the purpose of visualizing / measuring the ideological positions of the legislators / judges. (Bafumi et al., 2005) introduced a hierarchical structure to the model to deal with the problem of identifiability. In this article, we re-examine the model and show that the posterior distribution of the parameters (ideal points) is still bimodal, indicating its weak identifiability.

12/22/2024
Hirofumi Shiba

brms を用いたベイズ混合ロジスティック回帰分析

項目応答モデルと特異項目機能を題材として
Bayesian
Statistics
R
Stan

項目反応モデルとは，被験者と項目のそれぞれが独自のパラメータを持った一般化線型混合効果モデルである． 被験者ごとの特性の違いや，項目ごとの性質の違いが視覚化できるが， 本稿では能力・難易度パラメータに更なる階層構造を考える． これにより能力パラメータを変化させている背後の要因や，項目特性と個人特性の交絡効果（特異項目機能）を解析することが可能になる． brms パッケージは極めて直感的な方法でモデルのフィッティングから事後分布の推論までを実行できる．

12/14/2024
司馬博文

ベイズデータ解析７

ベイズ階層モデル
Bayesian
Statistics

データが自然な階層構造を持つ場合，これを取り入れた自然な事前分布を，一つ上の階層に回帰モデルを付け加えることで構成できる． このようなモデルをベイズ階層モデルという． 本稿ではベイズ階層モデルの縮小効果を概観する． 事前知識を構造に関する知識としてモデルに取り入れることでデータによりフィットする尤度構造を獲得することは，データ解析の一つの目標として，（線型）回帰モデルの自然な拡張と理解できる．

12/12/2024
司馬博文

brms を用いたベイズロジスティック回帰分析

BMI データと順序ロジスティック回帰を題材として
Bayesian
Statistics
R
Stan

ロジスティック回帰分析は離散的な応答データを扱うことのできる一般化線型モデルである． 他にも，高度に非線型な関係が予期される場合，ノンパラメトリック手法に移る前の簡単な非線型解析としても活躍する． 本稿では BMI と LDL の非線型関係に関する探索的手法として，順序ロジスティック回帰分析を実行する．

12/12/2024
司馬博文

変量効果と固定効果

統一的見解を目指して
Opinion
Statistics
階層モデル \[ y_{ij}=\theta_j+\epsilon_{ij} \tag{1}\] \[ \theta_j=\mu+\gamma_j \tag{2}\] を考える．\(j\in[J]\) がグループ，\(i\in[n_j]\) はそのグループに所属する単位とする．層別・クラスター抽出された標本，パネルデータなど，好きなように解釈して…
12/11/2024
司馬博文

brms を用いたベイズ重回帰分析

BMI データを題材として
Bayesian
Statistics
R

ベイズ重回帰分析は解析者のデータへの理解を促進する強力な探索的データ解析手法である． このことを brms パッケージと BMI データを用いて例証する． １変数の場合から始め，変数を追加して挙動が変わるのを解釈・検証（残差プロット・事後予測プロット）しながら慎重に進んでいく． 交差検証による事後予測スコア elpd を用いて，データの非線型変換を利用することで，非線型な関係を見出す方法を扱う． ここまで行えば，データの階層化やノンパラメトリックな手法の採用などの次のステップが自然と見えてくるだろう．

12/10/2024
司馬博文

ベイズ変数選択

BMI データの重線型回帰を題材として
Bayesian
Statistics
R

点推定における変数選択法は，正則化項の追加によることが多い． これはベイズ推論では \(0\) 近傍に大きな確率を持った事前分布を仮定していることに等しい． ベイズの観点から適切な縮小事前分布を用意することで，大きな効果を持つ回帰係数は変えずに， 効果の小さい変数を排除することができる． 一般に LASSO よりも絞って選択してくれることが多い．

またベイズ変数選択では，\(0\) にアトムを持つ事前分布を用いることで，当該の変数がモデルに含まれる事後確率 (PIP: Posterior Inclusion Probability) を算出することができる． この方法ではモデルの空間を効率的に探索するサンプラーの開発が重要であるが， 近年では効率的なサンプラーが複数提案されている．

12/10/2024
司馬博文

ベイズデータ解析５

回帰モデルの概観
Bayesian
Statistics

ベイズ回帰分析のワークフローを概観する．一つの悲願として，階層モデルを構築して，パラメータをもはや残さず，尤度の推定に成功することがあることを紹介する． 分散分析はこの階層化の際の鍵を握る考え方として，現代でも重要な位置付けを得ることになる． また多くの回帰分析ではデータを変換して線型関係の推定に集中する場合が多く，これを扱う数理モデルとして一般化線型モデルを紹介する．

12/05/2024
司馬博文

ベイズデータ解析６

応答が質的変数の場合
Bayesian
Statistics

通常の回帰モデルは応答変数が連続であることが暗黙の仮定となっている． この節では，応答変数が質的変数である場合のモデリングを扱う． 質的変数は順序変数であるか名目変数であるか（順序の構造があるかないか）の峻別が重要である． いずれの場合でも多くのモデルが利用可能であり，その多くが一般化線型モデルの枠組みで統一的に扱うことができる．

12/05/2024
司馬博文

英国研究滞在記

University College London 訪問と Isaac Newton Institute ワークショップ
Life
11/4 からロンドンに１ヶ月ほど滞在します。

ロンドン（広くイギリス）は自分の中ではベイズ計算の中心地の１つと目してますので大変楽しみです。 https://t.co/gaGrnnLTRl
12/01/2024
司馬博文

PDMPFlux.jl パッケージ

自動微分により全自動化された連続時間 MCMC サンプラー
Julia
MCMC

PDMP / 連続時間 MCMC とは 2018 年に以降活発に研究が進んでいる新たな MCMC アルゴリズムである． 実用化を遅らせていた要因として，種々のモデルに統一的な実装が難しく，モデルごとにコードを書き直す必要があったことが挙げられたが， この問題は自動微分の技術と，(Corbella et al., 2022), (Sutton and Fearnhead, 2023) らの適応的で効率的な Poisson 点過程のシミュレーションの研究によって解決されつつある． ここでは (Andral and Kamatani, 2024) の Python パッケージ pdmp_jax とこれに基づく Julia パッケージ PDMPFlux.jl を紹介する．

10/17/2024
司馬博文

雑音除去拡散サンプラー

Python によるハンズ・オン
Sampling
Process
Python

(Vargas et al., 2023) の DDS (Denoising Diffusion Sampler) は変分推論のように逆 KL 乖離度を最小化することを通じて，一般の確率分布からのサンプリングを可能にする方法である．今回は 公式の実装 を吟味する．

10/06/2024
司馬博文

流体モデル概観

大気の Lorenz 96 モデル，流体の Navier-Stokes モデル
Nature
Julia

Lorenz’ 63, Lorenz’ 96 とはそれぞれ (Lorenz, 1963), (Lorenz, 1995) によって導入された大気モデルである． 前者はバタフライ効果の語源ともなった，最初に特定されたカオス力学系でもある． Navier-Stokes 方程式は流体の運動を記述する方程式である． これらはいずれもデータ同化・軌道推定技術のベンチマークとして用いられている． ここでそれぞれのモデルの数学的性質と Julia を通じたシミュレーションの方法をまとめる．

10/05/2024
司馬博文

理想点解析のハンズオン

MCMCpack パッケージとオリジナル Stan コードを使って
Bayesian
Statistics
MCMC
R

政治学における理想点解析とは，項目反応モデルを用いて裁判官や国会議員などの価値判断基準や「イデオロギー」を定量化・視覚化する方法である． ここでは既存のパッケージを用いて簡単に理想点解析を行う方法から始め， 自分で Stan コードを書いてモデルを推定する方法を紹介する． その際に最も重要な理想点モデルの性質として，識別可能性 の議論がある． これが保たれていないと，モデルの事後分布は多峰性を持ってしまい，推定をするたびに結果が異なったり，統計量の長期間平均が \(0\) になってしまったりしてしまう．

10/02/2024
司馬博文

ベイズデータ解析３

標本調査データと欠測データの扱い
Bayesian
Statistics

標本調査において欠測はつきものである．観測単位が欠測している場合 (unit nonresponse)，call-back や follow-up などの調査を行うか，それができない場合は 荷重校正 (calibration weighting) が可能である．一方で，項目が欠測している場合 (item nonresponse)，代入法 (imputation) が用いられる．

9/24/2024
司馬博文

ベイズデータ解析４

アンケートデータとデータ統合
Bayesian
Statistics

応募法 (voluntary sampling) や多くのウェブアンケートは，確率標本抽出に該当しない．このような場合でも母集団に関する補助情報がある限り，バイアスを軽減し推定精度を高めることができる．

9/24/2024
司馬博文

ベイズ分散分析のモデル解析

心理学実験を題材として
Bayesian
Statistics
R

心理学などの人間を対象にする研究では変数の数が多く，正しいモデルを見つけるために分散分析 (ANOVA) が広く用いられる． しかし，古典的な ANOVA 解析手法である F-検定や t-検定は，データの一側面しか伝えない． 一方で，モデルの仮定を前面に出したベイズ的な解析手法は，データを探索的に吟味することができ，極めて微妙な消息も捉えることが可能になる． 本稿では特にベイズ ANOVA 手法 (Gelman, 2005), (Rouder et al., 2012) を採用して，そのモデルケースを実証する．

9/24/2024
司馬博文

ベイズデータ解析１

分散分析
Bayesian
Statistics

心理学などの人間を対象にする研究では変数の数が多く，正しいモデルを見つけるために分散分析 (ANOVA) が広く用いられる． しかし古典的な ANOVA 解析手法である F-検定や t-検定は，データの一側面しか伝えない． これらの問題点を解決策としてベイズの方法を導入し，ベイズ ANOVA，ベイズ推論とモデル比較が ANOVA の発展として得られることをみる． この拡張は，ANOVA の線型モデルとしての解釈を通じてなされ，ANOVA の「同じ係数を共有するクタスタ構造の特定手法」というより広い理解へ導かれる．

9/23/2024
司馬博文

ベイズデータ解析２

平均処置効果の推定とセミパラメトリック法
Statistics

人間を対象にする介入の研究では，介入の前後で変化があったかが争点となる． この変化の量を表す平均処置効果 (ATE) を，なるべくモデルを仮定せずどこまで識別できるかが多くの場合論点になる． この際の枠組みが潜在結果モデルである． したがって，操作変数法などの交絡統制法がある一方で，ATE の推定にはモデルの誤特定に強いセミパラメトリックな手法が要請される． 一般化推定方程式，一般化モーメント法，経験尤度法などの方法がある． 本稿ではこれらの推定量を同一の枠組みの下でまとめる． 推定量の分散を求めるためには漸近論のほかにブートストラップ法も用いられる．

9/23/2024
司馬博文

超次元 MCMC

モデル選択のためのマルコフ連鎖モンテカルロ法
Bayesian
MCMC
Statistics

ベイズ統計におけるモデル選択／モデル平均のためには，異なる次元を持つパラメータ空間を往来するような MCMC サンプラーが必要になる．

9/22/2024
司馬博文

R 上の Stan インターフェイス

RStan, RStanArm, CmdStanR
Bayesian
Computation
Stan
R

Stan は MCMC や変分推論などのベイズ推論エンジンを備えた，統計モデリングのための確率的プログラミング言語です．CLI，Python，Julia，R など，主要な言語からパッケージを通じて利用可能ですが，本稿では特に R からの利用方法をまとめます．

9/19/2024
司馬博文

ベイズ生存時間解析

生存曲線のベイズ階層モデルによる外挿
Bayesian
MCMC
Statistics

本稿では生存時間解析の代表的なモデルを概観する． 特に医療技術評価への応用では，打ち切りデータを最もよく外挿できるハザードモデルが探索され，ベイズ推定が有効な方法としてよく選択される． 本稿では特に表現力の高い競合リスクモデルとして polyhazard model を紹介し，ベイズ推定の困難さを議論する．

次稿ではこのモデルを Zig-Zag サンプラーでベイズ推定する方法を紹介する．

9/12/2024
司馬博文

最適輸送とは何か？

歴史と概観
P(X)
Survey

最適輸送問題は変分法の黎明期に提案された変分問題の１つであるが，その発展は確率論の成熟を待つ必要があった．現代では多くの非正則な空間上に幾何学的な量を定義する普遍的な手法として理解されてから，多くのフィールズ賞受賞者を輩出する最も活発な分野の１つとなっている．ここまでの発展の歴史を本記事では概観したい．

9/03/2024
司馬博文

雑音除去過程

Ornstein-Uhlenbeck 過程の時間反転
Process
Sampling

拡散過程の時間反転を考えると，Hyvärinen スコアがドリフト項に現れる．特に OU 過程の時間反転は雑音除去過程 (Denoising Diffusion) といい，サンプリングに利用されている．デノイジングスコアマッチングでは，時間反転に Hyvärinen スコアが出現することを利用してデータ分布のスコアを推定する．Tweedie の式がこれを正当化するが，この式を用いたサンプリング手法には確率的局所化というものもある．

8/26/2024
司馬博文

ニューラル常微分方程式

PyTorch によるハンズオン
Deep
Sampling
Python

Gauss 分布からデータ分布までの変換を，可逆なニューラルネットワークでモデリングする正規化流は，ODE に基づいて設計することもできる．この方法は Neural ODE や連続な正規化流 (CNF) ともいう．今回は PyTorch を用いて，正規化流の実装の概要を見る．

8/20/2024
司馬博文

Skilling-Hutchinson の跡推定量

Probability
Functional Analysis

Skilling-Hutchinson の跡推定量は，跡の計算 \(O(d^2)\) を \(O(d)\) に落とすことができる Monte Carlo 法である．

8/20/2024
司馬博文

階層モデル再論

多変量解析から機械学習へ
Statistics
Kernel
Probability
Bayesian

本稿では，線型かつ１層の潜在変数モデルに議論を限り，機械学習と統計学と種々の応用分野での潜在変数モデル／階層モデルの議論を統一的に扱う．

8/12/2024
司馬博文

特異値分解

Functional Analysis

行列の特異値分解とは，正方行列の直交対角化を一般の行列に拡張したものである．特異値を大きいものから \(r\) 個選ぶことで，Hilbert-Schmidt ノルムの意味で最適な \(r\)-階数近似が構成できる．このことは主成分分析に応用を持つ．

8/12/2024
司馬博文

カーネル法の概観

半正定値カーネルから距離学習まで
Kernel

カーネル法とは，半正定値カーネルを用いてデータを Hilbert 空間内に埋め込むことで，非線型な変換を行う統一的な手法である．再生核 Hilbert 空間の理論により，写した先における内積は，半正定値カーネルの評価を通じて効率的に計算できるため，無限次元空間上での表現に対する tractable な手段を提供する．適切な半正定値カーネルを用いることで，データの「類似度」を定義することができる．本稿では半正定値カーネルの理論と距離学習法を扱う．

8/10/2024
司馬博文

フローベース模型による条件付き生成

誘導からフローマッチングへ
Deep
Sampling
P(X)

拡散模型は拡張性にも優れており，条件付けが容易である．現状は誘導付き拡散によってこれが実現されるが，連続的な条件付き生成のために，フローマッチングなる方法も提案された．

8/10/2024
司馬博文

離散空間上の拡散モデル

位相構造を取り入れた次世代の構造生成へ
Deep
Sampling
Nature

画像と動画に関してだけでなく，言語，化学分子の構造生成など，拡散模型が応用されるドメインは拡大を続けている．これは連続空間上にとどまらず，言語やグラフなどの離散空間上でも拡散模型が拡張理解され始めたことも大きい．本稿では，離散データを連続潜在空間に埋め込むことなく，直接離散空間上に拡散模型をデザインする方法をまとめる．その利点はドメインごとに過程を設計できる柔軟性にあると言える．

8/09/2024
司馬博文

Neural Network 訓練の加速

PyTorch について調べたこと
Deep
Python

前稿で DDPM の実装を紹介したが，実際にローカルのマシンで訓練をしてみると２日かかる．これを加速するためのテクニックを調べた．筆者のローカルマシンは M2 Mac mini であるため，CUDA がなく，皮層的な内容に終始している．Apple Silicon 上では，小さなモデルであっても MPS (Metal Performance Shaders) を用いることで５倍以上の高速化が可能であった．

8/06/2024
司馬博文

正規化流

normflows によるハンズオン
Deep
Sampling
Python

確率分布を Gauss 潜在変数の非線型な押し出しとしてモデリングする．この押し出しを深層ニューラルネットワークでモデリングすれば，豊かな表現力が得られる．加えて，このニューラルネットワークを可逆に設計すれば，このモデルの尤度も評価することが出来る．今回は normflows を用いて，正規化流の実装の概要を見る．

8/03/2024
司馬博文

エネルギーベースモデルのノイズ対照学習

PyTorch によるハンズオン
Deep
Sampling
Python

確率分布を統計物理の言葉（エネルギー，分配関数など）でモデリングする方法論である．今回は PyTorch を用いて，エネルギーベースモデルのノイズ対照学習の実装を見る．

8/03/2024
司馬博文

拡散モデルによる事後分布サンプリング

Langevin 拡散の時間反転を用いたシミュレーションベースのサンプリング法
Process
Sampling
P(X)

拡散モデルから始まるフロー学習手法は，画像と動画に関して 2024 年時点で最良の性能を誇る． これは統計的に言えば事後分布からの近似的サンプリングを実行していることに相当する． 近似的ではなく，正確に２つの分布を補間するような拡散過程を推定するためには Schrödinger 橋がある． Schrödinger 橋については 次稿 に譲るとし，本稿ではサンプラーとしての拡散モデルを復習する．

8/03/2024
司馬博文

拡散モデルからシュレディンガー橋へ

Iterative Proportional Fitting アルゴリズムについて
Process
Sampling
P(X)

拡散モデルは「データ過程をノイズに還元する Langevin ダイナミクスを時間反転する」という発想に基づいており，画像と動画の生成・条件付き生成タスクに関して 2024 年時点で最良の方法の１つである． この発想を正確なサンプリング法に昇華するためには，(Deming and Stephan, 1940) の Iterative Proportional Fitting アルゴリズムを用いることができる． この方法は拡散モデルによる条件付き生成の加速法として (Shi et al., 2022) によって提案された． こうして得る拡散過程は Schrödinger Bridge とも呼ばれ，エントロピー最適輸送と深い関わりを持つ．

8/03/2024
司馬博文

拡散模型の実装

PyTorchによるハンズオン
Deep
Sampling
Python

今回は PyTorch を用いて， Ho et. al. [NeurIPS 33(2020)] による DDPM (Denoising Diffusion Probabilistic Model) の実装の概要を見る．DDPM は拡散模型の最初の例の１つであり，ノイズからデータ分布まで到達するフローを定める拡散過程（雑音除去過程）を，データをノイズにする拡散過程の時間反転として学習する方法である．画像や動画だけでなく，離散空間上でタンパク質などの構造生成でも state of the art の性能を示すモデルである．

8/02/2024
司馬博文

スコアマッチング

JAX によるハンズオン
Deep
Python

スコアマッチングとは，データ分布のスコアを学習すること中心に据えた新たな生成モデリングへのアプローチである．ここでは，JAX を用いた実装を取り扱う．

8/02/2024
司馬博文

非線型な次元縮約法の概観

最古にして最難のタスクと多様体学習
Deep
Nature
Statistics
Geometry

生成・表現学習と深い関係にあるタスクに，次元縮約がある．非線型な次元縮約法は多様体学習の名前の下でも研究されている．表現学習とも関連が深いが，一般に表現学習はパラメトリックであるとするならば，次元縮約ではノンパラメトリックな表現と視覚化の学習が目標である．

7/30/2024
司馬博文

表現学習と非線型独立成分分析

「データ理解」に向けた深層潜在変数モデル
Deep

表現学習，非線型独立成分分析など，「生成」以外の潜在変数模型の応用法を横断してレビューする．識別性を保った深層潜在モデルを学習しようとする方法は，因果的表現学習とも呼ばれている．

7/29/2024
司馬博文

VAE：変分自己符号化器

PyTorch によるハンズオン
Deep
Sampling
Python

変分自己符号化器 (VAE) は，データを周辺分布にもつ潜在変数モデルを変分 Bayes 推論によって学習するアルゴリズムである． 従来計算・近似が困難であった変分下界を，ニューラルネットワークによって近似するアプローチである． 学習されたベイズ潜在変数モデルからはサンプリングによって新たなデータを生成することができるため，深層生成モデルの一つに分類されることもある．

7/28/2024
司馬博文

サンプリングとは何か

Monte Carlo 法が人類にもたらした「力」
Computation
Sampling
Opinion

サンプリング，または Monte Carlo 法は，現代の統計学と機械学習において必要不可欠な道具となっている．それは一体どうしてだろうか？初まりは Los Alamos 研究所にて，確率変数をシミュレーションすることが可能になったことは，人類に何をもたらしただろうか？

7/26/2024
司馬博文

信念伝搬アルゴリズム

変分平均場近似
Bayesian
Nature
Computation

信念伝搬法 (BP: Belief Propagation) はランダムグラフや木の上で定義されたスピン系の熱平均を計算するアルゴリズムであり，Monte Carlo 法より高速な代替となる．変分手法と違い，前述のクラスのモデルでは正確な推論が可能になる上に，一般のグラフ上でも良い近似を与え，また一般により速いアルゴリズムを与える．コミュニティ抽出や圧縮センシングの問題はまさにこのクラスのモデルと対応し，信念伝搬法（または変分近似）によって効率的に解くことができる．

7/26/2024
司馬博文

大規模な不均衡データに対するロジスティック回帰（後編）

離散時間 MCMC から連続時間 MCMC へ
Bayesian
Computation
Julia
MCMC

ロジットモデルやプロビットモデルの事後分布からのサンプリングには，その混合構造を利用したデータ拡張による Gibbs サンプラーが考案されている．しかし，このような Gibbs サンプラーは不明な理由で極めて収束が遅くなることがよく見られ，そのうちの１つのパターンが 大規模な不均衡データ である．前編ではこの現象がなぜ起こるかに関して考察した．ここでは代替手法として Zig-Zag サンプラーがうまくいくことをみる．

7/18/2024
司馬博文

Zig-Zag サンプラーのサブサンプリングによるスケーラビリティ

大規模モデル・大規模データに対する MCMC を目指して
MCMC
Computation
Julia
Sampling

Zig-Zag サンプラーは，その非対称なダイナミクスにより，収束が速くなることが期待されている MCMC 手法である．それだけでなく，対数尤度の勾配に対する不偏推定量をサブサンプリングにより構成することで，ベイズ推論においてサンプルサイズに依らない一定のコストで効率的な事後分布からのサンプリングが可能である．

7/18/2024
司馬博文

理想点解析・多次元展開法・項目応答理論

空間モデルの特定を目指して
Bayesian
Statistics

理想点解析とは，政治学においてイデオロギーを定量化する方法論である．この手法は多くの側面を持ち，多次元展開法 (MDU: Multidimensional Unfolding) であると同時に項目反応モデルでもある．初めに政治学における理想点解析の目的と役割を概観し，続いて多次元展開法と項目反応理論の２つの観点から理想点解析を眺める．

7/16/2024
司馬博文

大規模な不均衡データに対するロジスティック回帰（前編）

離散時間 MCMC から連続時間 MCMC へ
Bayesian
Computation
Julia
MCMC
Statistics

ロジットモデルやプロビットモデルの事後分布からのサンプリングには，その混合構造を利用したデータ拡張による Gibbs サンプラーが考案されている．しかし，このような Gibbs サンプラーは不明な理由で極めて収束が遅くなることがよく見られ，そのうちの１つのパターンが 大規模な不均衡データ である．この記事では，この現象がなぜ起こるかに関する考察を与え，次稿で代替手法として Zig-Zag サンプラーがうまくいくことをみる．

7/12/2024
司馬博文

Langevin Dynamics の多項式エルゴード性

Ergodic Lower Bounds
Process

目標分布の裾が重ければ重いほど，Langevin 拡散過程の収束は遅くなる．本記事ではその様子を，平衡分布との全変動距離について，定量的に評価する．

7/05/2024
司馬博文

Zig-Zag 過程によるサンプリング

ジャンプと確定的な動きによる新たな MCMC 手法
Process
Sampling
Julia
MCMC

Zig-Zag サンプラー定義とエルゴード性を解説する．続いて，Zig-Zag サンプラーは非対称なダイナミクスを持つために，従来の MCMC よりも速い収束が期待されることを，MALA との比較でみる．最後に，Zig-Zag サンプラーの実装に用いたパッケージとその利用方法を示す．

7/03/2024
司馬博文

Lévy 過程を見てみよう

YUIMA パッケージを用いたシミュレーションを通じて
Process
Sampling
Stan
YUIMA
R

Lévy 過程は独立定常増分な Feller-Dynkin 過程のことである．このクラスの過程は，Brown 運動と純粋跳躍過程の独立和として表現される．これが Lévy-Ito 分解であるが，純粋跳躍過程の全てが複合 Poisson 過程かといえばそうではない．Gamma 過程は任意の区間上で無限回跳躍するが，有界変動である（B 型の Lévy 過程）．Cauchy 過程は有界変動ではなく，跳躍部分は発散するが，無限に強いドリフトによってこれを打ち消している（C 型の Lévy 過程）．これらの過程を例とし，YUIMA パッケージを通じてシミュレーションを行いながら，Lévy の特性量 \((A,\nu,\gamma)\) の変化が，Lévy 過程の見本道にどのような変化をもたらすかの直感的理解を試みる．

7/01/2024
司馬博文

分子動力学法

数学者のための統計力学３：物理に寄り添った Monte Carlo 法
Nature
Computation

本質的に Metropolis 法がサンプリング法であるならば，MD 法は \(N\)-体問題に対する数値解法であると言える．しかし，Hamiltonian Monte Carlo は元々 Monte Carlo 法と MD 法との融合を目指したものであること，Event-Chain Monte Carlo 法も MD 法における古典的手法の輸入と理解できること，Langevin 動力学も正準集団に対する MD 法と捉えられることを考えると，尽きぬ計算テクニックの源泉であると言える．

6/29/2024
司馬博文

Poisson 過程を見てみよう

YUIMA パッケージを用いたシミュレーションを通じて
Process
Sampling
Stan
YUIMA
R

Poisson 点過程とは，各集合内に入る点の数が Poisson 分布によって定まるランダムな点からなる測度である．これを一般化した複合 Poisson 点過程のクラスは，互いに素な集合に入る点の個数が独立に決まるようなランダム測度を網羅するクラスになる．Lévy 過程のジャンプ測度は複合 Poisson 点過程になる．

6/29/2024
司馬博文

ベイズ統計学とスピングラス

誤り訂正符号を題材にして
Bayesian
Nature
Information

広い範囲の設定の下では，種々のベイズ推定は，スピングラスの planted ensemble における基底状態探索や平衡物理量の計算と同一視できる．この対応が歴史上最初に発見されたのが，誤り訂正符号の設定においてであった．特にこの対応の下で，ハイパーパラメータの正確な特定に成功したベイズ最適な推定とは，西森ライン上のスピングラス系の熱力学として捉えられる．西森ライン上ではスピングラス相は出現せず，数々の魅力的な性質が成り立つ．EM アルゴリズムはこれを利用してハイパーパラメータの真値と MAP 推定を同時に行うアルゴリズムと見れる．

6/23/2024
司馬博文

ベイズ統計学と統計物理学

スパース符号の復元を題材として
Bayesian
Nature
Information

ノイズ付きで観測された情報を復元するデノイジング問題は，ベイズ推定問題として扱える．これを統計力学の観点からランダムエネルギーモデルとして解析することで，データ数無限大の極限における振る舞いを理解できる．一般に，ベイズ統計モデルはスピングラスモデルと同一視することができ，その漸近論（特に比例的高次元極限）に閾値現象が出現することはスピングラス系の常磁性相とスピングラス相の相転移と深い対応を持つ．

6/20/2024
司馬博文

R による記号微分入門

calculus パッケージ入門
R
YUIMA

calculus は c++ を通じて数値微分・数値積分を高速に実行するパッケージである．同時に，ほとんどの演算を，純粋に記号操作により実行する機能も持つ．一般の多変数関数を，記号のまま微分，Taylor 展開することができる．

6/18/2024
司馬博文

総合研究大学院大学５年一貫博士課程のすすめ

統計科学コース（統計数理研究所）
Opinion
Life

統数研での五年一貫制博士課程（正確には，総合研究大学院大学統計科学コース）を紹介します．同期が居ないこと（がありえること）が最も人を選ぶ点でしょう．しかし，そのことが気にならない場合は，まさに理想郷のような研究環境が整っていると言えるでしょう．

5/25/2024
司馬博文

新時代の MCMC を迎えるために

連続時間アルゴリズムへの進化
MCMC
Sampling
Poster

物質科学を震源地とする MCMC のイノベーションが，統計力学と統計学の分野に波及して来ています．その結果，ここ 10 年で急激に MCMC 手法の革新が起こりました．従来 MCMC が離散時間ベースだったところが，イベントベースかつ連続時間ベースなものにとって替わられようとしているのです．これら連続時間 MCMC はどのような手法なのか？従来法を超えるのか？どのような場面で使えるのか？……等々疑問は尽きません．この新たな手法を正しく受け止めるために，現状の MCMC への理解から，新手法がどのように生まれたかの軌跡を辿り，現状の理解を確かめます．

5/24/2024
司馬博文

YUIMA による汎函数計算

漸近展開と setFunctional()
Stan
R
YUIMA
Process

R パッケージ yuima は確率過程のモデリングとその統計推測を可能にするフレームワークです．広範なクラスの確率微分方程式のシミュレーションが可能です．今回はそのような確率過程の汎函数の漸近展開に基づく計算方法を紹介します．確率変数の期待値を近似するのに Monte Carlo 法は普遍的な方法ですが，漸近展開が用いられる場合，その計算時間は比較にならないほど速くなります．

5/18/2024
司馬博文

YUIMA 入門

Stan
R
YUIMA
Process

R パッケージ yuima は確率過程のモデリングとその統計推測を可能にするフレームワークです．従来の i.i.d. 仮定の下での統計推測から，一般の確率過程の統計推測への橋渡しを目標としています．鋭意開発中のパッケージですが，すでに広範なクラスの確率微分方程式のシミュレーションが可能です．本稿では基本的な使い方を紹介します．

5/17/2024
司馬博文

Stan 入門

Bayesian
Computation
Stan

Stan は MCMC や変分推論などのベイズ推論エンジンを備えた，統計モデリングのための確率的プログラミング言語です．CLI，Python，Julia，R など，主要な言語からパッケージを通じて利用可能です．本稿では Stan 言語の基本をまとめます．

5/17/2024
司馬博文

SDE のベイズ推定入門

YUIMA と Stan を用いた確率過程のベイズ推定入門
Process
MCMC
R
Stan
YUIMA
Bayesian

R パッケージ YUIMA を用いた SDE のベイズ推定に，バックエンドとして Stan による HMC の実装を用いる方法を模索する．Stan は C++ を用いる独立した確率プログラミング言語で移植性は高いが，それ故 YUIMA からこれを用いる際に，専用のインターフェイスを考える必要が生じる．

5/12/2024
司馬博文

brms によるベイズ混合モデリング入門

ポアソン混合効果モデルを例に
Bayesian
MCMC
R
Stan
Statistics

brms はベイズ階層モデリングを，確率的プログラミング言語 Stan をエンジンとして行う R パッケージである． 基本的な線型回帰から固定・変量効果の追加まで極めて簡単に実行できる，大変実用的なパッケージである． 本稿では，brms の基本的な使い方とその実装を紹介する． その中で混合効果モデルについてレビューをする． ランダム効果の追加は縮小推定などの自動的な正則化を可能とする美点がある一方で，係数の不偏推定やロバスト推定に拘る場合はこれを避ける判断もあり得る．

5/12/2024
司馬博文

志学・応用数学

統計的推論のダイナミクスとその変分原理
Opinion
Life

現代の統計・機械学習を確率的ダイナミクスとして理解し，同時にこれを説明する変分原理を明らかにすることが，これからの応用数学の１つの有望な方向だと考える．統計や機械学習のモデルに物理学的な解釈を付加したり，ベイズ推論としての解釈や事前分布を明瞭化したりすることで，双方に資すると同時に，共通理解の足場となる数学を目指したいものである．

5/10/2024
司馬博文

Roberts and Tweedie (1996) Exponential Convergence of Langevin Distributions and Their Discrete Approximations

論文メモ
Review

Roberts and Tweedie [Bernoulli 2(1996) 341-363] は MALA (Metropolis-Adjusted Langevin Algorithm) の指数エルゴード性を議論したもの．

4/23/2024
司馬博文

Tartero and Krauth (2023) Concepts in Monte Carlo Sampling

論文メモ
Review

Tartero and Krauth [arXiv (2023)] は１次元の非調和振動子を題材に，分子動力学法，Metropolis 法，consensus，lifting，連続時間 MCMC，thining などの計算手法と計算技術を，疑似コード付きで解説している．

4/18/2024
司馬博文

Duane+ (1987) Hybrid Monte Carlo

論文メモ
Review

Duane et al. [Phys. B 195(1987) 216-222] は Hamiltonian Monte Carlo 法の提案論文と目されているが，その実は全く違う文脈の中で提案された．場の量子論における (Parisi and Wu, 1981) の確率過程量子化や小正準法にように，正確に物理的過程をシミュレーションする必要はないのである．これを Metropolis 法の提案核に使うことを提案した論文である．

4/18/2024
司馬博文

Metropolis+ (1953) Equation of State Calculations by Fast Computing Machines

論文メモ
Review

Metropolis et. al. [The Journal of Chemical Physics 21(1953) 1087-1092] は初の MCMC（乱歩 Metropolis 法）を，対称分布を Gibbs の正準分布として，“modified Monte Carlo scheme” という名前の下で提案し，剛円板モデルのシミュレーションに応用した論文である．重点サンプリングを “Monte Carlo method” と呼び，「目標分布から直接サンプルを生成できるために提案分布と目標分布とのズレによる性能劣化がない」ことを美点として挙げている．この手法は後の (Hastings, 1970) による改良と併せて，Metropolis-Hastings 法と呼ばれるようになる．

4/18/2024
司馬博文

アンサンブルと熱力学極限

数学者のための統計力学２：小正準集団・正準集団・大正準集団
Nature

統計力学の理論で用いられる３つのアンサンブルと，熱力学極限の概念を定義し，これらが熱力学極限において同等な理論を与えることを見る．統計力学の中心的トピックの１つである相転移も，熱力学極限における物理量の解析性の喪失として定義される．

4/07/2024
司馬博文

統計力学における基本的な模型の総覧

数学者のための統計力学１：Ising 模型とスピングラス
Nature
Deep

統計力学の場面設定を数学的に理解することを試みる．統計力学の代表的なモデルを，古典粒子系と格子系とに分けて紹介する．現代の計算科学の最前線は，剛円板モデルや \(XY\) モデルをはじめとした，２次元のモデルであると言える．

4/07/2024
司馬博文

Peters and de With (2012) Rejection-Free Monte Carlo Sampling for General Potentials

論文メモ
Review

Peters and de With [Phys. E 85(2012) 026703] は Metropolis 法による棄却-採択の代わりに，衝突により方向を変える粒子を想定することで，効率的な Monte Carlo 法を実行することを目指した．ただの event-driven な molecular dynamics と違い，一般の滑らかなポテンシャルに適用可能である点が革新的である．しかし，粒子系のポテンシャルは常に和の形で表されるように，一般の PDMP に基づいた連続時間 MCMC 手法も，適用可能なモデルの範囲が限定されている点が難点である (Nemeth and Fearnhead, 2021)．

4/06/2024
司馬博文

計算とは何か

計算とサンプリングのはざまにある Monte Carlo 法
Computation
Sampling
Opinion

数値実験と LLM とはいずれもシミュレーションに使えるが，用いる形式が違う（数字と文字）．これにより，物理的な用途と社会的な用途とに別れている．この形式の違いを超克するのが機械学習の悲願であるとするならば，計算とはなんだろうか？ Monte Carlo 法とはシミュレーションと計算を架橋する存在であるならば，今後どのような貢献ができるのであろうか？

4/06/2024
司馬博文

Butkovsky and Veretennikov (2013) On Asymptotics for Vaserstein Coupling of Markov Chains

論文メモ
Review
Kernel

Butkovsky and Veretennikov [Stochastic Processes and Their Applications 123(2013) 3518-3541] は対称とは限らないエルゴード的な Markov 連鎖の収束レートを，カップリングの方法を用いて導出した仕事．

4/04/2024
司馬博文

エネルギーベースモデル

深層生成モデル５
Deep
Nature
Sampling

確率分布を統計物理の言葉（エネルギー，分配関数など）でモデリングする方法論である．

3/30/2024
司馬博文

待ち時間の Markov 過程のエルゴード性

Recurrent Events and Residual Waiting Time
Process

繰り返し起こる事象の待ち時間をモデル化した Markov 連鎖・過程を例として，Markov 連鎖のエルゴード性に関連する概念を概観する．特に，収束レートと中心極限定理がいつ成り立つかを議論する．待ち時間の分布が一次の積率を持つとき，過程はエルゴード的であり，全変動距離は多項式速度で収束する．待ち時間の分布の裾が重いほど，収束は遅くなる．

3/25/2024
司馬博文

確率核という概念

データ解析の営みを確率空間の圏上で理解する
Probability
Kernel
Process
Functional Analysis
P(X)

確率核という概念は現状あまりポピュラーではないと思われるが，数学的にいえば，Markov 過程論，確率論，さらにはデータ解析の中心に据えられるべき中心概念であると言えるかもしれない．例えば，カーネル法とは確率核に沿った埋め込みである．MCMC の性質も，本質的に確率核の性質が決定する．また確率核は，確率空間の圏の射となる．
このように，多くのデータ解析手法の中核に位置する数学的本体たる「確率核」への入門を目指すのが本記事である．

3/24/2024
司馬博文

これからはじめるベイズ機械学習

所信表明を兼ねて
Bayesian
AI
Opinion
現在，産業界における “AI” というと専ら，いくつかの限られた巨大 IT 企業が，巨大ニューラルネットワークを最尤推定で学習させ，これを基盤モデルとして公開し，我々一般庶民はそれを有効活用して下流タスクを安価に解くことだけ考えるという営みを指す．
3/20/2024
司馬博文

A Recent Development of Particle Methods

Inquiry towards a Continuous Time Limit and Scalability
Particles
Computation
Poster

Recently developments in continuous-time MCMC algorithms have emerged as a promising direction for scalable Bayesian computation. This poster explores their SMC counterparts. A new finding about a continuous-time limit of particle filter is discussed.

3/08/2024
Hirofumi Shiba

グラフニューラルネットワーク

位相的データ解析の旗手
Deep

グラフニューラルネットワークは CNN や Transformer などの従来のニューラルネットワークアーキテクチャを拡張したクラスである．

3/07/2024
司馬博文

半導体入門

現代社会の「魔素」が見えるように
Nature
Survey

半導体デバイスの基本原理と製造方法を物理から理解することを目指す．

2/26/2024
司馬博文

トランスフォーマー

深層生成モデル１
Deep
AI

2023 年までの「基盤モデル」と呼ばれるような大規模な深層学習モデルは，ほとんど全て同一のアーキテクチャを持つ．これがトランスフォーマーである．その構造を，主に言語の分野に注目して概説する．最後に画像と動画の分野にも触れる．

2/20/2024
司馬博文

VAE：変分自己符号化器

深層生成モデル３
Deep
Sampling

変分自己符号化器 (VAE) は，データを周辺分布にもつ潜在変数モデルを変分 Bayes 推論によって学習するアルゴリズムである． 従来計算・近似が困難であった変分下界を，ニューラルネットワークによって近似するアプローチである． 学習されたベイズ潜在変数モデルからはサンプリングによって新たなデータを生成することができるため，深層生成モデルの一つに分類されることもある．

2/18/2024
司馬博文

ニューラル常微分方程式

シミュレーションなしの拡散モデルとしての連続正規化流
Deep
Sampling
P(X)

Gauss 分布からデータ分布までの変換を，可逆なニューラルネットワークでモデリングする正規化流は，ODE に基づいて設計することもできる．この方法は Neural ODE や連続な正規化流 (CNF) ともいう．しかし，連続なフローを学習するのに，MLE では大変なコストがかかる．実は２つの分布を繋ぐ経路を学習する問題は尤度とは何の関係もなく，Flow Matching により直接的かつ効率的に学習できる．現在の最先端の画像・動画生成モデルは，この Flow Matching の技術に拠っている．

2/14/2024
司馬博文

正規化流

深層生成モデル４
Deep
Sampling

確率分布を Gauss 潜在変数の非線型な押し出しとしてモデリングする．この押し出しを深層ニューラルネットワークでモデリングすれば，豊かな表現力が得られる．加えて，このニューラルネットワークを可逆に設計すれば，このモデルの尤度も評価することが出来る．

2/14/2024
司馬博文

拡散模型

深層生成モデル６
Deep
Process
Sampling

拡散模型はノイズからデータ分布まで到達するフローを生成する拡散過程を，データをノイズにする拡散過程の時間反転として学習する方法である．大規模なニューラルネットワークを用いて学習した場合，画像と動画に関しては 2024 年時点で最良の性能を誇る．

2/14/2024
司馬博文

変分推論３

変分ベイズ推論
Bayesian
Computation
Python

確率的グラフィカルモデルの汎用推論手法である変分 Bayes アルゴリズムを解説する．変分 Bayes 推論とは，事後分布を指定した分布族の中で，KL-距離が最も小さくなるように近似する手法をいう．この分布族として，種々のパラメトリック分布を仮定したり，平均場近似を採用したりすることで，種々の変分 Bayes アルゴリズムが得られる．

2/12/2024
司馬博文

Gauss 過程を用いた統計解析

実践編（回帰と分類）
Bayesian
Kernel
Python

数学者のために，Gauss 過程を用いた統計解析を，回帰と分類の２例紹介する．

2/11/2024
司馬博文

Gauss 過程を用いたベイズ推論

理論編
Bayesian
Kernel
Process

Gauss 過程は関数に対するノンパラメトリックモデルである．正確には，関数空間上の共役確率分布を定めるため，Gauss 過程を用いて回帰関数に関する効率的な Bayes 推論が可能になる．ニューラルネットワークも，例えば１層で全結合のものは，隠れ素子数が無限になる極限で Gauss 過程回帰と等価になる．

2/11/2024
司馬博文

数学者のための深層学習概観

歴史と導入
Deep
Survey

数学者のために，深層学習の基礎と歴史を概観する．ニューラルネットワークの成功は，極めて単純な関数族を表現する可微分な層を深く重ねていくことで，関数としての高い表現力を得ながら，自動微分により効率的に数値的な最尤推定を実行可能にした，計算機時代最強のモデリング技法の１つである．関数近似能力，適切な初期値設定を見つける表現学習技法，そこからの確率的最適化など，種々の要素が成功に必要不可欠であったために，その成功の理由は極めて込み入っている．ここでは少しでもその成功の理由に近づくことを目標に，深層学習の発展の歴史を概観する．

2/11/2024
司馬博文

GAN：敵対的生成ネットワーク

深層生成モデル２
Deep
Sampling

数学者のために，深層生成モデルの先駆けである GAN を概観する．

2/11/2024
司馬博文

変分推論２

EM アルゴリズム
Computation
Python

数学者のために，変分推論の基本的な考え方を説明するシリーズであるが，第２回は変分 Bayes アルゴリズムの特殊な場合とみれる EM アルゴリズムに注目する．

2/10/2024
司馬博文

法律家のための統計数理（６）GPT 入門

番外編１
草野数理法務

今回は番外編と称し，ChatGPT の元となる大規模言語モデルである GPT の概要を解説する．

2/07/2024
司馬博文

変分推論１

K-平均アルゴリズム
Computation
Python

本稿では，\(K\)-平均アルゴリズム によるクラスタリングの考え方と問題点を，Python による実演を通じてみる．次稿 で，\(K\)-平均アルゴリズムの model-aware な一般化として EM アルゴリズム を説明し，その共通の問題点「初期値依存性」と「局所解へのトラップ」の数理的な理解を目指す．

2/03/2024
司馬博文

純粋跳躍過程の生成作用素と区分的確定的 Markov 過程

ジャンプと確定的な動きによる新たな MCMC 手法
Process
Sampling
R

PDMP は，A 型の Lévy 過程を含む，複合 Poisson 点過程が定めるジャンプと決定論的なドリフトのみからなる確率過程のクラスをいう．この性質をよく理解するために，まずは，有界なレートを持つ純粋に跳躍のみで動く過程の生成作用素を調べる．確率核 \(\mu\) とレート \(\lambda\) という２つのパラメータは，それぞれ各地点からのジャンプ先を定める確率核と，ジャンプの起こりやすさを表す．最後に，現状もっとも活発に研究されている２つの PDMP である Zig-Zag Sampler と Bouncy Particle Sampler とを紹介する．

1/31/2024
司馬博文

法律家のための統計数理（５）統計的仮説検定入門

教科書第３章第５―８節 (pp. 96-126)
草野数理法務

教科書第３章第５節から第８節 (pp. 96-126) を通じ，統計学検定への入門も兼ねて，推測統計学のうち統計的仮説検定の基礎を学ぶ．

1/24/2024
司馬博文

数学者のための確率的グラフィカルモデル２

統計力学の観点から
Bayesian
Computation
Nature

数学者のために，マルコフネットワークの古典的な例と，統計力学の考え方を概観する．

1/19/2024
司馬博文

法律家のための統計数理（４）推測統計学

教科書第３章第１―４節 (pp. 73-96)
草野数理法務

教科書第３章第１節から第４節 (pp. 73-96) を通じ，統計学検定への入門も兼ねて，推測統計学の基礎を学ぶ．

1/11/2024
司馬博文

統計的学習理論１

PAC 学習
Foundation

統計的機械学習には，「汎化」に価値を置く独特の決定理論的な枠組みが存在する．特に，第一義的には経験リスクを最小化すること，より正確には経験リスク最小化と正則化とをバランスよく目指す「構造的リスク最小化」が広く機械学習のモデリング指針として採用されている．

1/10/2024
司馬博文

測度の正則性 | Regularities of Measures on Topological Spaces

Functional Analysis

位相空間上の測度の正則性に関連する概念をまとめる．

1/05/2024
司馬博文

Measurability of the Minkowski Sum of Two Sets

Functional Analysis

For two Borel sets \(A,B\in\mathcal{B}(\mathbb{R}^n)\), we cannot expect \(A+B\) to be always Borel. We give sufficient conditions for the Minkowski sum \(A+B\) to be Borel, and also give a concrete counterexample for the case \(n\ge3\).

1/05/2024
Hirofumi Shiba

分岐過程

Process

分岐過程の定義と歴史，性質についてまとめる．

12/23/2023
司馬博文

VSCode での執筆環境

LaTeX, Overleaf, Quarto, Julia, R, Python, … etc.
Lifestyle

VSCode での LaTeX 環境構築に関するページ．

12/22/2023
司馬博文

法律家のための統計数理（３）意思決定解析

教科書第２章 (pp. 42-72)
草野数理法務

教科書第2章第4節 (pp. 42-72)を通じ，決定木を用いた意思決定分析の方法を学んだ．機械学習では，不確実性の下での意思決定支援をするエキスパートシステム作成を目指した，確率的グラフィカルモデルという分野が絶賛発展中である．決定木からベイジアンネットワークへの進化を遂げた現代の技術の広がりを，世界銀行報告書，内閣府日本経済白書，そして法科学への応用事例を通じて学んだ．

12/20/2023
司馬博文

数学者のための確率的グラフィカルモデル１

ベイジアンネットワークとマルコフネットワーク
Bayesian
Computation

PGM (Probabilistic Graphical Modelling) で用いられる代表的なモデル３つ（ベイジアンネットワーク，マルコフネットワーク，ファクターグラフ）を定義し，その性質を抽象的に説明する．これらは，複雑な高次元分布の分解を，計算機に理解可能な形で与える技法である．マルコフネットワークの形で与えられる分布に対しては，たとえ高次元であろうとも，MCMC によって効率的なサンプリングが可能である．

12/20/2023
司馬博文

粒子フィルターを用いたサンプリング | About SMC Samplers

テンパリングを通じたもう一つの万能サンプラー
Particles
MCMC
Survey

粒子フィルターは 30 年前に「万能」非線型フィルタリング手法として開発されたが，それは粒子系を輸送するメカニズムとしての万能性も意味するのであり，汎用サンプラーとしても「万能」であるのかもしれないのである．近年，最適化や最適輸送の理論と結びつき，その真の力がますます明らかになりつつある．本稿では現在までのサンプラーとしての SMC 手法に対する理解をまとめる．

12/14/2023
司馬博文

粒子フィルターの実装 | Particles Package

NumPy と SciPy で粒子フィルターを実装する
Particles
Python

Pythonを用いて粒子フィルターを実装する方法を，Nicolas Chopinによるparticlesパッケージを参考に解説する．

12/11/2023
司馬博文

ベイズ計算とは何か | About Bayesian Computation

Bayesian
Computation
Sampling
Survey

「ベイズ統計学」は一大トピックであるが，「ベイズ計算」という分野があることはそれほど周知のことではない．しかし，ベイズ統計学は常に「計算が困難で実行が難しい」という問題と共にあってきたのであり，ここ30年のベイズ統計学の興隆は計算機の普及と効率的なベイズ計算法の発明に因る．モデル・データがいずれも大規模で複雑になっていく現代において，ベイズの枠組みも柔軟に取り入れた更なる統計計算法の発展が欠かせない．

12/06/2023
司馬博文

法律家のための統計数理（２）Bayes の定理

教科書第１章第２―３節 (pp. 14-30)
草野数理法務

教科書第１章第２〜３節 (pp. 14-30) までの内容を自分たちで一から解いた．特に，第３節の内容で，Bayes の定理を自分たちの手だけで，公理のみから導出した．加えて，Bayes 統計学と筆者の専門である Bayes 計算の分野紹介をした．

12/06/2023
司馬博文

About Mental Health Issues

Life

メンタルヘルスの世界を知らざるを得なくなった人と，「自分は今後どうなるのか」という不安に苛まれている人へ．

12/04/2023
司馬博文

「有界」測度と「有限」測度 | Between ‘Bounded’ Measures and ‘Finite’ Measures

Functional Analysis

They are the same mathematical object. Let’s step back to view the big picture.

12/02/2023
司馬博文

条件付き期待値の測度論的基礎付け

Probability
条件付き期待値を，測度論から厳密に定義する際，ポイントは次の4点である．
12/02/2023
司馬博文

Influential Books Which Paved My Path into Mathematics

Book Recommendations
Life

I will explore how a few books inspired me and paved my way into Mathematics.

12/01/2023
Hirofumi Shiba

粒子フィルターとは何か

非線型フィルタリング手法としての粒子フィルタ
Particles
Survey
Computation

粒子フィルターは今年で誕生30周年を迎える「万能」非線型フィルタリング手法である．相関を持つ粒子系によって分布を逐次的に近似する遺伝的アルゴリズムであり，多くの科学分野にまたがる応用を持つと同時に，数理的対象としても豊かな構造を持つ．その発明の歴史と今後の研究方向を紹介する．

11/25/2023
司馬博文

確率測度の変換則

Gamma 分布と Beta 分布を例に
Probability
Gamma 確率変数と，その変換として得る Beta 確率変数とに関する次の命題の証明を与える（第 3 節）．
11/24/2023
司馬博文

Whispter API を通じて日本語音声を書き起こす方法

Lifestyle
Python

Whispter API は25MBまでの音声ファイルしか書き起こししてくれないので，長時間の音声ファイルを一度に書き起こしてもらうには工夫が必要．

11/23/2023
司馬博文

正規標本の標本平均と標本分散が独立であることの証明

Probability
次の命題の証明を与える．
11/22/2023
司馬博文

法律家のための統計数理（１）確率論入門

教科書第１章第１節 (pp. 1-14)
草野数理法務

教科書第1章第1節(pp.1-14)までの内容を，確率論の公理と数学の考え方を補足しながら，自分の言葉で導出しなおした．

11/22/2023
司馬博文

条件付き正規分布からのシミュレーション法

Sampling
Probability
(Doucet, 2010) の内容に基づき，証明を与えながら，条件付き Gauss 分布の特定と，効率的なシミュレーション法を議論し，線型Gauss 状態空間モデルのフィルタリング（特に Ensemble Kalman filter）に応用する．
11/17/2023
司馬博文

Markov Category (nLab) | 紹介

Probability
Foundation

「総合的確率論」アプローチの基本概念に Markov 圏の概念がある．これは可測空間を対象とし，確率核を射として得る圏のことである．nLab の Markov category のページを翻訳して紹介する．

11/11/2023
司馬博文

書籍紹介 Del Moral (2013) Mean field simulation for Monte Carlo integration

Review

前文を翻訳

11/09/2023
司馬博文

書籍紹介 Del Moral (2004) Feynman-Kac Formulae

Review

Feynman-Kac モデルという物理モデルを定義し，逐次モンテカルロ法（粒子フィルター）をその Monte Carlo シミュレーション法として位置付けて解説した書籍である． 例として挙げられるトピックも物理学のものが多く，書籍のスタイルも物理学書のそれである． ここでは 1.1 節 “On the Origins of Feynman-Kac and Particle Models” の抄訳を通じて内容を概観したい．

11/08/2023
司馬博文

数学者のためのカーネル法概観

カーネル PCA と SVM を例として
Kernel

数学者のために，カーネル法によるデータ解析が何をやっているのかを抽象的に説明する．カーネルとは対称な２変数関数であり，これを用いてデータ点を，データ空間上の関数に変換することで非線型変換を獲得するための道具である．

11/07/2023
司馬博文

相関粒子系の社会実装

Particles
Opinion

相関粒子系がどのように社会で活躍出来るか？という問いに対する１つの案として，「ビジネスモデルのモデル」が提示される．ここでは「状態空間モデル」の構造を人間社会に見つけることが肝要になる．

11/06/2023
司馬博文

俺の人生を変えたもの Top5

Life

10月以前と10月以降で過ごし方が大きく変わった その要因のうち最も大きいと思われるもの５つを紹介

11/05/2023
司馬博文

Quarto はじめて良かったこと

Lifestyle

Quarto は TeX のような使用感で，数式とコードが併存する文章を書き，１つのソースファイルから PDF, HTML, Word, Reveal.js, PowerPoint などの多様な形式に出力できる次世代の執筆環境である．TeX, RStudio, Jupyter Notebook のいずれかに慣れている人であれば，極めて手軽に Quarto を使うことができる．筆者が用意した テンプレート から簡単に始めることができる．公式の ギャラリー も参照．

11/04/2023
司馬博文

R の概観

Computation
R

R は統計計算のための言語です．その基本的なデータ型と，「属性」を通じた実装，そしてオブジェクト志向の構造について解説します．

5/07/2021
司馬博文

R（２）ベクトル

Computation
R

統計言語 R において，ベクトルは極めて基本的なデータ構造であり，行列・配列・リストはいずれも追加の属性を持ったベクトルと理解できる．本稿では，ベクトルの構成法，単項演算，二項演算，indexing などを解説する．

5/07/2021
司馬博文

R（３）リスト

Computation
R

R におけるリストは，独自の index $ を持った構造体であり，Python の dictionary， Perl の hash table に似ている．$ は S3 の機能で，S4 は @ である．これはリストが本質的に R の実装の深いところに存在するデータ型だからである．

5/07/2021
司馬博文

俺のための Julia 入門（０）スタートアップガイド

インストール・特徴・パッケージ管理
Julia
俺のためのJulia入門

Julia はスクリプト言語とコンパイル言語の良いとこどりを目指して開発された言語である．Matlab のような数学的な記述ができ，C のような実行速度を保ち，Python のような汎用性を持ち，Shell のようなモジュール性を持つ．

9/05/2020
司馬博文
No matching items

References

Andral, C., and Kamatani, K. (2024). Automated techniques for efficient sampling of piecewise-deterministic markov processes.
Bafumi, J., Gelman, A., Park, D. K., and Kaplan, N. (2005). Practical Issues in Implementing and Understanding Bayesian Ideal Point Estimation. Political Analysis, 13(2), 171–187.
Corbella, A., Spencer, S. E. F., and Roberts, G. O. (2022). Automatic Zig-Zag Sampling in Practice. Statistics and Computing, 32(6), 107.
Deming, W. E., and Stephan, F. F. (1940). On a least squares adjustment of a sampled frequency table when the expected marginal totals are known. The Annals of Mathematical Statistics, 11(4), 427–444.
Gelman, A. (2005). Analysis of variance—why it is more important than ever. The Annals of Statistics, 33(1), 1–53.
Hastings, W. K. (1970). Monte Carlo Sampling Methods Using Markov Chains and Their Applications. Biometrika, 57(1), 97–109.
Lorenz, E. N. (1963). Deterministic nonperiodic flow. Journal of Atmospheric Sciences, 20(2), 130–141.
Lorenz, E. N. (1995). Predictability: A problem partly solved. In Seminar on predictability, 4-8 september 1995. ECMWF.
Nemeth, C., and Fearnhead, P. (2021). Stochastic gradient markov chain monte carlo. Journal of the American Statistical Association, 116(533), 433–450.
Parisi, G., and Wu, Y. (1981). PERTURBATION THEORY WITHOUT GAUGE FIXING. Scientia Sinica, 24(4), 483–.
Rouder, J. N., Morey, R. D., Speckman, P. L., and Province, J. M. (2012). Default bayes factors for ANOVA designs. Journal of Mathematical Psychology, 56(5), 356–374.
Shi, Y., De Bortoli, V., Deligiannidis, G., and Doucet, A. (2022). Conditional simulation using diffusion Schrödinger bridges. In J. Cussens and K. Zhang, editors, Proceedings of the thirty-eighth conference on uncertainty in artificial intelligence,Vol. 180, pages 1792–1802. PMLR.
Sutton, M., and Fearnhead, P. (2023). Concave-Convex PDMP-based Sampling. Journal of Computational and Graphical Statistics, 32(4), 1425–1435.
Vargas, F., Grathwohl, W. S., and Doucet, A. (2023). Denoising Diffusion Samplers. In The eleventh international conference on learning representations.