Notes for Self Study – Hirofumi Shiba

サーベイ | レビュー | カテゴリ

PDMP サンプラーの高次元 Gauss での挙動

PDMP

MCMC

Process

A Blog Entry on Bayesian Computation by an Applied Mathematician

4/28/2025

司馬博文

HDG.qmd

A Function that is Continuous on a Closed Subset

Topology

The set of all continuity points of a function is a $G_{δ}$ set. Conversely, every $G_{δ}$ set is the set of all continuity points of some function. We construct an example of a function $f : R \to R$ that is continuous on $(- \infty, 0]$ but discontinuous on $(0, \infty)$ .

4/17/2025

Hirofumi Shiba

ContiunitySet.qmd

PDMP によりスパイク付きの非絶対連続分布からもサンプリングが可能になる

PDMP

第19回日本統計学会春季集会でのポスター発表の予稿です．PDF 版はこちら

2/25/2025

司馬博文

第19回日本統計学会春季集会.qmd

Implementation Details of `PDMPFlux.jl`

Julia

PDMP

In this introduction, we quickly give an overview of how the PDMPFlux.jl package works, through a standard example.

12/31/2024

Hirofumi Shiba

Details.qmd

ノンパラメトリック回帰分析

Statistics

Nonparametrics

12/30/2024

司馬博文

NRegression.qmd

セミパラメトリック重回帰分析

Statistics

Nonparametrics

重回帰モデルにおける OLS 推定量は，部分回帰推定量としての解釈を持つ．この性質を用いた手法が媒介分析や操作変数法である． OLS 推定量は不均一分散の場合でも不偏性・一致性・漸近正規性を持ち得るが，漸近有効性は失われる．これを回復するには，誤差の分散を推定して重み付けを行う必要がある．このような方法は一般化最小二乗法と呼ばれる．さらに相関を持つデータを分析するために，より一般の共分散構造を持ったモデルに対してこの手法が拡張されている．疫学では一般化推定方程式，さらに一般には計量経済学で一般化モーメント法と呼ばれる方法である．これらの方法は作業共分散の選択により，セミパラメトリック漸近最適な分散を達成したり，バイアスを小さくしたりできるが，いずれもトレードオフの範疇にある．

12/29/2024

司馬博文

Regression.qmd

Likelihood of Hierarchical Models

Probability

Statistics

We examine how to find & formally determine the likelihood function of hierarchical models. As a real-world example, we consider the ideal point model, also known as the 2-parameter logistic item response model.

12/23/2024

Hirofumi Shiba

likelihood.qmd

On the Identifiability of the Bafumi et. al. Ideal Point Model

Bayesian

Statistics

MCMC

Ideal point models are 2-parameter item response model, tailored to the purpose of visualizing / measuring the ideological positions of the legislators / judges. (Bafumi et al., 2005) introduced a hierarchical structure to the model to deal with the problem of identifiability. In this article, we re-examine the model and show that the posterior distribution of the parameters (ideal points) is still bimodal, indicating its weak identifiability.

12/22/2024

Hirofumi Shiba

Bafumi.qmd

Sticky PDMP によるベイズ変数選択

Bayesian

Statistics

PDMP

A Blog Entry on Bayesian Computation by an Applied Mathematician

12/21/2024

司馬博文

BayesSticky.qmd

連続・離散を往来する MCMC サンプラー

Bayesian

Statistics

MCMC

A Blog Entry on Bayesian Computation by an Applied Mathematician

12/21/2024

司馬博文

BayesTraverse.qmd

`brms` を用いたノンパラメトリック回帰分析

Bayesian

Statistics

A Blog Entry on Bayesian Computation by an Applied Mathematician

12/16/2024

司馬博文

BayesNonparametrics.qmd

階層ベイズ理想点解析

Bayesian

Statistics

MCMC

Computation

A Blog Entry on Bayesian Computation by an Applied Mathematician

12/15/2024

司馬博文

IdealPoint3.qmd

`brms` を用いたベイズ混合ロジスティック回帰分析

Bayesian

Statistics

Stan

項目反応モデルとは，被験者と項目のそれぞれが独自のパラメータを持った一般化線型混合効果モデルである．被験者ごとの特性の違いや，項目ごとの性質の違いが視覚化できるが，本稿では能力・難易度パラメータに更なる階層構造を考える．これにより能力パラメータを変化させている背後の要因や，項目特性と個人特性の交絡効果（特異項目機能）を解析することが可能になる． brms パッケージは極めて直感的な方法でモデルのフィッティングから事後分布の推論までを実行できる．

12/14/2024

司馬博文

BayesGLMM.qmd

`brms` を用いたベイズロジスティック回帰分析

Bayesian

Statistics

Stan

ロジスティック回帰分析は離散的な応答データを扱うことのできる一般化線型モデルである．他にも，高度に非線型な関係が予期される場合，ノンパラメトリック手法に移る前の簡単な非線型解析としても活躍する．本稿では BMI と LDL の非線型関係に関する探索的手法として，順序ロジスティック回帰分析を実行する．

12/12/2024

司馬博文

BayesGLM.qmd

ベイズデータ解析７

Bayesian

Statistics

データが自然な階層構造を持つ場合，これを取り入れた自然な事前分布を，一つ上の階層に回帰モデルを付け加えることで構成できる．このようなモデルをベイズ階層モデルという．本稿ではベイズ階層モデルの縮小効果を概観する．事前知識を構造に関する知識としてモデルに取り入れることでデータによりフィットする尤度構造を獲得することは，データ解析の一つの目標として，（線型）回帰モデルの自然な拡張と理解できる．

12/12/2024

司馬博文

BDA3.qmd

変量効果と固定効果

Opinion

Statistics

階層モデル

\begin{matrix} (1) & y_{i j} = θ_{j} + ϵ_{i j} \end{matrix}

\begin{matrix} (2) & θ_{j} = μ + γ_{j} \end{matrix}

を考える．

j \in [J]

がグループ，

i \in [n_{j}]

はそのグループに所属する単位とする．層別・クラスター抽出された標本，パネルデータなど，好きなように解釈して…

12/11/2024

司馬博文

FixedRandom.qmd

ベイズデータ解析８

Bayesian

Statistics

A Blog Entry on Bayesian Computation by an Applied Mathematician

12/11/2024

司馬博文

BDA4.qmd

ベイズ変数選択

Bayesian

Statistics

点推定における変数選択法は，正則化項の追加によることが多い．これはベイズ推論では $0$ 近傍に大きな確率を持った事前分布を仮定していることに等しい．ベイズの観点から適切な縮小事前分布を用意することで，大きな効果を持つ回帰係数は変えずに，効果の小さい変数を排除することができる．一般に LASSO よりも絞って選択してくれることが多い．

またベイズ変数選択では， $0$ にアトムを持つ事前分布を用いることで，当該の変数がモデルに含まれる事後確率 (PIP: Posterior Inclusion Probability) を算出することができる．この方法ではモデルの空間を効率的に探索するサンプラーの開発が重要であるが，近年では効率的なサンプラーが複数提案されている．

12/10/2024

司馬博文

BayesSelection.qmd

`brms` を用いたベイズ重回帰分析

Bayesian

Statistics

ベイズ重回帰分析は解析者のデータへの理解を促進する強力な探索的データ解析手法である．このことを brms パッケージと BMI データを用いて例証する．１変数の場合から始め，変数を追加して挙動が変わるのを解釈・検証（残差プロット・事後予測プロット）しながら慎重に進んでいく．交差検証による事後予測スコア elpd を用いて，データの非線型変換を利用することで，非線型な関係を見出す方法を扱う．ここまで行えば，データの階層化やノンパラメトリックな手法の採用などの次のステップが自然と見えてくるだろう．

12/10/2024

司馬博文

BayesRegression.qmd

ベイズデータ解析６

Bayesian

Statistics

通常の回帰モデルは応答変数が連続であることが暗黙の仮定となっている．この節では，応答変数が質的変数である場合のモデリングを扱う．質的変数は順序変数であるか名目変数であるか（順序の構造があるかないか）の峻別が重要である．いずれの場合でも多くのモデルが利用可能であり，その多くが一般化線型モデルの枠組みで統一的に扱うことができる．

12/05/2024

司馬博文

BDA2.qmd

ベイズデータ解析５

Bayesian

Statistics

ベイズ回帰分析のワークフローを概観する．一つの悲願として，階層モデルを構築して，パラメータをもはや残さず，尤度の推定に成功することがあることを紹介する．分散分析はこの階層化の際の鍵を握る考え方として，現代でも重要な位置付けを得ることになる．また多くの回帰分析ではデータを変換して線型関係の推定に集中する場合が多く，これを扱う数理モデルとして一般化線型モデルを紹介する．

12/05/2024

司馬博文

BDA1.qmd

英国研究滞在記

Life

11/4 からロンドンに１ヶ月ほど滞在します。

ロンドン（広くイギリス）は自分の中ではベイズ計算の中心地の１つと目してますので大変楽しみです。 https://t.co/gaGrnnLTRl

12/01/2024

司馬博文

UCL.qmd

ベイズ理想点解析

Bayesian

Statistics

MCMC

Computation

理想点解析とは，政治学において国会議員のイデオロギーを定量化・視覚化する方法論である．この手法は多くの側面を持ち，項目反応モデルであると同時に多次元展開法 (MDU: Multidimensional Unfolding)でもある．

11/22/2024

司馬博文

IdealPoint2.qmd

`AdvancedPS.jl` パッケージ

Particles

Julia

Julia に存在する粒子フィルター関連のパッケージの実装と，その使い方をまとめる．

10/26/2024

司馬博文

AdvancedPS.qmd

`PDMPFlux.jl` パッケージ

Julia

MCMC

PDMP / 連続時間 MCMC とは 2018 年に以降活発に研究が進んでいる新たな MCMC アルゴリズムである．実用化を遅らせていた要因として，種々のモデルに統一的な実装が難しく，モデルごとにコードを書き直す必要があったことが挙げられたが，この問題は自動微分の技術と，(Corbella et al., 2022), (Sutton and Fearnhead, 2023) らの適応的で効率的な Poisson 点過程のシミュレーションの研究によって解決されつつある．ここでは (Andral and Kamatani, 2024) の Python パッケージ pdmp_jax とこれに基づく Julia パッケージ PDMPFlux.jl を紹介する．

10/17/2024

司馬博文

PDMPFlux.qmd

References

Andral, C., and Kamatani, K. (2024). Automated techniques for efficient sampling of piecewise-deterministic markov processes.

Bafumi, J., Gelman, A., Park, D. K., and Kaplan, N. (2005). Practical Issues in Implementing and Understanding Bayesian Ideal Point Estimation. Political Analysis, 13(2), 171–187.

Corbella, A., Spencer, S. E. F., and Roberts, G. O. (2022). Automatic Zig-Zag Sampling in Practice. Statistics and Computing, 32(6), 107.

Dai, H., Pollock, M., and Roberts, G. (2019). Monte Carlo Fusion. Journal of Applied Probability, 56(1), 174–191.

Deming, W. E., and Stephan, F. F. (1940). On a least squares adjustment of a sampled frequency table when the expected marginal totals are known. The Annals of Mathematical Statistics, 11(4), 427–444.

Fearnhead, P., Latuszynski, K., Roberts, G. O., and Sermaidis, G. (2017). Continious-time importance sampling: Monte carlo methods which avoid time-discretisation error.

Gelman, A. (2005). Analysis of variance—why it is more important than ever. The Annals of Statistics, 33(1), 1–53.

Hastings, W. K. (1970). Monte Carlo Sampling Methods Using Markov Chains and Their Applications. Biometrika, 57(1), 97–109.

Lorenz, E. N. (1963). Deterministic nonperiodic flow. Journal of Atmospheric Sciences, 20(2), 130–141.

Lorenz, E. N. (1995). Predictability: A problem partly solved. In Seminar on predictability, 4-8 september 1995. ECMWF.

Nemeth, C., and Fearnhead, P. (2021). Stochastic gradient markov chain monte carlo. Journal of the American Statistical Association, 116(533), 433–450.

Parisi, G., and Wu, Y. (1981). PERTURBATION THEORY WITHOUT GAUGE FIXING. Scientia Sinica, 24(4), 483–.

Rouder, J. N., Morey, R. D., Speckman, P. L., and Province, J. M. (2012). Default bayes factors for ANOVA designs. Journal of Mathematical Psychology, 56(5), 356–374.

Shi, Y., De Bortoli, V., Deligiannidis, G., and Doucet, A. (2022). Conditional simulation using diffusion Schrödinger bridges. In J. Cussens and K. Zhang, editors, Proceedings of the thirty-eighth conference on uncertainty in artificial intelligence,Vol. 180, pages 1792–1802. PMLR.

Sutton, M., and Fearnhead, P. (2023). Concave-Convex PDMP-based Sampling. Journal of Computational and Graphical Statistics, 32(4), 1425–1435.

Vargas, F., Grathwohl, W. S., and Doucet, A. (2023). Denoising Diffusion Samplers. In The eleventh international conference on learning representations.

Categories

References