新時代の MCMC を迎えるために
モンテカルロ法の発展とは,背後の物理現象からの離陸の歴史でした.非対称な Metropolis-Hastings アルゴリズムがどのように生まれたかと,その最先端のアイデアと言える連続時間 MCMC 法の歴史を,サンプルコード付きで紹介します.(2024 年度統計数理研究所オープンハウス)
総合研究大学院大学5年一貫博士課程(統計科学コース)2年.専門はベイズ計算.
統計数理研究所 鎌谷研吾 先生と 矢野恵佑 先生の下で,マルコフ連鎖モンテカルロ法 (MCMC) や逐次モンテカルロ法 (SMC) などの統計計算アルゴリズムを,確率過程と関数解析の観点から研究しています.
また,確率過程の統計推測のための R パッケージである YUIMA の開発などを通じ,モンテカルロ法とベイズ統計の応用にも広く取り組んでいます.
現状のモンテカルロ法の多く(Langevin Monte Carlo や Hamiltonian Monte Carlo など)は物理学的な由来を持ちますが,最も効率的な方法はそうではないかもしれません.
コーヒーに砂糖を溶かす際,我々は砂糖粒子の拡散にまかせるのではなく,スプーンで混ぜます.同様の仕組みをモンテカルロ法に取り入れることで,効率性をさらにあげることができるはずです.
その第一歩が 非対称性 であり,この性質をもつアルゴリズムの提案と計算複雑性の解析,そして大規模で複雑なデータへの応用を行なっています.
2023.7 – 現在.統計数理研究所
2023.4 – 現在.東京大学先端科学技術研究センター
総合研究大学院大学.指導:鎌谷研吾,矢野恵佑.
東京大学理学部数学科.指導:吉田朋広.
1999 年に横浜市磯子区に生まれる.
物心がついてきた頃,当時は「高校生クイズ」なる番組で開成高校が大活躍しており,その世界に入りたいと思うようになる.高校生たちが紙とペンだけから,たった5分で「宇宙の年齢を推定せよ」という問題にも「このヒエログリフ碑文を読解せよ」という問題にも糸口を見つけて正解に辿りつく姿には大変憧れた.
小学3年生で東京に引っ越し,無事その後開成中学に入学.憧れていたクイズに打ち込み,自身も高校生クイズに出場することが叶うが,アメリカ進出手前で敗退.番組も学問的な内容から方針を変えてしまっており,「憧れの舞台」というものがすでに失くなってしまっていたことも少し残念であった.
しかし高校の頃はよく本を読むことは心がけた.期末試験前で授業がなくなるタイミングなどは絶賛の好機であった.統計を通じて「履歴書が厚手で紙質が良いほど合格が出やすい」などという人間行動の不思議が暴けることに驚き,統計科学の研究者に憧れたものだった.
そこで部活引退後は学問を志すようになる.数学で自然の音が聴こえるようになりたいと思い,浪人期は物理に熱中した.原島力学 や ファインマン力学 が面白く,自分も物理学がやりたいと思うようになるが,肝心の「自然現象にはあまり興味がない」という難点があった.物理学以外の応用数学分野も知らなかったので,ひとまず大学入学後は理学部物理学科に進もうと思っていた.
入学後,計算機が世間の潮流だと知り,ここに「新時代の応用数理」が眠っているのではないかと思うようになる.ということで計算機関連の数学がやりたいと思うようになるが,東京大学の 前期教養学部での数学の授業 が始まると「これだ」と直覚する.自分はずっと数学の応用が好きだが,最初の「数学の応用」は数学の内部で起こることに気づき,学部は絶対数学科だと進学を決意.
5月の数学科のガイダンスで,「応用に興味ある者にとって,数学科と他の学科との最大の違いは,ここでなら『数学に軸足を置いた応用』ができる」との言葉が背中を押したことも大きい.応用先が曖昧であった自分にとって,「軸足」の語がしっくり来た.入学1ヶ月の時点でもう堅く決意していたため,教養の統計学の授業も一切取らず,数学科目に集中した.数学原論 の出版に伴い開講された 圏と層 に巡り合い,より一層のめり込んでいく.
数学科に進むかどうかは点数の高低ではなく来年の夏に死がどれぐらい怖いかによって決定される
— Hirofumi Shiba (@ano2math5) May 11, 2019
無事数学科に進学したものの,家庭環境の急変から経済的にも学業的にも休めない状況が続き,大学3年の5月にパニック障害を患う.追試をくらった代数と幾何が半ばトラウマになり,自分は確率統計で食べていくのだと思うようになる.しかし治療に専念していた間でも,Pedersen の関数解析の本 だけは読めた.ずっと 基礎論 や 計算機科学 が好きであったが,解析が面白いと思ったのはこれが初めてだった.
4年の講究では Nualart の Malliavin 解析の本 を読んだ.3年次は人生を立て直すので精一杯で授業が取れず,確率論は全て独学であったから確率過程の概念に大変難儀したが,確率解析と Malliavin 解析は関数解析の知識が非常に役に立ち,大変に面白かった.
しかし自分はやはり「応用先としての数学」には何も興味を持てず,かといって前例の少ない進学をするための準備時間も取れなかった.そんな中で,指導教員から鎌谷先生の存在と計算統計学の分野を知り,統数研の受験を決意する.たまたまこの年は統数研の改組があったため冬の受験のみであり,その頃には病は快方に向かっていたためよく対策できたのである.
統数研では初年度から多くの学会に出させてもらったことがかけがえのない経験になった.MCMC の概念をなんとなく把握できた程度だった夏の ICIAM の 4日目 のセッションで,「粒子系を輸送する」という最適輸送の見方を取り入れた最適化ベースのサンプリング法を知り衝撃を受けた.サンプリングは確率分布の空間 \(\mathcal{P}(X)\) 上の 力学系と見れる と気づいて大変興味を持った.
サンプリング法も輸送もとびきりに面白かった.これで機械学習というものを一気に身近に感じて本格的に興味を持ち,年度末に機械学習分野最大のサマースクール MLSS2024 に参加するため,なんとかポスター発表を用意した.今思うとこれがその後の研究の方向性を決定付けた.誘ってもらった清水さんには感謝が尽きない.
サマースクールでは全く知らない・興味のない分野の授業も聞くことになり,これが思いもしなかった出会いに導いてくれるのが美点であった.Francesco Orabona 氏の最適化の授業と Marco Cuturi 氏の最適輸送の授業とは当時から面白かったが,グラフニューラルネットワークと群論による位相的機械学習の授業も後から効いてきた.「数学は一つ」という思いを強めるばかりであった.
また,ポスターを通じて Omar と知り合ったなど,出会いが大きい.本サイトのプロフィール写真も MLSS にて 黒木さん に撮ってもらったものである.