カーネル法１ – Hirofumi Shiba

概要

数学者のために，カーネル法によるデータ解析が何をやっているのかを抽象的に説明する．カーネルとは対称な２変数関数であり，これを用いてデータ点を，データ空間上の関数に変換することで非線型変換を獲得するための道具である．

1 導入

カーネル法とニューラルネットワークの比較
	Kernel	NN
潜在空間	無限	有限
基底関数	固定	適応的

カーネル法の強みは，ノンパラメトリックモデリングを行った場合にある．

(Song et al., 2013)

CME (Conditional Mean Embedding)¹, (Song et al., 2009)

確率核 \(P:\mathcal{X}\to\mathcal{Y}\) の再生核 Hilbert 空間 \((H_\mathcal{X},k_\mathcal{X}),(H_\mathcal{Y},k_\mathcal{Y})\) に関する 条件付き平均埋め込み とは，\(\mathcal{X}\) 上の \(H_\mathcal{Y}\)-値確率変数 \[ P_*(x):=\int_{\mathcal{Y}}k_{\mathcal{Y}}(y,-)P(x,dy)\in\mathcal{L}(\mathcal{X};H_\mathcal{Y}) \] をいう．

References

Li, Z., Meunier, D., Mollenhauer, M., and Gretton, A. (2022). Optimal rates for regularized conditional mean embedding learning. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in neural information processing systems,Vol. 35, pages 4433–4445. Curran Associates, Inc.

Park, J., and Muandet, K. (2020). A measure-theoretic approach to kernel conditional mean embeddings. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in neural information processing systems,Vol. 33, pages 21247–21259. Curran Associates, Inc.

Song, L., Fukumizu, K., and Gretton, A. (2013). Kernel Embeddings of Conditional Distributions: A Unified Kernel Framework for Nonparametric Inference in Graphical Models. IEEE Signal Processing Magazine, 30(4), 98–111.

Song, L., Huang, J., Smola, A., and Fukumizu, K. (2009). Hilbert space embeddings of conditional distributions with applications to dynamical systems. In Proceedings of the 26th annual international conference on machine learning, pages 961–968. New York, NY, USA: Association for Computing Machinery.

Footnotes

(Li et al., 2022, p. 5) Def.2, (Park and Muandet, 2020, p. 4) Def.3.1↩︎