1 序
A Blog Entry on Bayesian Computation by an Applied Mathematician
$$
$$
回帰モデルの点推定で最も広く用いられるアルゴリズムは OLS である:
その他の推定法は別稿で扱う:
OLS は応答
尤度を使わない推定法であるが,Gauss-Markov モデル(均一誤差モデル)
その構成から予期される通り,OLS 推定量は極めて良い線型代数的な性質を持つ.実際,
ここでは重回帰モデルにおける OLS 推定量の性質を調べる.
2 重回帰
2.1 設定
計画行列
部分モデル (2) の回帰係数
2.2 Frisch-Waugh-Lovell の定理
次の結果は少なくとも (Yule, 1907) から知られていたが,計量経済学では (Frisch and Waugh, 1933) と (Lovell, 1963) の名前で知られる.
すなわち,
これを重回帰係数の 部分回帰係数 としての解釈とも呼ぶ (Ding, 2024, p. 60).
2.3 Cochran の公式
これは
計量経済学では
すなわち,誤差
(Baron and Kenny, 1986) の媒介分析はこのように OLS 推定を複数の回帰モデルに対して実行し,直接効果と間接効果の量を推定する.この手続きは (Wright, 1918) のパス分析と深い関係がある.
2.4 交絡と共変量統制
具体的に,処置変数を
フルモデル
すなわち,
2.5 leverage score
射影行列
2.6 VIF
この際,最初の因子は
これを 分散拡大係数 (VIF: Variance Inflation Factor) と呼ぶ.
2.7 Bias-Variance Tradeoff
一般に全ての関連する説明変数を入れた方が現実に近く,推定・予測精度は高くなると考えられる.
しかし VIF の命題から,説明変数を増やすたびに OLS 推定量の分散は増大することがわかる.
このようなトレードオフを バイアス-分散トレードオフ (Bias-Variance Tradeoff) という.
2.8 操作変数
仮に
操作変数
2.9 2段階 OLS
以上の手続きは,ここまで議論してきた方法の特別な場合である.
実際,
この回帰により得る推定値
続いて
一般に TSLS も一致性と漸近正規性を持つ (B. E. Hansen, 2022, pp. 351–352).
3 不均一分散
3.1 OLS の漸近正規性
Guass-Markov モデルの線型モデルとしての最大の仮定は,均一の分散
しかしこの仮定を外しても,OLS 推定量は不偏性・一致性・漸近正規性を持つ(この順に追加の条件が厳しくなる).
3.2 EHW 頑健標準誤差
この漸近正規性に基づく分散推定量
これを計量経済学では (White, 1980) の推定量と呼ぶが,初めに提案したのは (Eicker, 1967) と (Huber, 1967) であるようである.
3.3 有効性
では OLS は何を失うのか?
したがって特に情報量が大きい観測と,ノイズが大きくてあまり意味をなさない観測というものが相対的に出てくる.
これを峻別して適切に観測に重み付けることが必要である.
これができない OLS は有効性を失う.代わりに重み付けを行った OLS は有効性を持つ.
3.4 WLS
第 3.1 節で考えた不均一分散の設定は
一般には解析を始める前に
この重み付けの考え方は標本抽出の際にも重要であり,(Horvitz and Thompson, 1952) の逆確率重み付け法とも呼ばれる:
3.5 局所線型回帰
局所線型回帰 (local linear regression) はカーネル法を用いてデータ点を適切に重み付けることで,非線型な回帰を達成する方法である.
具体的には,基準点
3.6 一般化線型モデルの解放
一般化線型モデル
その肝となる事実は,あらゆる関数
したがって
多くの場合
この結果を用いれば,指数型分布族などのパラメトリックモデルに依らずとも,漸近論に基礎付けられた点推定が達成できる.
なお指数分布族の仮定の下で
3.7 相関の考慮
ここまでの議論をまとめよう.OLS の漸近正規性 3.1 は,誤差分布が不均一であるばかりでなく,
GLS (Generalized Least Squares) はこの相関を持つ場合でもセミパラメトリック漸近最適性を達成する.
この結果を任意の逆リンク
最後にこの仮定を取り払い,一般の誤差分布
このために開発されたのが 一般化推定方程式 (GEE: Generalized Estimating Equations) (Liang and Zeger, 1986) である.
3.8 一般化推定方程式
この式は今までで最も一般的な形をしており,最適化条件 (3) で推定を実行する GLS に対して,1次の最適性条件に基づいて導出する方法ということができる.それ故,逆リンク
実際,一般化推定方程式 (5) は,最適化条件 (3) を
一般化推定方程式 (5) による推定も,i.i.d. とは限らない場合の
3.9 GEE の仮定
しかし GEE には重要な仮定
しかし
また関数関係
4 終わりに
以上の枠組みは全て 一般化モーメント法 (GMM: Generalized Method of Moments) (L. P. Hansen, 1982) の枠組みの中に位置する.
GMM という名前は,OLS 推定の1次の最適性条件として得る直交条件
さらには経験尤度法 (Owen, 1988), (Qin and Lawless, 1994) も漸近正規性を持つノンパラメトリック手法であり,GMM の後釜として期待されている.特に直交条件の数が多い GMM よりバイアスが少ない.
しかし GMM の方が分散が大きいことがあり,bias-variance のトレードオフがある (Newey and Smith, 2004).
References
Footnotes
(Ding, 2024, p. 81) 定理9.1.The proof of Theorem 9.1 is very simple. However, it is one of the most insightful formulas in statistics.↩︎
生態学的誤謬 (ecological fallacy) ともいう.↩︎
この意味での「内生性」は,「外生的じゃない」こととも意味がズレてしまう.
を満たすならば が必要であるから,「内生的ならば外生的でない」は成り立つ.ここでは内生的じゃないことを 広義外生性 と呼ぼう.また多くの場合他の経済学の文脈では,「モデル内で決定される変数」程度の意味で内生変数と呼ぶことも多い.↩︎処置変数と相関を持たないということは,非交絡性
よりは弱い条件である.なお,この「非交絡性」は疫学の言い方であり,計量経済学では 無視可能性 または が観測可能である場合は selection on observables などとも呼ぶ.逆に言えば,交絡とは selection on unobservables のことである.↩︎(Ding, 2024, p. 95) も参照.↩︎
(Ding, 2024, p. 130) 定理13.1.↩︎
(Ding, 2024, p. 44) 定理6.1.↩︎
(Ding, 2024, p. 268) 定理24.2.↩︎