統計学 学習ノート

はじめに

いつも1kg重い体重計と、毎回ぶれる体重計。どちらがよい？

「分散の分母は、$n$ と $n-1$ のどっちが正しいの？」

前回の記事で、正規分布の分散の最尤推定量は分母が $n$ でした。一方で、2級で使った不偏分散は分母が $n-1$ です。同じデータから、2つの答えが出てきました。いったい、どちらを使うべきなのでしょうか？

体重計を選ぶ場面を想像してください。いつも1kgだけ重く出るけれど、結果は毎回そろう体重計と、平均すると正しいけれど、乗るたびに2kgも上下する体重計です。どちらがよいかは、「よさ」をどう測るかで変わりますよね。

実は、推定量のよさにも、1つではなく複数の基準があります。

そこで登場するのが、今回の主役 バイアス・バリアンス分解 と クラーメル・ラオの不等式 です。前者は誤差を2種類に分ける式で、後者は分散の限界を教える式です。

今回の記事では、不偏性、一致性、十分性、有効性という4つの基準と、線形模型の最良性を保証するガウス・マルコフの定理について解説します。

バイアスと不偏性：誤差を2つに分ける

MSEで比べると、少し偏った分母 n+1 が最小になる

はじめに、推定量の誤差の分け方について解説します。

推定量 $\hat{\theta}$ の期待値と真の値の差を、バイアス（偏り）と呼びます。

$$\text{Bias}(\hat{\theta}) = E[\hat{\theta}] - \theta$$

すべての $\theta$ でバイアスが0であることを、不偏性 と言います。冒頭の「いつも1kg重い体重計」は、バイアスが1kgです。一方で「乗るたびに上下する体重計」は、バイアスは0ですが分散が大きいのです。

この2つをまとめて評価する量が、平均二乗誤差（MSE）です。$\hat{\theta} - \theta$ を、$\hat{\theta} - E[\hat{\theta}]$ と $E[\hat{\theta}] - \theta$ に分けて2乗すると、交差項の期待値は0になります。したがって、次の バイアス・バリアンス分解 が成り立ちます。

$$\text{MSE}(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] = V[\hat{\theta}] + \{\text{Bias}(\hat{\theta})\}^2$$

言葉で言うと、「誤差の大きさ = ばらつき + 偏りの2乗」です。

冒頭の疑問を、この式で解いてみましょう。正規母集団で、偏差平方和を $Q = \sum_i (X_i - \bar{X})^2$ とします。$Q/\sigma^2 \sim \chi^2(n-1)$ なので、$E[Q] = (n-1)\sigma^2$、$V[Q] = 2(n-1)\sigma^4$ です。$n = 10$、$\sigma^2 = 1$ で、分母を変えた3つの推定量を比べます。

推定量	バイアス	分散	MSE
$Q/(n-1)$（不偏分散）	0	0.2222	0.2222
$Q/n$（最尤推定量）	−0.1	0.18	0.19
$Q/(n+1)$	−0.1818	0.1488	0.1818

意外な結果です。MSEで比べると、不偏分散は3つの中で最も悪く、分母を $n+1$ にしたものが最小です。少しの偏りを受け入れて、ばらつきを大きく減らしたほうが得だったのです。

つまり、「$n$ と $n-1$ のどちらが正しいか」に唯一の答えはありません。不偏性を選ぶなら $n-1$、尤度を選ぶなら $n$ です。t分布を使う検定や区間推定の公式は $S^2$ で組まれているので、その場面では不偏分散を使います。試験では、問題文がどちらの分母で定義しているかを確かめましょう。

試験のポイント：不偏性は「平均して当たる」という性質で、MSEが最小という意味ではありません。

以上が、バイアスと不偏性についての解説です。

一致性：データが増えれば真の値に近づく

スプーンを増やすほど、推定値は真の値に集まる

次に、標本が大きいときの基準について説明します。

一致性 とは、$n \to \infty$ のとき、推定量が真の値に確率収束する性質です。任意の $\varepsilon > 0$ について、次が成り立つことを言います。

$$\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| \ge \varepsilon) = 0$$

味見に例えると、鍋から取るスプーンの量を増やすほど、鍋全体の味が正確に分かる、ということです。

確かめるときは、次の十分条件が便利です。マルコフの不等式から $P(|\hat{\theta}_n - \theta| \ge \varepsilon) \le \text{MSE}/\varepsilon^2$ なので、$\text{MSE} \to 0$ なら一致性をもちます。つまり、バイアスと分散の両方が0に近づけばよいのです。

大切なのは、不偏性と一致性が別の性質だということです。

【不偏性と一致性の組み合わせ】

• 不偏で一致： $\bar{X}$。$E[\bar{X}] = \mu$ で、$V[\bar{X}] = \sigma^2/n \to 0$
• 偏りがあるが一致： $Q/n$。バイアス $-\sigma^2/n$ も分散も0に近づく
• 不偏だが一致しない： $X_1$。データが増えても1個目しか見ないので、分散は $\sigma^2$ のまま

せっかくなので、別の例も見てみましょう。$U(0, \theta)$ の最大値 $X_{(n)}$ は、$E[X_{(n)}] = n\theta/(n+1)$ で偏りがあります。それでも、$P(X_{(n)} \le \theta - \varepsilon) = \{(\theta - \varepsilon)/\theta\}^n \to 0$ なので、一致性をもちます。

以上が、一致性についての説明です。

十分性：情報を捨てていないか

十分統計量で清書すると、不偏のまま分散が減る

続いて、前回までに学んだ十分統計量が、推定量の改良にどう効くのかを解説します。

推定量が十分統計量の関数であることを、十分性 と言います。十分統計量の外には $\theta$ の情報がないので、十分統計量以外の部分に頼る推定量は、ムダなノイズを抱えていることになります。これを式にしたのが、ラオ・ブラックウェルの定理です。

$$\tilde{\theta} = E[\hat{\theta} \mid T] \quad \Rightarrow \quad E[\tilde{\theta}] = E[\hat{\theta}], \quad V[\tilde{\theta}] \le V[\hat{\theta}]$$

$\hat{\theta}$ は不偏推定量、$T$ は十分統計量です。$T$ が十分なので、$\tilde{\theta}$ は $\theta$ を含まない統計量になります。分散が減る理由は、全分散の公式 $V[\hat{\theta}] = V[E[\hat{\theta} \mid T]] + E[V[\hat{\theta} \mid T]]$ です。第2項が、捨てられるノイズにあたります。

要するに、「十分統計量で条件づけて平均をとれば、推定量は悪くならない」のです。下書きを清書すると余計な線が消えるイメージです。

具体的に見てみましょう。ベルヌーイ試行で $X_1$ は $p$ の不偏推定量ですが、分散は $p(1-p)$ と大きいです。$T = \sum_i X_i$ で条件づけると、$T = t$ のとき1回目が当たりの確率は $t/n$ です。

$$E[X_1 \mid T] = \frac{T}{n} = \bar{X}$$

分散は $p(1-p)/n$ まで下がりました。標本比率が、自動的に出てきたわけです。

別の例として、$U(0, \theta)$ の不偏推定量を2つ比べましょう。モーメント法の $2\bar{X}$ の分散は $\theta^2/(3n)$ です。十分統計量にもとづく $\frac{n+1}{n}X_{(n)}$ の分散は $\theta^2/\{n(n+2)\}$ です。$n = 10$ なら、$\theta^2/30$ と $\theta^2/120$ で、4倍も違います。

補足（ここは読み飛ばしてOK）： 十分統計量が完備という性質ももつと、それにもとづく不偏推定量は、すべての不偏推定量の中で分散が最小になります。これを一様最小分散不偏推定量（UMVU）と呼びます。

以上が、十分性についての解説です。

有効性：クラーメル・ラオの不等式

有効推定量は下限に届き、ほかはその手前で止まる

次に、分散の限界について説明します。

不偏推定量の分散は、どこまで小さくできるのでしょうか？ 陸上の記録に人間の限界があるように、推定量の分散にも越えられない下限があります。それが クラーメル・ラオの不等式 です。

$$V[\hat{\theta}] \ge \frac{1}{n I(\theta)}, \qquad I(\theta) = E\left[\left(\frac{\partial}{\partial\theta}\log f(X;\theta)\right)^2\right]$$

$\hat{\theta}$ は不偏推定量、$I(\theta)$ は1個の観測がもつ フィッシャー情報量 です。情報量が多いほど、下限は小さくなります。詳しくは次回の記事で扱います。

導出の要点は、次の3つです。

【導出の3ステップ】

1. スコア関数を $U = \partial \ell/\partial\theta$ とすると、$E[U] = 0$、$V[U] = nI(\theta)$
2. $E[\hat{\theta}] = \theta$ の両辺を $\theta$ で微分すると、$\text{Cov}(\hat{\theta}, U) = 1$
3. コーシー・シュワルツの不等式から、$1 = \text{Cov}(\hat{\theta}, U)^2 \le V[\hat{\theta}]\, V[U]$

3つ目を割れば、不等式が得られます。

分散がこの下限に一致する不偏推定量を、有効推定量 と呼びます。この性質が 有効性 です。下限と分散の比（下限 ÷ 分散）を効率と呼び、有効推定量の効率は1です。

例えば、ポアソン分布では $\log f = -\lambda + x\log\lambda - \log x!$ で、スコアは $x/\lambda - 1$ です。$I(\lambda) = V[X]/\lambda^2 = 1/\lambda$ なので、下限は $\lambda/n$ です。$V[\bar{X}] = \lambda/n$ なので、$\bar{X}$ は有効推定量です。$\lambda = 4$、$n = 50$ なら、下限は0.08です。

ただし、いつも下限に届くとは限りません。正規分布の $\sigma^2$ の下限は $2\sigma^4/n$ ですが、$V[S^2] = 2\sigma^4/(n-1)$ で、わずかに届きません。効率は $(n-1)/n$ です。$U(0, \theta)$ のように分布の範囲が $\theta$ に依存すると、微分と積分の交換ができず、不等式そのものが使えません。

2つの推定量を比べる指標が、推定量の相対効率 です。不偏推定量 $T_1$ と $T_2$ について、次のように定めます。

$$e(T_2, T_1) = \frac{V[T_1]}{V[T_2]}$$

これが1より小さいなら、$T_2$ のほうがばらつきが大きいという意味です。

例えば、正規母集団では、標本中央値の分散は、$n$ が大きいとき約 $\pi\sigma^2/(2n)$ です。平均に対する中央値の相対効率は $2/\pi \approx 0.64$ です。これは、中央値で100個使うのと、平均で64個使うのが同じ精度だということです。ただし、これは正規分布の場合の話です。裾の厚い分布では、中央値のほうが有利になることもあります。

例題：相対効率を求める

$X_1, X_2, X_3$ は独立で、期待値 $\mu$、分散 $\sigma^2$ です。$T_1 = \bar{X}$ に対する $T_2 = (X_1 + 2X_2 + 3X_3)/6$ の相対効率を求めましょう。

【解き方】

1. 不偏性を確かめる： $E[T_2] = (1 + 2 + 3)\mu/6 = \mu$
2. 分散： $V[T_1] = \sigma^2/3$、$V[T_2] = (1 + 4 + 9)\sigma^2/36 = 7\sigma^2/18$
3. 比をとる： $e(T_2, T_1) = \dfrac{1/3}{7/18} = \dfrac{6}{7} \approx 0.857$

答えは約0.857です。重みを均等にしない分だけ、損をしています。

試験のポイント：クラーメル・ラオの下限は「不偏推定量」についての限界です。バイアスのある推定量は、下限より小さい分散をもつことがあります。

以上が、有効性についての説明です。

ガウス・マルコフの定理：線形模型の最良性

線形かつ不偏の資格をもつ中で、最小二乗法が優勝する

最後に、線形模型についての最良性を見ていきましょう。

クラーメル・ラオの不等式を使うには分布の形が必要でした。ところが、線形模型では、分布を決めなくても言えることがあります。それが ガウス・マルコフの定理 です。

$$\boldsymbol{y} = X\boldsymbol{\beta} + \boldsymbol{\varepsilon}, \quad E[\boldsymbol{\varepsilon}] = \boldsymbol{0}, \quad V[\boldsymbol{\varepsilon}] = \sigma^2 I$$

この仮定のもとで、最小二乗推定量 $\hat{\boldsymbol{\beta}} = (X^\top X)^{-1}X^\top\boldsymbol{y}$ は、線形不偏推定量の中で分散が最小です。これを 最良線形不偏推定量（BLUE）と呼びます。誤差の仮定は「平均0、等分散、無相関」の3つだけで、正規分布は要りません。

「線形」は、推定量が $C\boldsymbol{y}$ の形をしていることです。大会の出場資格のようなものだと思ってください。「線形」かつ「不偏」という資格をもつ選手の中で、最小二乗法が優勝する、という定理です。

証明の要点も確認しましょう。線形不偏推定量 $\tilde{\boldsymbol{\beta}} = C\boldsymbol{y}$ の不偏性から、$CX = I$ が必要です。$C = (X^\top X)^{-1}X^\top + D$ と書くと、$DX = O$ となります。分散を計算すると、交差項が消えて次のようになります。

$$V[\tilde{\boldsymbol{\beta}}] = \sigma^2 (X^\top X)^{-1} + \sigma^2 DD^\top$$

$DD^\top$ は半正定値なので、最小二乗推定量（$D = O$）より分散が小さくなることはありません。

具体的に見てみましょう。$x = 1, 2, 3, 4$ の単回帰で、傾きの推定量を2つ比べます。1つは最小二乗法で、分散は $\sigma^2/S_{xx} = \sigma^2/5 = 0.2\sigma^2$ です。もう1つは、両端の2点を結ぶ $(y_4 - y_1)/3$ です。これも線形で不偏ですが、分散は $2\sigma^2/9 \approx 0.222\sigma^2$ で、最小二乗法に負けます。

逆に、定理の外には、最小二乗法を超えるものがあります。分散が等しくないときは、重みをつける一般化最小二乗法のほうが有利です。バイアスを認めれば、MSEで勝つ推定量もあります。冒頭の分散の例と同じ話で、これはのちの記事の正則化で活躍します。

以上が、ガウス・マルコフの定理についての解説です。

細かい証明を忘れてしまっても問題ありません。ここでは、「誤差はばらつきと偏りに分かれる」「不偏推定量の分散には限界がある」という点だけ押さえておきましょう。

今回のまとめ

基準は4つ。よい推定量は、何を重視するかで変わる

それでは、今回の内容を振り返ります。

今回は、推定量のよさを測る基準について紹介しました。不偏性、一致性、十分性、有効性はそれぞれ別の角度から推定量を見ています。「いつも1kg重い体重計」と「上下する体重計」の優劣が基準で変わるように、よい推定量も、何を重視するかで変わります。

今回のポイントを振り返りましょう。

振り返り

• MSEは分散とバイアスの2乗の和に分かれる。不偏分散はMSE最小ではない。
• 不偏性は平均して当たること、一致性はデータが増えれば当たること。この2つは別の性質。
• 十分統計量で条件づけると、不偏推定量の分散は減る（ラオ・ブラックウェルの定理）。
• 不偏推定量の分散の下限は $1/\{nI(\theta)\}$ で、これに届く推定量が有効推定量。
• 誤差が平均0・等分散・無相関なら、最小二乗推定量は線形不偏推定量の中で最良。

キーワードのおさらい

• バイアス: 推定量の期待値と真の値の差
• バイアス・バリアンス分解: MSEが分散とバイアスの2乗の和になるという式
• 不偏性: 推定量の期待値が、どの母数の値でも真の値に一致する性質
• 一致性: 標本が大きくなると、推定量が真の値に確率収束する性質
• 十分性: 推定量が十分統計量の関数である性質
• 有効性: 不偏推定量の分散がクラーメル・ラオの下限に一致する性質
• 推定量の相対効率: 2つの不偏推定量の分散の比
• クラーメル・ラオの不等式: 不偏推定量の分散の下限を与える不等式
• ガウス・マルコフの定理: 最小二乗推定量が最良線形不偏推定量であるという定理

さて、クラーメル・ラオの下限にはフィッシャー情報量が登場しました。この量は、何を表しているのでしょうか？ そして、小さな標本では届かなかった下限に、標本が大きくなると届くのでしょうか？

次回は、「フィッシャー情報量」と「最尤推定量の漸近正規性」について紹介します。

それでは、次の記事へ進んでいきましょう。