統計学 学習ノート

はじめに

標本が大きくなると、最尤推定量は正規分布に近づく

「標本が大きくなると、最尤推定量はどんな分布に従うの？」

前回の記事で、不偏推定量の分散にはクラーメル・ラオの下限があることを学びました。でも、小さな標本では、下限に届かない推定量もありました。しかも、最尤推定量の多くは、正確な分布が分かりません。ロジスティック回帰の係数の信頼区間を、どうやって作ればよいのでしょうか？

実は、標本が大きければ、この問題はきれいに解決します。ふつうの条件のもとで、最尤推定量は正規分布に近づき、その分散はクラーメル・ラオの下限に届くのです。統計ソフトが出力する標準誤差の多くは、この事実を使っています。

そこで登場するのが、今回の主役 フィッシャー情報量 と 最尤推定量の漸近正規性 です。

今回の記事では、この2つに加えて、分布のズレを測る カルバック・ライブラー情報量 と、計算で偏りと標準誤差を求める ジャックナイフ法 について解説します。

フィッシャー情報量：対数尤度の尖り具合

山が尖るほど、データは母数の情報を多くもつ

はじめに、フィッシャー情報量の意味について解説します。

対数尤度のグラフを、山だと考えてください。山頂の位置が最尤推定値です。山頂が鋭く尖っていれば、頂上の場所ははっきり分かります。なだらかな丘なら、どこが頂上かよく分かりません。つまり、山の尖り具合が、データが母数について教えてくれる情報の量です。

これを式にします。1個の観測の対数密度を $\theta$ で微分した量を スコア と呼びます。

$$s(X;\theta) = \frac{\partial}{\partial\theta}\log f(X;\theta)$$

スコアの期待値は0です。$\int f\,dx = 1$ の両辺を $\theta$ で微分すれば、$\int (\partial f/\partial\theta)\,dx = E[s] = 0$ となるからです。もう一度微分すると、次の2つの表現が等しいことも分かります。

$$I(\theta) = E[s(X;\theta)^2] = -E\left[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\right]$$

これが フィッシャー情報量 です。1つ目の式はスコアの分散で、2つ目の式は山の曲がり具合の平均です。計算では、2階微分を使う2つ目の式が楽なことが多いです。

独立な $n$ 個の観測では、情報量は足し算になり、全体で $nI(\theta)$ です。データが2倍になれば情報も2倍、ということです。

1つずつ計算してみましょう。ベルヌーイ分布では $\log f = x\log p + (1-x)\log(1-p)$ なので、次のようになります。

$$-\frac{\partial^2}{\partial p^2}\log f = \frac{x}{p^2} + \frac{1-x}{(1-p)^2}, \qquad I(p) = \frac{1}{p} + \frac{1}{1-p} = \frac{1}{p(1-p)}$$

主な分布の結果をまとめると、次の表になります。

分布	母数	$I(\theta)$
ベルヌーイ分布	$p$	$1/\{p(1-p)\}$
ポアソン分布	$\lambda$	$1/\lambda$
正規分布（$\sigma^2$ 既知）	$\mu$	$1/\sigma^2$
指数分布（平均 $\theta$）	$\theta$	$1/\theta^2$

正規分布の行を見てください。ばらつきが小さいほど、1個の観測の情報は多いのです。的確な証言者の1人の証言は重い、というイメージです。

母数が複数あるときは、$I_{jk}(\theta) = -E[\partial^2 \log f/\partial\theta_j \partial\theta_k]$ を成分とする フィッシャー情報行列 を使います。例えば、$N(\mu, \sigma^2)$ の $(\mu, \sigma^2)$ についての情報行列は、対角成分が $1/\sigma^2$ と $1/(2\sigma^4)$ の対角行列です。逆行列を $n$ で割ると、$\mu$ の下限 $\sigma^2/n$ と $\sigma^2$ の下限 $2\sigma^4/n$ が読み取れます。

例題：指数分布のフィッシャー情報量

密度 $f(x;\lambda) = \lambda e^{-\lambda x}$（$x > 0$）について、$\lambda$ のフィッシャー情報量を求めましょう。

【解き方】

1. 対数をとる： $\log f = \log\lambda - \lambda x$
2. 2回微分する： $\partial^2 \log f/\partial\lambda^2 = -1/\lambda^2$
3. 符号を変えて期待値をとる： $I(\lambda) = 1/\lambda^2$

答えは $1/\lambda^2$ です。2階微分に $x$ が残らないので、期待値の計算すら要りません。

補足（ここは読み飛ばしてOK）： 統計量 $T$ のもつ情報量は、もとのデータの情報量以下で、等号が成り立つのは $T$ が十分統計量のときです。十分統計量が「情報を失わない」という言葉は、ここで文字どおりの意味になります。

以上が、フィッシャー情報量についての解説です。

最尤推定量の漸近正規性：標本が大きければ正規分布

ソフトの標準誤差は、最尤推定量の漸近正規性から出る

次に、この記事の中心である定理について説明します。

適当な正則条件のもとで、最尤推定量 $\hat{\theta}_n$ は次の性質をもちます。これが 最尤推定量の漸近正規性 です。

$$\sqrt{n}\,(\hat{\theta}_n - \theta) \ \xrightarrow{d}\ N\left(0,\ \frac{1}{I(\theta)}\right)$$

$\xrightarrow{d}$ は分布収束です。言葉で言うと、$n$ が大きいとき、$\hat{\theta}_n$ は近似的に平均 $\theta$、分散 $1/\{nI(\theta)\}$ の正規分布に従う、ということです。この分散は、クラーメル・ラオの下限と同じです。最尤推定量は、標本が大きければ下限に届く 漸近有効 な推定量なのです。

導出の要点を見ましょう。対数尤度を $\ell$ とします。山頂では $\ell'(\hat{\theta}) = 0$ なので、これを真の $\theta$ のまわりでテイラー展開します。

$$0 = \ell'(\hat{\theta}) \approx \ell'(\theta) + (\hat{\theta} - \theta)\,\ell''(\theta)$$

整理すると、次の形になります。

$$\sqrt{n}\,(\hat{\theta} - \theta) \approx \frac{\ell'(\theta)/\sqrt{n}}{-\ell''(\theta)/n}$$

【分子と分母の動き】

1. 分子： $\ell'(\theta)$ は独立なスコアの和なので、中心極限定理より $N(0, I(\theta))$ に分布収束する
2. 分母： 大数の法則より $I(\theta)$ に確率収束する
3. スルツキーの補題より、全体は $N(0, I(\theta)/I(\theta)^2) = N(0, 1/I(\theta))$ に分布収束する

極限定理の記事で学んだ道具が、ここで勢ぞろいしました。

実際に使うときは、未知の $I(\theta)$ に $I(\hat{\theta})$ を代入して、標準誤差を $1/\sqrt{nI(\hat{\theta})}$ とします。味見の回数を4倍にすると、味の見積もりの誤差が半分になるイメージです。

例題：ポアソン分布の近似信頼区間

ポアソン分布から $n = 100$ の標本をとると、$\bar{x} = 4$ でした。$\lambda$ の最尤推定値、標準誤差、近似95%信頼区間を求めましょう。

【解き方】

1. 最尤推定値は $\hat{\lambda} = \bar{x} = 4$
2. $I(\lambda) = 1/\lambda$ なので、分散は $\lambda/n$。標準誤差は $\sqrt{4/100} = 0.2$
3. 区間は $4 \pm 1.96 \times 0.2$ で、3.61から4.39

答えは推定値4、標準誤差0.2、区間 [3.61, 4.39] です。

母数の関数 $g(\theta)$ を推定したいときは、デルタ法と組み合わせます。不変性から $g(\hat{\theta})$ が最尤推定量なので、次の近似が使えます。

$$\sqrt{n}\,\{g(\hat{\theta}) - g(\theta)\} \ \xrightarrow{d}\ N\left(0,\ \frac{g'(\theta)^2}{I(\theta)}\right)$$

せっかくなので、別の例も見てみましょう。100人中30人が賛成のとき、$\hat{p} = 0.3$ で、対数オッズ $g(p) = \log\{p/(1-p)\}$ の推定値は約 −0.847 です。$g'(p) = 1/\{p(1-p)\}$ なので、分散は $1/\{np(1-p)\} = 1/21 \approx 0.0476$ で、標準誤差は約0.218です。この計算は、ロジスティック回帰の標準誤差の基本です。

ただし、正則条件を満たさない例もあります。代表は $U(0, \theta)$ です。分布の範囲が $\theta$ で決まるので、尤度が微分できません。実際、$\hat{\theta} = X_{(n)}$ について、$n(\theta - X_{(n)})$ は平均 $\theta$ の指数分布に分布収束します。正規分布ではなく、収束の速さも $1/\sqrt{n}$ より速い $1/n$ です。

試験のポイント：最尤推定量の漸近分散は $1/\{nI(\theta)\}$ です。$I(\theta)$ が1個分か $n$ 個分かを確かめましょう。範囲が母数で決まる分布には使えません。

以上が、最尤推定量の漸近正規性についての説明です。

カルバック・ライブラー情報量：分布のズレを測る

KL情報量は分布のズレを測るが、向きで値が変わる

続いて、2つの分布の違いを測る量について解説します。

天気予報の例で考えましょう。雨の確率を30%と言い続ける予報士がいて、本当は50%で降るとします。この予報士の言葉を信じると、どのくらい損をするでしょうか？ これを測るのが、カルバック・ライブラー情報量（KL情報量）です。真の分布を $g$、モデルの分布を $f$ として、次のように定めます。

$$D(g \,\|\, f) = E_g\left[\log\frac{g(X)}{f(X)}\right] = \int g(x)\log\frac{g(x)}{f(x)}\,dx$$

離散型なら積分を和に変えます。言葉で言うと、「$g$ から出たデータを見たときの、対数尤度の差の平均」です。

【KL情報量の性質】

1. 非負： $D(g \,\|\, f) \ge 0$ で、等号は $f = g$ のときだけ（イェンセンの不等式から）
2. 非対称： ふつう $D(g \,\|\, f) \ne D(f \,\|\, g)$
3. 三角不等式を満たさない

2つ目のために、KL情報量は距離ではありません。行きは下り坂で、帰りは上り坂の道のようなものです。

数値で確かめましょう。雨の例で、$g$ は確率0.5、$f$ は確率0.3のベルヌーイ分布とします。

$$D(g \,\|\, f) = 0.5\log\frac{0.5}{0.3} + 0.5\log\frac{0.5}{0.7} \approx 0.0872$$

逆向きの $D(f \,\|\, g)$ を計算すると、約0.0823です。確かに値が違います。

別の例として、分散の等しい2つの正規分布 $N(\mu_1, \sigma^2)$ と $N(\mu_2, \sigma^2)$ では、$D = (\mu_1 - \mu_2)^2/(2\sigma^2)$ です。例えば、平均の差が1、$\sigma = 2$ なら、$1 \div 8 = 0.125$ です。この場合は対称になります。

ここがポイントです。KL情報量は、最尤法と深い関係があります。$D(g \,\|\, f_\theta) = E_g[\log g] - E_g[\log f_\theta]$ の第1項は $\theta$ によらないので、$D$ を最小にするのは $E_g[\log f_\theta]$ を最大にするのと同じです。大数の法則より、次の近似が成り立ちます。

$$\frac{1}{n}\sum_{i=1}^{n}\log f(X_i;\theta) \approx E_g[\log f(X;\theta)]$$

左辺は対数尤度の $1/n$ です。つまり、最尤法は「真の分布とのKL情報量が最小のモデルを選ぶ方法」なのです。モデルが間違っていても、最尤推定量はモデルの中で真の分布に最も近い点に向かいます。この考え方が、のちの記事で学ぶAICの土台になります。

さらに、フィッシャー情報量とのつながりもあります。$\theta$ と $\theta + h$ が近いとき、次の近似が成り立ちます。

$$D(f_\theta \,\|\, f_{\theta + h}) \approx \frac{h^2}{2}\,I(\theta)$$

例えば、$p = 0.5$（$I = 4$）と $p = 0.55$ のベルヌーイ分布では、右辺は $0.05^2 \times 4 \div 2 = 0.005$ で、正確な値は約0.00503です。情報量が大きいほど、母数の小さな差が、分布の大きな違いになって表れます。

以上が、カルバック・ライブラー情報量についての解説です。

ジャックナイフ法：1個ずつ抜いて確かめる

1人ずつ抜いて再計算すると、偏りが見積もれる

最後に、計算で偏りと標準誤差を見積もる方法を見ていきましょう。

複雑な推定量では、バイアスや分散の式が分からないことがあります。そこで使うのが、ジャックナイフ法 です。データを1個ずつ抜いて推定し直し、結果の変化を見る方法です。

部活のチームで、1人ずつ順番に抜いて試合をしてみる場面を思い浮かべてください。誰が抜けても成績が変わらないなら、チームは安定しています。誰かが抜けると大きく変わるなら、不安定だと分かります。同じことを推定量で行うのです。

$i$ 番目を除いた $n-1$ 個から計算した推定値を $\hat{\theta}_{(i)}$、その平均を $\bar{\theta}_{(\cdot)}$ とします。次の3つの量を計算します。

$$\widehat{\text{Bias}} = (n-1)\left(\bar{\theta}_{(\cdot)} - \hat{\theta}\right), \qquad \hat{\theta}_J = n\hat{\theta} - (n-1)\,\bar{\theta}_{(\cdot)}$$ $$\widehat{\text{SE}} = \sqrt{\frac{n-1}{n}\sum_{i=1}^{n}\left(\hat{\theta}_{(i)} - \bar{\theta}_{(\cdot)}\right)^2}$$

$\hat{\theta}_J$ はバイアスを引いた推定量です。なぜ偏りが減るのでしょうか？ 多くの推定量のバイアスは、$E[\hat{\theta}] = \theta + a/n + b/n^2 + \cdots$ の形です。$n-1$ 個の推定量なら、$a/(n-1)$ です。$n$ 倍と $n-1$ 倍で引き算すると、$a$ の項が消えます。残るバイアスは $1/n^2$ の大きさです。

例題：標本分散の偏りを補正する

データ 2, 4, 6, 8 について、$\hat{\theta} = \frac{1}{n}\sum_i (x_i - \bar{x})^2$ のジャックナイフ推定値を求めましょう。

【解き方】

1. 全体で計算する： $\bar{x} = 5$ で、$\hat{\theta} = (9 + 1 + 1 + 9) \div 4 = 5$
2. 1個ずつ抜く： 2を抜くと $\{4, 6, 8\}$ で8/3、4を抜くと $\{2, 6, 8\}$ で56/9。対称性から、$\hat{\theta}_{(i)}$ は順に 8/3, 56/9, 56/9, 8/3
3. 平均する： $\bar{\theta}_{(\cdot)} = 40/9 \approx 4.44$
4. 補正する： $\hat{\theta}_J = 4 \times 5 - 3 \times 40/9 = 20/3 \approx 6.67$

答えは約6.67です。これは不偏分散 $S^2 = 20/3$ に一致します。分母が $n$ の推定量の偏りは、ジャックナイフ法でちょうど取り除かれます。

なお、推定量が $\bar{X}$ のとき、上の標準誤差の式は $S/\sqrt{n}$ に一致します。式を知らなくても、よく知った答えが出てくるのです。

ただし、弱点もあります。中央値のように、データの小さな変化で滑らかに動かない推定量では、ジャックナイフ法の標準誤差は当てになりません。その場合は、のちの記事で学ぶブートストラップ法を使います。

以上が、ジャックナイフ法についての解説です。

細かい導出を忘れてしまっても問題ありません。ここでは、「情報量は対数尤度の尖り具合で、最尤推定量の分散は $n$ と情報量の積の逆数になる」という点だけ押さえておきましょう。

今回のまとめ

尖りから正規分布へ。ズレはKLで、偏りは1個ずつ抜いて測る

それでは、今回の内容を振り返ります。

今回は、標本が大きいときの推定量の性質について紹介しました。最尤推定量は、標本が大きければ正規分布に近づき、分散の限界にも届きます。統計ソフトの標準誤差が当たり前のように出てくる背景には、この定理があります。

今回のポイントを振り返りましょう。

振り返り

• フィッシャー情報量は対数尤度の山の尖り具合で、スコアの分散に等しい。$n$ 個なら $n$ 倍になる。
• 最尤推定量は近似的に $N(\theta, 1/\{nI(\theta)\})$ に従い、漸近有効である。関数にはデルタ法を使う。
• 範囲が母数で決まる分布は正則条件を満たさず、この結果は使えない。
• KL情報量は分布のズレを測る量で、最尤法はこれを小さくするモデルを選んでいる。距離ではなく非対称。
• ジャックナイフ法は1個ずつ抜いて、バイアスと標準誤差を計算で見積もる。

キーワードのおさらい

• フィッシャー情報量: スコアの分散。データが母数についてもつ情報の量
• 最尤推定量の漸近正規性: $\sqrt{n}(\hat{\theta} - \theta)$ が $N(0, 1/I(\theta))$ に分布収束する性質
• カルバック・ライブラー情報量: $E_g[\log(g/f)]$ で定める、分布 $g$ から見た $f$ のズレ
• ジャックナイフ法: データを1個ずつ除いて再計算し、バイアスと標準誤差を見積もる方法

さて、ここまでは「母数はいくつか」という1つの値を求める話でした。でも、推定値には必ず誤差があります。誤差まで含めて、「母数はこの範囲にある」と言うにはどうすればよいでしょうか？

次回は、一般の分布にも使える信頼区間の作り方である「区間推定」について紹介します。

それでは、次の記事へ進んでいきましょう。