統計学 学習ノート

はじめに

「最尤推定量が漸近正規になるって、どうやって証明するの？」

準1級では、最尤推定量の分散はクラーメル・ラオの下限に近づき、分布は正規分布に近づくと学びました。統計ソフトの標準誤差も、この結果の上に立っています。でも、1級の論述では「その結果を導け」と問われます。

陸上の100m走を思い浮かべてください。人間の走る速さには、越えられない壁があるはずです。一方で、練習を積むほど壁に近づく選手がいます。推定量の世界では、壁を示すのが不等式で、壁に近づく選手が最尤推定量です。

実は、この2つの定理を動かしている道具は多くありません。スコアの平均が0であること、コーシー・シュワルツの不等式、テイラー展開、そして極限定理です。すべて、ここまでの記事に登場した道具です。

そこで登場するのが、今回の主役 クラーメル・ラオの不等式 と 最尤推定量の漸近正規性 です。壁の高さを決める フィッシャー情報量 と、推定量の関数に結果を広げる デルタ法 も扱います。

前回の記事では、AICの導出で漸近的な近似を先取りしました。今回の記事では、その土台にある定理を、答案に書ける形で証明します。

フィッシャー情報量：計算の技を増やす

はじめに、すべての定理の中心にあるフィッシャー情報量について解説します。

1個の観測のスコアを $u(x;\theta) = \partial\log f(x;\theta)/\partial\theta$ とします。尤度の記事で証明したとおり、正則条件のもとで $E_\theta[u] = 0$ です。フィッシャー情報量 は、スコアの分散です。

$$I(\theta) = E_\theta[u^2] = -E_\theta\left[\frac{\partial u}{\partial\theta}\right]$$

対数尤度の山の尖り具合という意味は、準1級で学びました。独立な $n$ 個の観測では、スコアの和の分散なので、全体の情報量は $nI(\theta)$ です。

ここでは、計算の技を増やしましょう。1つずつ見ていきましょう。

1. 2つの式を使い分ける

2階微分の式は、$x$ が消えるときにとても楽です。一方、2階微分が複雑なら、2乗の式のほうが楽なこともあります。

例えば、位置母数 $\theta$ のコーシー分布では、$z = x - \theta$ として $u = 2z/(1 + z^2)$ です。2乗の式で計算します。

$$I(\theta) = \int_{-\infty}^{\infty} \frac{4z^2}{(1 + z^2)^2} \cdot \frac{1}{\pi(1 + z^2)}\,dz = \frac{4}{\pi}\int_{-\infty}^{\infty} \frac{z^2}{(1 + z^2)^3}\,dz = \frac{4}{\pi} \cdot \frac{\pi}{8} = \frac{1}{2}$$

位置母数の情報量は、$\theta$ によりません。分布を平行移動しても、形は変わらないからです。

2. 母数を変換する

同じデータを、別の母数で表すとどうなるでしょうか？ $\theta = \theta(\eta)$ と書き直すと、合成関数の微分より、$\eta$ のスコアは $u_\eta = u_\theta \cdot d\theta/d\eta$ です。2乗して期待値をとれば、次の変換公式が得られます。

$$I_\eta(\eta) = I_\theta(\theta)\left(\frac{d\theta}{d\eta}\right)^2$$

温度計の目盛りを摂氏から華氏に変えるようなものです。測っている熱は同じでも、目盛りの細かさの分だけ、数字は変わります。

具体的に見てみましょう。ベルヌーイ分布で、対数オッズ $\eta = \log\{p/(1-p)\}$ を母数にします。$dp/d\eta = p(1-p)$ なので、$I_\eta = \frac{1}{p(1-p)} \times \{p(1-p)\}^2 = p(1-p)$ です。$p = 1/2$ で情報量が最大になります。

3. 分散と標準偏差の情報量

2つの技を、$X \sim N(0, v)$（$v = \sigma^2$）で使ってみましょう。$v$ の情報量を2階微分の式で求めてから、変換公式で $\sigma$ の情報量に直します。

【計算の手順】

1. $\log f = -\frac{1}{2}\log(2\pi v) - x^2/(2v)$ より、$u = -\dfrac{1}{2v} + \dfrac{x^2}{2v^2}$ である
2. $\partial u/\partial v = \dfrac{1}{2v^2} - \dfrac{x^2}{v^3}$ で、$E[X^2] = v$ より、$I(v) = -\dfrac{1}{2v^2} + \dfrac{1}{v^2} = \dfrac{1}{2v^2}$ である
3. $v = \sigma^2$ より $dv/d\sigma = 2\sigma$ である。よって $I(\sigma) = \dfrac{1}{2\sigma^4} \times 4\sigma^2 = \dfrac{2}{\sigma^2}$ である

答えは $I(v) = 1/(2\sigma^4)$、$I(\sigma) = 2/\sigma^2$ です。

以上が、フィッシャー情報量についての解説です。

クラーメル・ラオの不等式：証明する

次に、不偏推定量の分散の壁を証明します。

【クラーメル・ラオの不等式】 正則条件のもとで、$T$ を $g(\theta)$ の不偏推定量とする。分散が有限なら、次が成り立つ。

$$V_\theta[T] \ge \frac{g'(\theta)^2}{nI(\theta)}$$

$g(\theta) = \theta$ なら、下限は $1/\{nI(\theta)\}$ です。証明の鍵は、$T$ とスコアの共分散です。

【証明】

1. $U(\theta)$ を標本全体のスコアとする。$E_\theta[T] = \int T(\boldsymbol{x}) f(\boldsymbol{x};\theta)\,d\boldsymbol{x} = g(\theta)$ を $\theta$ で微分し、微分と積分を交換する
2. $\partial f/\partial\theta = U f$ なので、$E_\theta[TU] = g'(\theta)$ である
3. $E_\theta[U] = 0$ なので、$\text{Cov}_\theta(T, U) = E_\theta[TU] = g'(\theta)$ である
4. コーシー・シュワルツの不等式より、$\text{Cov}_\theta(T, U)^2 \le V_\theta[T]\, V_\theta[U]$ である
5. $V_\theta[U] = nI(\theta)$ を代入して割れば、不等式を得る

たった5行です。一言で言うと、「母数が動いたときに $T$ が反応するには、スコアと相関しなければいけない。その相関の強さには限界がある」ということです。

では、等号はいつ成り立つのでしょうか？ コーシー・シュワルツの等号条件から、$T - g(\theta)$ と $U$ が比例するときです。

$$U(\theta) = a(\theta)\,\{T - g(\theta)\}$$

これを $\theta$ で積分すると、$\log f = A(\theta)\,T(\boldsymbol{x}) + B(\theta) + C(\boldsymbol{x})$ という形になります。つまり、下限に届く推定量をもつのは、指数型分布族の形の分布に限られます。

ここで、前提が崩れる例を2つ見ましょう。

【不等式の前提が崩れる例】

• 偏りがある場合： $E[T] = \theta + b(\theta)$ なら、下限は $\{1 + b'(\theta)\}^2/\{nI(\theta)\}$ に変わる。例えば $N(\theta, 1)$ の $T = \bar{X}/2$ は、$b' = -1/2$ で、分散 $1/(4n)$ は $1/n$ を下回る
• 台が動く場合： $U(0, \theta)$ で形式的に $E[u^2] = 1/\theta^2$ とすると、下限は $\theta^2/n$ になる。ところが、$\frac{n+1}{n}X_{(n)}$ の分散は $\theta^2/\{n(n+2)\}$ で、これを下回る

2つ目は、手順1の微分と積分の交換ができないからです。陸上の壁は、ルールが同じ選手にしか当てはまらないのです。

例題：下限に届くことを示す

$X_1, \dots, X_n$ は独立に $N(0, v)$ に従う。$T = \frac{1}{n}\sum_i X_i^2$ が $v$ の有効推定量であることを、2通りの方法で示せ。

【答案】

1. $E[X_i^2] = v$ より $T$ は不偏である
2. （分散の比較）$\sum_i X_i^2/v \sim \chi^2(n)$ より、$V[T] = v^2 \times 2n/n^2 = 2v^2/n$ である。一方、$I(v) = 1/(2v^2)$ より下限は $2v^2/n$ で、一致する
3. （等号条件）$U(v) = -\dfrac{n}{2v} + \dfrac{\sum_i X_i^2}{2v^2} = \dfrac{n}{2v^2}(T - v)$ である。スコアが $T - v$ に比例するので、等号が成り立つ

どちらも答案として十分です。等号条件の方法は、分散の計算が要らないぶん速く書けます。

試験のポイント：下限の分子の $g'(\theta)^2$ を忘れないこと。$\theta$ そのものではなく $\theta$ の関数を推定するときに、よく問われます。

以上が、クラーメル・ラオの不等式についての解説です。

最尤推定量の漸近正規性：証明する

続いて、最尤推定量の漸近正規性 を証明します。

【定理】 正則条件に加えて、$\theta$ の近くで $|\partial^3\log f(x;\theta)/\partial\theta^3| \le M(x)$（$E[M(X)] < \infty$）で、$0 < I(\theta_0) < \infty$ とする。尤度方程式の一致解 $\hat{\theta}_n$ について、真の値を $\theta_0$ とすると次が成り立つ。

$$\sqrt{n}\,(\hat{\theta}_n - \theta_0) \ \xrightarrow{d}\ N\left(0,\ \frac{1}{I(\theta_0)}\right)$$

証明は2段階です。まず、山頂が真の値に近づくこと（一致性）、次に、その近づき方が正規分布になることです。

1. 一致性の考え方

大数の法則より、次の式が成り立ちます。

$$\frac{1}{n}\{\ell(\theta) - \ell(\theta_0)\} \ \to\ E_{\theta_0}\left[\log\frac{f(X;\theta)}{f(X;\theta_0)}\right] = -D(f_{\theta_0} \,\|\, f_\theta)$$

右辺は、前回証明したKL情報量の非負性から、$\theta \ne \theta_0$ で負です（母数が違えば分布が違うと仮定します）。つまり $n$ が大きいと、$\theta_0$ の尤度が、離れた $\theta$ の尤度を上回ります。したがって、尤度の山頂は $\theta_0$ の近くに来ます。

2. 漸近正規性の証明

ここからは答案の形で書きましょう。

【証明】

1. $U(\hat{\theta}_n) = 0$ を $\theta_0$ のまわりでテイラー展開する。$\tilde{\theta}_n$ は $\theta_0$ と $\hat{\theta}_n$ の間の点である

$$0 = U(\theta_0) + (\hat{\theta}_n - \theta_0)\,U'(\theta_0) + \frac{1}{2}(\hat{\theta}_n - \theta_0)^2\, U''(\tilde{\theta}_n)$$

2. 整理すると、次の形になる

$$\sqrt{n}\,(\hat{\theta}_n - \theta_0) = \frac{U(\theta_0)/\sqrt{n}}{-U'(\theta_0)/n - \frac{1}{2}(\hat{\theta}_n - \theta_0)\, U''(\tilde{\theta}_n)/n}$$

3. 分子： $U(\theta_0)$ は平均0、分散 $I(\theta_0)$ の独立な変数の和なので、中心極限定理より $N(0, I(\theta_0))$ に分布収束する
4. 分母の第1項： 大数の法則より、$I(\theta_0)$ に確率収束する
5. 分母の第2項： $|U''(\tilde{\theta}_n)/n| \le \frac{1}{n}\sum_i M(X_i)$ は有界にとどまり、$\hat{\theta}_n - \theta_0 \to 0$ なので、0に確率収束する
6. スルツキーの補題より、全体は $N(0, I(\theta_0))/I(\theta_0) = N(0, 1/I(\theta_0))$ に分布収束する

準1級では手順5を省略しました。答案では、3階微分の評価があるからこそ、2次の項を無視できると書きます。

式の形にも意味があります。$\hat{\theta}_n - \theta_0 \approx U(\theta_0)/\{nI(\theta_0)\}$ で、誤差は「坂の傾き ÷ 谷の急さ」です。ボールを坂に置いたとき、傾きが大きいほど遠くまで転がり、谷が急なほど早く止まるようなものです。

漸近分散 $1/\{nI(\theta_0)\}$ は、クラーメル・ラオの下限そのものです。このように、下限に漸近的に届く性質を 漸近有効 と呼びます。実際に使うときは、未知の $I(\theta_0)$ を $I(\hat{\theta}_n)$ か、観測情報量 $-U'(\hat{\theta}_n)/n$ で置き換えます。

具体的に見てみましょう。位置母数のコーシー分布では、$I = 1/2$ でした。最尤推定量は陽に書けませんが、漸近分散は $2/n$ です。一方、標本中央値の漸近分散は、$f(\theta) = 1/\pi$ より $\pi^2/(4n) \approx 2.47/n$ です。中央値に対する最尤推定量の分散の比は $8/\pi^2 \approx 0.81$ で、標本平均が使えない分布でも、最尤法はしっかり最良です。

例題：漸近分布を2通りで確かめる

密度 $f(x;\theta) = \theta x^{\theta-1}$（$0 < x < 1$）の最尤推定量 $\hat{\theta} = -n/\sum_i \log X_i$ について、$\sqrt{n}(\hat{\theta} - \theta)$ の極限分布を、(1) フィッシャー情報量から、(2) 中心極限定理とデルタ法から求めよ。

【答案】

1. $\log f = \log\theta + (\theta - 1)\log x$ より、$\partial^2\log f/\partial\theta^2 = -1/\theta^2$ である。よって $I(\theta) = 1/\theta^2$ で、極限分布は $N(0, \theta^2)$ である
2. $Y_i = -\log X_i$ は、平均 $1/\theta$、分散 $1/\theta^2$ の指数分布に従う。中心極限定理より、$\sqrt{n}(\bar{Y} - 1/\theta) \to N(0, 1/\theta^2)$ である
3. $\hat{\theta} = h(\bar{Y})$、$h(m) = 1/m$ で、$h'(1/\theta) = -\theta^2$ である。デルタ法より、極限の分散は $\theta^4 \times 1/\theta^2 = \theta^2$ である

答えはともに $N(0, \theta^2)$ です。2つの計算が一致すれば、答案の検算にもなります。

以上が、最尤推定量の漸近正規性についての解説です。

デルタ法：証明と応用

最後に、ここまで何度も使ってきた デルタ法 を証明しましょう。

推定量そのものではなく、その関数の分布を知りたい場面はよくあります。オッズ、対数、生存確率などです。曲がった道でも、拡大すればほぼ直線に見えますよね。デルタ法は、関数を接線で近似する方法です。

【デルタ法】 $\sqrt{n}(T_n - \theta) \xrightarrow{d} N(0, \sigma^2)$ で、$g$ は $\theta$ の近くで連続微分可能、$g'(\theta) \ne 0$ とする。このとき、次が成り立つ。

$$\sqrt{n}\,\big(g(T_n) - g(\theta)\big) \ \xrightarrow{d}\ N\big(0,\ g'(\theta)^2\sigma^2\big)$$

【証明】

1. 平均値の定理より、$g(T_n) - g(\theta) = g'(\tilde{\theta}_n)(T_n - \theta)$ である。$\tilde{\theta}_n$ は $T_n$ と $\theta$ の間の点である
2. $T_n - \theta = \{\sqrt{n}(T_n - \theta)\}/\sqrt{n} \to 0$ と確率収束するので、$\tilde{\theta}_n \to \theta$ である
3. $g'$ は連続なので、$g'(\tilde{\theta}_n) \to g'(\theta)$ と確率収束する
4. スルツキーの補題より、$\sqrt{n}(g(T_n) - g(\theta)) = g'(\tilde{\theta}_n) \cdot \sqrt{n}(T_n - \theta) \to g'(\theta) \cdot N(0, \sigma^2)$ である

例題：生存確率の標準誤差

部品の寿命が率 $\lambda$ の指数分布に従う。$n = 50$、$\bar{x} = 2$ のとき、$P(X > 3)$ の最尤推定値とその標準誤差を求めよ。

【答案】

1. $\hat{\lambda} = 1/\bar{x} = 0.5$ で、$I(\lambda) = 1/\lambda^2$ より $\sqrt{n}(\hat{\lambda} - \lambda) \to N(0, \lambda^2)$ である
2. $g(\lambda) = e^{-3\lambda}$ とおくと、不変性より最尤推定値は $g(0.5) = e^{-1.5} \approx 0.223$ である
3. $g'(\lambda) = -3e^{-3\lambda}$ より、漸近分散は $9e^{-6\lambda}\lambda^2/n$ である
4. 標準誤差は $3e^{-3\hat{\lambda}}\hat{\lambda}/\sqrt{n} = 3 \times 0.223 \times 0.5/\sqrt{50} \approx 0.047$ である

答えは推定値約0.223、標準誤差約0.047です。

デルタ法の応用をもう1つ見ましょう。漸近分散が $\theta$ に依存すると、区間推定で不便です。そこで、$g'(\theta) = 1/\sigma(\theta)$ を満たす $g$ を選ぶと、漸近分散は定数になります。これを 分散安定化変換 と呼びます。

例えば、二項比率では $\sigma^2(p) = p(1-p)$ です。$g(p) = \arcsin\sqrt{p}$ なら、$g'(p) = 1/\{2\sqrt{p(1-p)}\}$ なので、$\sqrt{n}(g(\hat{p}) - g(p)) \to N(0, 1/4)$ です。$n = 100$、$\hat{p} = 0.36$ なら、$g(\hat{p}) = \arcsin 0.6 \approx 0.644$ で、標準誤差は $0.05$ です。$0.644 \pm 0.098$ を元に戻すと、$p$ の95%信頼区間は約 [0.269, 0.456] となります。

ただし、$g'(\theta) = 0$ だと、極限は0に潰れてしまいます。接線が水平なので、1次の近似では何も見えないのです。そのときは、テイラー展開を2次まで進めます。

$$n\,\big(g(T_n) - g(\theta)\big) \ \xrightarrow{d}\ \frac{\sigma^2\, g''(\theta)}{2}\,\chi^2(1)$$

例えば、$g(p) = p(1-p)$ の $p = 1/2$ では、$g'(1/2) = 0$ です。$\sigma^2 = 1/4$、$g'' = -2$ なので、$n\{\hat{p}(1-\hat{p}) - 1/4\}$ は $-\frac{1}{4}\chi^2(1)$ に分布収束します。収束の速さも $1/\sqrt{n}$ から $1/n$ に変わりました。

補足（ここは読み飛ばしてOK）： 多変量のときは $\sqrt{n}(g(\boldsymbol{T}_n) - g(\boldsymbol{\theta})) \to N(0, \nabla g^\top\Sigma\,\nabla g)$ です。例えば、正規標本の変動係数 $S/\bar{X}$ の漸近分散は、$c = \sigma/\mu$ として $(c^4 + c^2/2)/n$ です。

試験のポイント：デルタ法の答案では、$g'(\theta) \ne 0$ の確認と、未知の母数に推定値を代入する手順を明記します。

以上が、デルタ法についての解説です。

細かい条件を忘れてしまっても問題ありません。ここでは、「下限はスコアとの相関の限界から出て、最尤推定量はスコアを情報量で割った形でその下限に届く」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は、フィッシャー情報量の計算、クラーメル・ラオの不等式の証明、最尤推定量の漸近正規性の証明、デルタ法の証明を紹介しました。壁の高さを情報量が決め、標本が大きくなると最尤推定量がその壁に届きます。推定の理論は、ここで1つにつながりました。

今回のポイントを振り返りましょう。

振り返り

• フィッシャー情報量はスコアの分散で、$n$ 個なら $n$ 倍。母数を変換すると $(d\theta/d\eta)^2$ が掛かる。
• クラーメル・ラオの不等式は、$T$ とスコアの共分散にコーシー・シュワルツの不等式を使って示す。
• 等号はスコアが $T - g(\theta)$ に比例するときで、指数型分布族の形の分布に限られる。
• 最尤推定量の漸近正規性は、テイラー展開、中心極限定理、大数の法則、スルツキーの補題で示す。
• デルタ法は関数を接線で近似する方法で、$g'(\theta) = 0$ のときは2次まで進める。

キーワードのおさらい

• フィッシャー情報量: スコアの分散。データが母数についてもつ情報の量
• クラーメル・ラオの不等式: 不偏推定量の分散の下限 $g'(\theta)^2/\{nI(\theta)\}$ を与える不等式
• 最尤推定量の漸近正規性: $\sqrt{n}(\hat{\theta} - \theta)$ が $N(0, 1/I(\theta))$ に分布収束する性質
• 漸近有効: 漸近分散がクラーメル・ラオの下限に一致する性質
• デルタ法: 推定量の関数の漸近分布を、接線の傾きで求める方法
• 分散安定化変換: 漸近分散が母数によらなくなる変換

さて、これで推定量の分布を導く道具がそろいました。この分布を使えば、「母数はこの範囲にある」と言うことができます。ところで、その範囲に真の値が入る確率は、本当に95%なのでしょうか？

次回は、信頼区間の構成と性質について紹介します。

それでは、次の記事へ進んでいきましょう。