統計学 学習ノート

はじめに

「この推定量がよいって、どうやって証明するの？」

準1級で、不偏性、一致性、十分性、有効性という4つの基準を学びました。言葉の意味は分かりましたよね。でも、1級の論述で問われるのは「$\hat{\theta}$ が一致推定量であることを示せ」「分散が最小の不偏推定量を求めよ」という立証です。

中古車を買う場面を想像してください。店員さんの「いい車ですよ」だけでは決められません。整備記録を見て、試乗をして、よさを自分で確かめますよね。推定量も同じで、基準ごとに決まった検査の手順があります。

実は、4つの基準には、それぞれ証明の道具がそろっています。不偏性には期待値の計算、一致性にはチェビシェフの不等式、十分性には条件つき期待値、有効性にはスコアの計算です。道具さえ分かれば、答案の形はほぼ決まります。

そこで登場するのが、今回の主役 一様最小分散不偏推定量（UMVU） です。これは、不偏推定量の中で、母数がどの値でも分散が最小になる推定量です。

前回の記事では、いろいろな推定量の作り方を学びました。今回の記事では、4つの基準を立証する手順と、UMVU の求め方、推定量の相対効率の計算について解説します。

不偏性：期待値の計算で立証する

はじめに、不偏性の立証について解説します。

不偏性 とは、すべての $\theta$ で $E_\theta[\hat{\theta}] = \theta$ が成り立つことでした。準1級で学んだ $\text{MSE} = \text{分散} + \text{バイアス}^2$ の分解は、ここでも基本です。1級では、不偏推定量を組み立てる話と、存在しないことを示す話に踏み込みます。1つずつ見ていきましょう。

1. 不偏推定量を組み立てる

体重計の癖を調べて目盛りを補正するように、期待値を計算して補正すれば、不偏推定量が作れます。

具体的に見てみましょう。$X \sim B(n, p)$ で $p^2$ を推定します。$\hat{p}^2 = (X/n)^2$ の期待値は $p^2 + p(1-p)/n$ なので、偏りがあります。そこで、階乗モーメントの $E[X(X-1)] = n(n-1)p^2$ を使います。

$$E\left[\frac{X(X-1)}{n(n-1)}\right] = p^2$$

例えば $n = 10$、$x = 4$ なら、不偏推定値は $12/90 \approx 0.133$ で、$\hat{p}^2 = 0.16$ より小さい値です。同じように、ポアソン分布の $\lambda^2$ は $\bar{X}^2 - \bar{X}/n$ で不偏に推定できます。$E[\bar{X}^2] = \lambda^2 + \lambda/n$ だからです。

2. 不偏推定量が存在しないことを示す

不偏推定量は、いつでも存在するわけではありません。例えば、$X \sim B(n, p)$（$0 < p < 1$）のとき、$1/p$ の不偏推定量は存在しません。答案の形で示してみましょう。

【証明】

1. $g(X)$ が不偏推定量であると仮定する。すべての $p$ で次の式が成り立つ

$$\sum_{x=0}^{n} g(x)\binom{n}{x} p^x (1-p)^{n-x} = \frac{1}{p}$$

2. 左辺は $p$ の多項式なので、$p \to 0$ のとき有限の値 $g(0)$ に収束する
3. 右辺は $p \to 0$ のとき無限大に発散する。これは矛盾である。よって不偏推定量は存在しない

要するに、「期待値が多項式でしか書けないのに、目標が多項式でない」ということです。

逆に、不偏推定量があっても、役に立つとは限りません。$X \sim \text{Po}(\lambda)$ の1個の観測で $e^{-2\lambda}$ を推定するとしましょう。$\sum_x g(x)\lambda^x/x! = e^{-\lambda} = \sum_x (-\lambda)^x/x!$ の係数を比べると、不偏推定量は $g(X) = (-1)^X$ だけです。確率の2乗を推定したいのに、値は $1$ か $-1$ にしかなりません。不偏性は絶対の基準ではない、という例です。

以上が、不偏性についての解説です。

一致性：チェビシェフの不等式で立証する

次に、一致性の立証について説明します。

一致性 とは、任意の $\varepsilon > 0$ で $P(|\hat{\theta}_n - \theta| \ge \varepsilon) \to 0$ となることでした。データが増えるにつれて、カメラのピントが真の値に合っていくイメージです。立証の道具は3つあります。

【一致性を立証する道具】

1. チェビシェフの不等式： $P(|\hat{\theta}_n - \theta| \ge \varepsilon) \le \text{MSE}/\varepsilon^2$ なので、$\text{MSE} \to 0$ を示す
2. 大数の法則と連続写像定理： 標本モーメントの連続関数なら、そのまま確率収束する
3. 分布関数の直接計算： 順序統計量などは、確率を直接求める

2つ目の例を見ましょう。不偏分散は $S^2 = \frac{n}{n-1}(m_2 - m_1^2)$ と書けます。2次モーメントが有限なら、大数の法則で $m_1 \to \mu$、$m_2 \to \mu^2 + \sigma^2$ で、$n/(n-1) \to 1$ です。したがって $S^2 \to \sigma^2$ と確率収束します。分布が正規でなくても、4次モーメントがなくても言えるのが、この方法の強みです。

では、最尤推定量はいつでも一致性をもつのでしょうか？ 実は、そうとは限りません。

例題：最尤推定量が一致しない例

$X_{i1}, X_{i2}$（$i = 1, \dots, m$）はすべて独立で、$N(\mu_i, \sigma^2)$ に従う。母数は $\mu_1, \dots, \mu_m, \sigma^2$ である。(1) $\sigma^2$ の最尤推定量 $\hat{\sigma}^2$ を求めよ。(2) $m \to \infty$ のときの確率収束先を求めよ。(3) 一致推定量を作れ。

【答案】

1. $\ell = -m\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_i\sum_j (x_{ij} - \mu_i)^2$ である。$\mu_i$ で微分して $\hat{\mu}_i = (x_{i1} + x_{i2})/2$ を得る
2. $\sum_j (x_{ij} - \hat{\mu}_i)^2 = (x_{i1} - x_{i2})^2/2$ を代入して $\sigma^2$ で微分すると、$\hat{\sigma}^2 = \frac{1}{4m}\sum_i (X_{i1} - X_{i2})^2$ である
3. $D_i = X_{i1} - X_{i2}$ は独立に $N(0, 2\sigma^2)$ に従うので、大数の法則より $\frac{1}{m}\sum_i D_i^2 \to 2\sigma^2$ と確率収束する
4. したがって $\hat{\sigma}^2 \to \sigma^2/2$ である。一致推定量は、$2\hat{\sigma}^2$ である

答えは収束先 $\sigma^2/2$ で、一致推定量は $2\hat{\sigma}^2$ です。これはネイマン・スコットの問題と呼ばれます。

なぜこうなるのでしょうか？ データが増えても、母数 $\mu_i$ も同じ速さで増えるからです。1つの $\mu_i$ を決めるデータは、いつまでも2個しかありません。生徒が増えるたびに先生も増えて、1人の先生が見る生徒の数がずっと2人のままの学校のようなものです。

以上が、一致性についての説明です。

十分性：ラオ・ブラックウェルの定理と完備性

続いて、十分性を使って推定量を改良する方法を解説します。

十分性 とは、推定量が十分統計量の関数であることです。準1級では、ラオ・ブラックウェルの定理を計算に使いました。ここでは証明し、最小の分散まで進みます。

【ラオ・ブラックウェルの定理】 $W$ を $g(\theta)$ の不偏推定量、$T$ を十分統計量とする。$\varphi(T) = E[W \mid T]$ は $g(\theta)$ の不偏推定量で、$V[\varphi(T)] \le V[W]$ である。

【証明】

1. $T$ は十分なので、$T$ を与えたときの標本の分布は $\theta$ によらない。よって $\varphi(T)$ は $\theta$ を含まず、統計量である
2. 繰り返し期待値の法則より、$E[\varphi(T)] = E[W] = g(\theta)$ である
3. 全分散の公式より、$V[W] = V[\varphi(T)] + E[V[W \mid T]] \ge V[\varphi(T)]$ である

手順1が、十分性の使いどころです。十分でない $T$ で条件づけると、$\theta$ が残ってしまい、推定量になりません。

ただ、この定理は「改良できる」と言っているだけで、「最小である」とは言っていません。そこで必要なのが 完備性 です。統計量 $T$ が完備であるとは、次が成り立つことです。

$$\text{すべての } \theta \text{ で } E_\theta[g(T)] = 0 \quad \Rightarrow \quad \text{すべての } \theta \text{ で } P_\theta(g(T) = 0) = 1$$

言葉で言うと、「$T$ の関数で0を不偏に推定する方法は、0そのものしかない」ということです。これは、$T$ の関数である不偏推定量がただ1つだという意味になります。

【レーマン・シェフェの定理】 $T$ を完備十分統計量とする。$\varphi(T)$ が $g(\theta)$ の不偏推定量なら、$\varphi(T)$ は UMVU である。

【証明】

1. 任意の不偏推定量 $W$ をとり、$\varphi^*(T) = E[W \mid T]$ とおく。ラオ・ブラックウェルの定理より、$V[\varphi^*(T)] \le V[W]$ である
2. $\varphi^*(T) - \varphi(T)$ は $T$ の関数で、期待値は0である。完備性より $\varphi^* = \varphi$（確率1）である
3. したがって $V[\varphi(T)] \le V[W]$ である

どの下書きから清書しても、同じ1枚の完成原稿にたどり着く、というイメージです。

完備性の確かめ方を、2つ見てみましょう。

【完備性の確かめ方】

• ポアソン分布の $T = \sum_i X_i$： $\sum_t g(t)(n\lambda)^t/t! = 0$ がすべての $\lambda > 0$ で成り立つと、べき級数の係数はすべて0で、$g(t) = 0$
• $U(0, \theta)$ の $T = X_{(n)}$： $\int_0^\theta g(t)\, t^{n-1}\,dt = 0$ がすべての $\theta$ で成り立つと、$\theta$ で微分して $g(\theta)\theta^{n-1} = 0$ となり、$g = 0$（ほとんどいたるところ）

一般に、指数型分布族では、母数の動く範囲が開集合を含むなら、$\sum_i t(X_i)$ は完備十分統計量です。したがって、正規分布の $\bar{X}$ と $S^2$ は UMVU です。また、$U(0, \theta)$ では $\frac{n+1}{n}X_{(n)}$ が UMVU です。

UMVU を求める道は2つです。完備十分統計量の関数で不偏なものを直接見つけるか、簡単な不偏推定量を完備十分統計量で条件づけるかです。

例題：ポアソン分布の $e^{-\lambda}$ の UMVU

$X_1, \dots, X_n$ は独立に $\text{Po}(\lambda)$ に従う。$P(X = 0) = e^{-\lambda}$ の UMVU を求めよ。$n = 10$、$\sum_i x_i = 15$ のときの値を、最尤推定値と比べよ。

【答案】

1. $T = \sum_i X_i$ は分解定理より十分で、上で示したとおり完備である
2. $W = \mathbf{1}\{X_1 = 0\}$ とおくと、$E[W] = e^{-\lambda}$ で不偏である
3. $T = t$ を与えたとき、$X_1$ は二項分布 $B(t, 1/n)$ に従う。よって $E[W \mid T = t] = (1 - 1/n)^t$ である
4. レーマン・シェフェの定理より、$(1 - 1/n)^T$ が UMVU である
5. 値は $0.9^{15} \approx 0.206$ である。最尤推定値は、不変性より $e^{-1.5} \approx 0.223$ である

答えは $(1 - 1/n)^T$ で、値は約0.206です。検算として、ポアソン分布の確率母関数から $E[(1 - 1/n)^T] = \exp\{n\lambda(-1/n)\} = e^{-\lambda}$ と確かめられます。

補足（ここは読み飛ばしてOK）： 完備十分統計量と、分布が母数によらない統計量は独立です（バスーの定理）。$\sigma^2$ を固定すると $\bar{X}$ は $\mu$ の完備十分統計量で、$S^2$ の分布は $\mu$ によらないので、2つは独立です。標本分布の記事の定理の、もう1つの証明です。

以上が、十分性についての解説です。

有効性と推定量の相対効率

最後に、有効性の立証と推定量の比較を見ていきましょう。

有効性 とは、不偏推定量の分散が クラーメル・ラオの下限 に一致することです。$g(\theta)$ の不偏推定量の分散の下限は $g'(\theta)^2/\{nI(\theta)\}$ で、準1級で学びました。下限の証明は、2つ先の記事で行います。ここでは、立証の手順を確認します。

【有効性の立証手順】

1. 1個の観測のフィッシャー情報量 $I(\theta)$ を計算する
2. 不偏推定量 $T$ の分散を計算する
3. $V[T]$ と下限が等しいことを確かめる

もっと速い判定法もあります。証明の中で分かるのですが、下限の等号は、スコアが $T$ の1次式で書けるときに限り成り立ちます。

$$U(\theta) = a(\theta)\,\{T - g(\theta)\}$$

例えば、ポアソン分布なら $U(\lambda) = (n/\lambda)(\bar{X} - \lambda)$ なので、$\bar{X}$ は有効です。

ここで、よくある誤解を解いておきましょう。UMVU は、下限に届くとは限りません。さきほどの $(1 - 1/n)^T$ の分散は、確率母関数から $e^{-2\lambda}(e^{\lambda/n} - 1)$ です。下限は $\lambda e^{-2\lambda}/n$ なので、$e^x - 1 > x$ より、分散は下限より真に大きいのです。$n = 10$、$\lambda = 1.5$ なら、比は約0.927です。つまり、「UMVU である」と「有効である」は別の主張です。

2つの推定量の比較には、推定量の相対効率 を使います。不偏推定量 $T_1, T_2$ について、$T_1$ に対する $T_2$ の相対効率は次のとおりです。

$$e(T_2, T_1) = \frac{V[T_1]}{V[T_2]}$$

1より小さければ、$T_2$ のほうが悪いということです。車の燃費の比べ方に似ていて、「同じ精度を出すのに必要な標本の大きさの比」と読めます。

例題：指数分布の2つの不偏推定量

平均 $\theta$ の指数分布からの大きさ $n$ の標本について、$T_1 = \bar{X}$、$T_2 = nX_{(1)}$ とする。(1) ともに不偏であることを示せ。(2) $T_1$ に対する $T_2$ の相対効率を求めよ。(3) $T_1$ が有効であることを示せ。

【答案】

1. $E[T_1] = \theta$ である。また、$P(X_{(1)} > x) = e^{-nx/\theta}$ より $X_{(1)}$ は平均 $\theta/n$ の指数分布に従うので、$E[T_2] = \theta$ である
2. $V[T_1] = \theta^2/n$、$V[T_2] = n^2 \times \theta^2/n^2 = \theta^2$ なので、$e(T_2, T_1) = 1/n$ である
3. $\log f = -\log\theta - x/\theta$ より、$U(\theta) = (n/\theta^2)(\bar{X} - \theta)$ である。スコアが $\bar{X}$ の1次式なので、$\bar{X}$ は有効である

答えは $1/n$ です。$T_2$ は分散が $n$ によらないので、一致性ももちません。最小値だけを使うのは、データ1個分の働きしかしないのです。

次に、標本が大きいときの比較です。この場面では、漸近分散の比である 漸近相対効率 を使います。標本中央値の漸近分散を導きましょう。母集団の中央値を $m$、その点の密度を $f(m) > 0$ とします。

【標本中央値の漸近分布の導出】

1. $\{\text{標本中央値} \le m + t/\sqrt{n}\}$ は、ほぼ「$m + t/\sqrt{n}$ 以下の個数が $n/2$ 以上」という事象である
2. その個数は $B(n, q_n)$ に従い、$q_n \approx 1/2 + f(m)\,t/\sqrt{n}$ である
3. 二項分布の正規近似より、確率は $\Phi(2f(m)\,t)$ に近づく

つまり、$\sqrt{n}(\text{標本中央値} - m)$ は $N(0, 1/\{4f(m)^2\})$ に分布収束します。これを平均と比べましょう。

分布	平均の分散	中央値の漸近分散	平均に対する中央値の相対効率
正規分布 $N(\mu, \sigma^2)$	$\sigma^2/n$	$\pi\sigma^2/(2n)$	$2/\pi \approx 0.64$
ラプラス分布（尺度1）	$2/n$	$1/n$	2

正規分布では平均が勝ち、ラプラス分布では中央値が2倍有利です。どの推定量がよいかは、分布しだいなのです。

試験のポイント：相対効率は、分子と分母の取り違えが最も多い失点です。「どちらに対するどちらの効率か」を答案に明記しましょう。

以上が、有効性と推定量の相対効率についての解説です。

細かい定理の名前を忘れてしまっても問題ありません。ここでは、「不偏推定量を十分統計量で条件づけると改良でき、完備なら最良になる」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は、推定量のよさを立証する手順を紹介しました。「いい車ですよ」という言葉を信じるのではなく、整備記録を確かめるのが1級の答案です。基準ごとに道具が決まっているので、問題文の「示せ」を見たら、まず道具を選びましょう。

今回のポイントを振り返りましょう。

振り返り

• 不偏性は期待値の計算で立証する。不偏推定量が存在しないことや、役に立たないこともある。
• 一致性は $\text{MSE} \to 0$、または大数の法則と連続写像定理で立証する。母数が増え続けると最尤推定量でも一致しない。
• ラオ・ブラックウェルの定理で改良し、完備性があればレーマン・シェフェの定理で UMVU が得られる。
• 有効性の判定は、スコアが $T$ の1次式になるかを見る。UMVU が下限に届くとは限らない。
• 推定量の相対効率は分散の比。中央値と平均の優劣は分布で決まる。

キーワードのおさらい

• 不偏性: すべての母数の値で、推定量の期待値が真の値に一致する性質
• 一致性: 標本が大きくなると、推定量が真の値に確率収束する性質
• 十分性: 推定量が十分統計量の関数である性質
• 完備性: $T$ の関数で期待値がいつも0になるものが、0だけである性質
• 一様最小分散不偏推定量（UMVU）: 母数がどの値でも分散が最小の不偏推定量
• 有効性: 不偏推定量の分散がクラーメル・ラオの下限に一致する性質
• 推定量の相対効率: 2つの不偏推定量の分散の比
• 漸近相対効率: 2つの推定量の漸近分散の比

さて、ここまでは1つのモデルの中で、母数をどう推定するかを考えました。では、そもそもモデルが複数あるとき、どれを選べばよいのでしょうか？

次回は、カルバック・ライブラー情報量からAICを導き、クロスバリデーションと比べる話を紹介します。

それでは、次の記事へ進んでいきましょう。