統計学 学習ノート

はじめに

毎回ばらつくものが、1つの値に近づくとはどういうことか

「$n$ が十分大きければって言うけど、いったい何が、何に、どう近づいているの？」

2級では、「$n$ が大きければ標本平均は母平均に近づく」「$n$ が大きければ正規分布に近づく」と学びました。でも、よく考えると、この2つの「近づく」は同じ意味でしょうか？ 標本平均は毎回ばらつく確率変数です。ばらつくものが1つの値に近づくとは、どういうことなのでしょうか。

例えば、ダイエット中の人が大勢いるとしましょう。「全員が目標体重に落ち着いた」と「ある時点で目標から離れている人が少ない」と「全体の体重の分布の形が理想に近い」は、どれも「うまくいっている」状態ですが、意味はかなり違います。

実は、確率変数の「近づく」にも、これと同じように複数の意味があります。そして、この区別を押さえると、複雑な統計量の分布を近似する道具が使えるようになります。

そこで登場するのが、今回の主役 漸近理論 です。漸近理論とは、$n$ を限りなく大きくしたときの統計量の振る舞いを調べる理論のことです。

前回の記事では、変数変換で正確な分布を求めました。今回の記事では、3つの収束の違いから始めて、大数の弱法則、中心極限定理、少数法則、極値分布、そしてスルツキーの補題とデルタ法までを解説します。

3つの収束：概収束・確率収束・分布収束

近づくには3つの意味があり、左ほど強い

はじめに、確率変数の列 $X_1, X_2, \dots$ が近づく意味を3つ解説します。

【3つの収束の定義】

1. 概収束： 確率1で $X_n$ の値の列が $X$ に収束する
2. 確率収束： どんな $\varepsilon > 0$ についても、$X$ から $\varepsilon$ 以上離れる確率が0に近づく
3. 分布収束： $F$ の連続な点 $x$ で、累積分布関数 $F_n(x)$ が $F(x)$ に近づく

式で書くと、次のとおりです。

$$P\left(\lim_{n \to \infty} X_n = X\right) = 1, \qquad \lim_{n \to \infty} P(|X_n - X| \ge \varepsilon) = 0, \qquad \lim_{n \to \infty} F_n(x) = F(x)$$

ダイエットの例で説明しましょう。

概収束は、「ほぼ全員が、ある時点から先は目標体重に落ち着き、二度と離れない」状態です。一人ひとりの体重の推移を、最後まで追いかけて判定します。

確率収束は、「どの時点で調べても、目標から離れている人の割合は小さくなっていく」状態です。ただし、離れている人の顔ぶれは入れ替わってもかまいません。全員が、いつかまた一度はリバウンドするとしても、その時期がばらばらなら成り立ちます。

分布収束は、「全体の体重の分布の形が、理想の形に近づく」状態です。一人ひとりの体重は追いかけません。ヒストグラムの形だけを見ます。

3つの強さには、次の順序があります。

$$\text{概収束} \ \Rightarrow\ \text{確率収束} \ \Rightarrow\ \text{分布収束}$$

逆は一般に成り立ちません。例えば、$X \sim N(0, 1)$ として $X_n = -X$ とします。どの $X_n$ の分布も $N(0, 1)$ なので、$X_n$ は $X$ に分布収束します。しかし、$|X_n - X| = 2|X|$ はいつまでも小さくなりません。形が同じでも、値が近いとは限らないのです。

ただし、極限が定数 $c$ のときだけは、分布収束から確率収束が言えます。

補足（ここは読み飛ばしてOK）： 独立に $P(X_n = 1) = 1/n$、$P(X_n = 0) = 1 - 1/n$ とすると、1をとる確率が0に近づくので、$X_n$ は0に確率収束します。しかし、$\sum 1/n$ は発散するので、確率1で1は無限回現れ、概収束はしません。これが「いつまでもリバウンドする」例です。

以上が、3つの収束についての解説です。

大数の法則と連続写像定理

ピントの合う列は、連続な変換を通しても合っていく

次に、確率収束の代表である大数の法則について説明します。

大数の弱法則 は、独立で同じ分布に従う $X_1, \dots, X_n$ の平均が $\mu$ のとき、標本平均が $\mu$ に確率収束するという定理です。

$$\bar{X}_n \xrightarrow{p} \mu$$

分散が有限なら、2級で学んだチェビシェフの不等式で示せます。$P(|\bar{X}_n - \mu| \ge \varepsilon) \le \sigma^2 / (n\varepsilon^2)$ の右辺は0に近づくからです。これを概収束に強めたものが大数の強法則で、平均が存在すれば成り立ちます。

次に、収束した量を変換したいときの道具が 連続写像定理 です。$g$ が連続なら、収束は変換しても保たれます。

$$X_n \to X \ \Rightarrow\ g(X_n) \to g(X)$$

これは、概収束、確率収束、分布収束のどれでも成り立ちます。ピントの合っていく写真を、コピー機にかけるようなものです。コピー機が写真を破かない（連続である）限り、コピーのピントも合っていきます。

具体的に見てみましょう。$n$ で割る標本分散を $S^2 = \frac{1}{n}\sum X_i^2 - \bar{X}^2$ とします。大数の弱法則より $\frac{1}{n}\sum X_i^2 \xrightarrow{p} E[X^2]$、$\bar{X} \xrightarrow{p} \mu$ です。連続写像定理より $S^2 \xrightarrow{p} E[X^2] - \mu^2 = \sigma^2$ となります。さらに平方根も連続なので、$S \xrightarrow{p} \sigma$ です。$n - 1$ で割る不偏分散でも、$n/(n-1) \to 1$ なので結論は同じです。

せっかくなので、別の例も見てみましょう。標本比率 $\hat{p}$ は $p$ に確率収束するので、$\hat{p}(1 - \hat{p})$ は $p(1 - p)$ に確率収束します。このように、推定量が真の値に確率収束する性質を一致性と呼びます。

以上が、大数の法則と連続写像定理についての説明です。

中心極限定理と正規近似

二項分布を正規分布で近似し、境目を0.5ずらす

続いて、分布収束の代表である中心極限定理について解説します。

中心極限定理 は、独立で同じ分布に従う $X_1, \dots, X_n$ の平均が $\mu$、分散が $\sigma^2 < \infty$ のとき、次の分布収束が成り立つという定理です。

$$\frac{\sqrt{n}(\bar{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0, 1)$$

2級では結果を使いました。準1級では、導出の要点も押さえましょう。ここでモーメント母関数が活躍します。

【中心極限定理の導出の要点】

1. $Y_i = (X_i - \mu)/\sigma$ とおくと、左辺は $Z_n = \sum Y_i / \sqrt{n}$
2. 独立なので、$M_{Z_n}(t) = \{M_Y(t / \sqrt{n})\}^n$
3. $E[Y] = 0$、$E[Y^2] = 1$ より、$M_Y(s) = 1 + s^2/2 + \cdots$
4. したがって、$M_{Z_n}(t) = \{1 + t^2/(2n) + \cdots\}^n \to e^{t^2/2}$

$e^{t^2/2}$ は $N(0, 1)$ のモーメント母関数です。元の分布の個性は3次以降の項にありますが、$n$ が大きくなると消えて、平均と分散だけが残ります。大勢の合唱で個人の声の癖が消えるのに似ています。

二項分布の正規近似 は、この定理の応用でした。$B(n, p)$ はベルヌーイ分布の和なので、$N(np, np(1-p))$ で近似できます。

例えば、$X \sim B(200, 0.3)$ の $P(X \le 50)$ を考えます。$np = 60$、標準偏差は $\sqrt{42} \approx 6.48$ です。連続修正 で境目を50.5にすると $z \approx -1.47$ で、確率は約0.071です。正確な値は0.0695で、連続修正なしの0.061より近いです。

ポアソン分布の正規近似 も同じ理屈です。$Po(\lambda)$ は再生性により $Po(1)$ の $\lambda$ 個の和と見られるので、$\lambda$ が大きければ $N(\lambda, \lambda)$ で近似できます。

例題：ポアソン分布を正規分布で近似する

ある店の1日の客数は $Po(100)$ に従います。客が115人以上になる確率を、連続修正を使って求めましょう。

【解き方】

1. 平均100、標準偏差 $\sqrt{100} = 10$ の正規分布で近似する
2. 連続修正で境目を114.5にする
3. 標準化する： $z = (114.5 - 100) \div 10 = 1.45$
4. 標準正規分布表から $P(Z \ge 1.45) \approx 0.0735$

答えは約0.074です。正確な値は約0.076で、連続修正なしの0.067より近いです。

以上が、中心極限定理と正規近似についての解説です。

少数法則と極値分布：正規分布以外の極限

まれな件数はポアソン分布へ、最大値は極値分布へ近づく

次に、極限が正規分布にならない2つの話を説明します。

1. 少数法則

少数法則 は、二項分布の $n$ を大きく、$p$ を小さくして、$np = \lambda$ を一定に保つと、ポアソン分布に近づくという定理です。ポアソンの少数の法則とも呼びます。

$$\binom{n}{k} p^k (1 - p)^{n - k} = \frac{n(n-1)\cdots(n-k+1)}{n^k} \cdot \frac{\lambda^k}{k!} \left(1 - \frac{\lambda}{n}\right)^{n - k} \longrightarrow \frac{\lambda^k}{k!} e^{-\lambda}$$

最初の分数は1に、最後のかっこは $e^{-\lambda}$ に近づきます。大勢の人がいて、1人が事故に遭う確率は小さい。この場面の件数がポアソン分布になる理由です。

例えば、$n = 1000$、$p = 0.002$ なら $\lambda = 2$ です。$P(X = 3)$ は、二項分布で0.18063、ポアソン分布で0.18045と、ほとんど同じです。

ここで整理しましょう。同じ二項分布でも、$np$ が一定のままならポアソン分布に、$np$ も大きくなるなら正規分布に近づきます。

2. 極値分布

中心極限定理は「和」の極限でした。では、「最大値」の極限はどうでしょうか？ 100年に一度の大雨に備える堤防の高さを決めるには、平均ではなく最大値の分布が必要です。

最大値 $M_n = \max(X_1, \dots, X_n)$ を適切に標準化したときの極限分布が 極値分布 です。極限が存在するなら、元の分布によらず、次の3つの型のどれかになります。

【極値分布の3つの型】

• グンベル型： 指数分布や正規分布のように、裾が指数的に減るとき
• フレシェ型： 裾がべき乗で減る、裾の重い分布のとき
• ワイブル型： 一様分布のように、値に上限があるとき

具体的に見てみましょう。$X_i$ が $F(x) = 1 - e^{-x}$ の指数分布に従うとき、$M_n$ の累積分布関数は $F(x)^n$ です。$x$ を $x + \log n$ にずらすと、次のようになります。

$$P(M_n - \log n \le x) = \left(1 - \frac{e^{-x}}{n}\right)^n \longrightarrow \exp(-e^{-x})$$

これがグンベル分布です。例えば $n = 100$ なら、$P(M_{100} \le \log 100 + 2) \approx \exp(-e^{-2}) \approx 0.873$ です。

以上が、少数法則と極値分布についての説明です。

スルツキーの補題とデルタ法

虫めがねで見ると曲線は直線。ぶれは傾きの倍率で広がる

最後に、統計量の極限分布を導く2つの道具を見ていきましょう。

1. スルツキーの補題

スルツキーの補題 は、分布収束する量と、定数に確率収束する量を組み合わせる定理です。$X_n \xrightarrow{d} X$、$Y_n \xrightarrow{p} c$ のとき、次が成り立ちます。

$$X_n + Y_n \xrightarrow{d} X + c, \qquad X_n Y_n \xrightarrow{d} cX, \qquad \frac{X_n}{Y_n} \xrightarrow{d} \frac{X}{c} \quad (c \ne 0)$$

言葉で言うと、「いずれ定数になるものは、最初から定数と思ってよい」ということです。

例えば、母分散が未知のときの統計量を考えます。

$$\frac{\sqrt{n}(\bar{X} - \mu)}{S} = \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \times \frac{\sigma}{S}$$

右辺の最初の項は中心極限定理で $N(0, 1)$ に分布収束し、$\sigma / S$ は1に確率収束します。したがって、全体は $N(0, 1)$ に分布収束します。母集団が正規分布でなくても、大標本なら $\sigma$ を $S$ に置きかえて区間推定ができる理由が、これです。

注意点は、$Y_n$ の極限が定数でなければならないことです。分布収束どうしの和や積は、同時分布が分からないと一般には何も言えません。

2. デルタ法

デルタ法 は、漸近正規な統計量を関数で変換したときの分布を求める方法です。$\sqrt{n}(T_n - \theta) \xrightarrow{d} N(0, \sigma^2)$ で、$g$ が微分可能で $g'(\theta) \ne 0$ なら、次が成り立ちます。

$$\sqrt{n}\left(g(T_n) - g(\theta)\right) \xrightarrow{d} N\left(0,\ g'(\theta)^2 \sigma^2\right)$$

導出の要点は1次のテイラー展開です。$g(T_n) \approx g(\theta) + g'(\theta)(T_n - \theta)$ と、$\theta$ の近くで $g$ を直線に置きかえます。直線の変換なら正規分布は正規分布のままで、分散が傾きの2乗倍になります。正確な議論には、スルツキーの補題を使います。

虫めがねで見ると、曲線も狭い範囲では直線に見えます。$n$ が大きいと $T_n$ のぶれは狭い範囲に収まるので、$g$ は直線と見なせるのです。

例題：オッズの標準誤差

成功確率 $p = 0.4$ のベルヌーイ試行を $n = 100$ 回行います。標本比率 $\hat{p}$ から計算したオッズ $\hat{p}/(1 - \hat{p})$ の、近似の分散と標準偏差を求めましょう。

【解き方】

1. 中心極限定理より、$\hat{p}$ の分散は約 $p(1-p)/n$
2. $g(p) = p/(1 - p)$ を微分する： $g'(p) = 1/(1 - p)^2$
3. デルタ法より、分散は $\dfrac{1}{(1-p)^4} \times \dfrac{p(1-p)}{n} = \dfrac{p}{n(1-p)^3}$
4. 数値を入れる： $0.4 \div (100 \times 0.216) \approx 0.0185$

答えは、分散約0.0185、標準偏差約0.136です。

せっかくなので、別の例も見てみましょう。$X_i \sim Po(\lambda)$ のとき、$\sqrt{n}(\bar{X} - \lambda) \xrightarrow{d} N(0, \lambda)$ です。$g(x) = \sqrt{x}$ なら $g'(\lambda)^2 \lambda = 1/4$ なので、$\sqrt{\bar{X}}$ の漸近分散は $\lambda$ によらず $1/(4n)$ です。前回の Box-Cox 変換で触れた「分散を一定にする」変換の正体がこれで、分散安定化変換と呼びます。

試験のポイント：デルタ法の分散は「元の分散 × 微分の2乗」です。微分を2乗し忘れないこと、$\theta$ の値で微分を評価することを確認します。

以上が、スルツキーの補題とデルタ法についての説明です。

細かい証明が分からなかったとしても問題ありません。ここでは、「収束には強さの順があり、統計量の極限分布は中心極限定理に連続写像定理、スルツキーの補題、デルタ法を重ねて導く」という点だけ押さえておきましょう。

今回のまとめ

収束の強さを知り、極限の道具を組み合わせる

それでは、今回の内容を振り返ります。

今回は「$n$ が大きいとどうなるか」を調べる漸近理論について紹介しました。正確な分布が求められなくても、極限の道具を組み合わせれば、統計量の振る舞いが分かります。この後の推定や検定の多くは、この道具の上に建っています。

今回のポイントを振り返りましょう。

振り返り

• 収束には3つの意味があり、概収束 ⇒ 確率収束 ⇒ 分布収束の順に強い。
• 大数の弱法則は「どこに集まるか」、中心極限定理は「どんな形で集まるか」を教える。
• 二項分布は、$np$ が一定のままならポアソン分布へ、$np$ も大きくなれば正規分布へ近づく。最大値の極限は極値分布になる。
• 連続写像定理、スルツキーの補題、デルタ法は、極限を組み合わせるための3つの道具。
• デルタ法は虫めがねの発想。曲線を直線に置きかえて、分散を傾きの2乗倍にする。

キーワードのおさらい

• 概収束: 確率1で値の列が極限に収束すること
• 確率収束: 極限から離れる確率が0に近づくこと
• 大数の弱法則: 標本平均が母平均に確率収束するという定理
• 分布収束: 累積分布関数が極限の累積分布関数に近づくこと
• 少数法則: $np = \lambda$ を保って $n \to \infty$ とすると、二項分布がポアソン分布に近づくこと
• 中心極限定理: 標準化した標本平均が標準正規分布に分布収束するという定理
• 二項分布の正規近似: $B(n, p)$ を $N(np, np(1-p))$ で近似すること
• ポアソン分布の正規近似: $Po(\lambda)$ を $N(\lambda, \lambda)$ で近似すること
• 連続修正: 離散分布を連続分布で近似するとき、境目を0.5ずらすこと
• 極値分布: 標準化した最大値の極限分布。グンベル型、フレシェ型、ワイブル型がある
• 連続写像定理: 連続関数で変換しても収束が保たれるという定理
• スルツキーの補題: 分布収束する量と定数に確率収束する量を組み合わせる定理
• デルタ法: 漸近正規な統計量を関数で変換したときの漸近分布を求める方法

さて、ここまでで確率の道具はそろいました。次は、これまで何度も登場した二項分布やポアソン分布を、この道具で見直します。ばらばらに覚えていた分布は、どんな関係でつながっているのでしょうか？

次回は、主な「離散型分布」の性質と、分布どうしの関係について紹介します。

それでは、次の記事へ進んでいきましょう。