統計学 学習ノート

はじめに

「中心極限定理は使ってきた。でも、なぜ元の分布が何でも正規分布になるの？」

準1級までは、定理の結果を使って確率を近似してきました。しかし、サイコロでも、待ち時間でも、歪んだ分布でも、足していくと同じ釣り鐘の形になるというのは、よく考えると不思議な話です。

例えば、合唱を思い浮かべてください。1人ずつの声には、高さや響きに強い癖があります。ところが100人が同時に歌うと、個人の癖は打ち消し合って、全体の響きだけが残ります。

実は、この現象の証明は長くありません。前回までに準備したキュムラント母関数をテイラー展開すれば、数行で終わります。3次以降の項、つまり分布の癖が、$n$ の中で消えていくのが式で見えます。

そこで登場するのが、今回の主役 大数の弱法則 と 中心極限定理 です。

前回の記事では、変数変換で分布を厳密に導きました。今回の記事では、厳密な分布が求まらないときの武器として、2つの極限定理の証明と、二項分布の正規近似とポアソン近似 の導出について解説します。

大数の弱法則：不等式から証明する

はじめに、大数の弱法則の証明について解説します。

準1級で学んだ確率収束を思い出しましょう。どんな $\varepsilon > 0$ についても $P(|X_n - c| \ge \varepsilon) \to 0$ となることでした。これを示すには、分布を知らなくても確率を上から押さえられる道具が必要です。

それが マルコフの不等式 です。$X \ge 0$、$a > 0$ のとき、次の式が成り立ちます。

$$P(X \ge a) \le \frac{E[X]}{a}$$

証明は1行です。いつでも $a\, \mathbf{1}_{\{X \ge a\}} \le X$ なので、両辺の期待値をとります。例えば、平均点30点のクラスで、90点以上の人は多くても3分の1です。それより多いと、平均が30点を超えてしまいますよね。

$(X - \mu)^2$ にこの不等式を使うと、チェビシェフの不等式 が出ます。

$$P(|X - \mu| \ge \varepsilon) = P((X - \mu)^2 \ge \varepsilon^2) \le \frac{\sigma^2}{\varepsilon^2}$$

これで準備が整いました。大数の弱法則 は、$X_1, X_2, \dots$ が独立に平均 $\mu$、分散 $\sigma^2 < \infty$ の分布に従うとき、標本平均 $\bar{X}_n$ が $\mu$ に確率収束するという定理です。

証明は、$V[\bar{X}_n] = \sigma^2/n$ をチェビシェフの不等式に入れるだけです。

$$P(|\bar{X}_n - \mu| \ge \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \longrightarrow 0$$

この不等式は、必要な標本の大きさも教えてくれます。例えば、未知の確率 $p$ のコインで、標本比率の誤差が0.05以上になる確率を0.05以下にしたいとします。$\sigma^2 = p(1-p) \le 1/4$ なので、$\dfrac{1/4}{n \times 0.05^2} \le 0.05$ より $n \ge 2000$ です。

一方、後で学ぶ正規近似なら、$1.96 \times 0.5/\sqrt{n} \le 0.05$ より $n \ge 385$ です。チェビシェフの不等式は、どんな分布にも使える代わりに、かなり余裕のある答えを返します。

証明を見ると、独立性を使ったのは $V[\bar{X}_n] \to 0$ のところだけです。逆に、前提が崩れると定理も崩れます。標準コーシー分布は特性関数が $e^{-|t|}$ で、$\bar{X}_n$ の特性関数は $(e^{-|t/n|})^n = e^{-|t|}$ です。つまり、何個平均しても、$\bar{X}_n$ の分布は1個のときと同じなのです。期待値が存在しないので、近づく先もありません。

補足（ここは読み飛ばしてOK）： 分散が無限でも、期待値が有限で独立に同じ分布に従えば、大数の弱法則は成り立ちます。この場合は、特性関数を使って証明します。

例題：隣どうしだけ相関があるとき

$X_1, X_2, \dots$ は平均 $\mu$、分散 $\sigma^2$ で、$\mathrm{Cov}[X_i, X_{i+1}] = \rho\sigma^2$、$|i - j| \ge 2$ なら無相関とする。〔1〕$V[\bar{X}_n]$ を求めよ。〔2〕$\bar{X}_n$ が $\mu$ に確率収束することを示せ。〔3〕どの2つの相関も $\rho > 0$ のとき、同じ証明が使えない理由を述べよ。

【解答】

〔1〕隣り合う組は $n - 1$ 個あるので、$V[\sum_i X_i] = n\sigma^2 + 2(n-1)\rho\sigma^2$ である。$n^2$ で割って、次を得る。

$$V[\bar{X}_n] = \frac{\sigma^2}{n}\left(1 + 2\rho\, \frac{n-1}{n}\right)$$

〔2〕チェビシェフの不等式より、次のとおり確率収束する。

$$P(|\bar{X}_n - \mu| \ge \varepsilon) \le \frac{\sigma^2 (1 + 2|\rho|)}{n\varepsilon^2} \longrightarrow 0$$

〔3〕$V[\bar{X}_n] = \dfrac{\sigma^2}{n}\{1 + (n-1)\rho\} \to \sigma^2\rho > 0$ となり、上界が0に収束しないからである。

要するに、大数の法則に必要なのは独立性そのものではなく、「遠くどうしの相関が消えること」です。

以上が、大数の弱法則についての解説です。

中心極限定理：母関数で証明する

次に、中心極限定理の証明について説明します。

中心極限定理 は、$X_1, X_2, \dots$ が独立に平均 $\mu$、分散 $\sigma^2$（$0 < \sigma^2 < \infty$）の分布に従うとき、次の分布収束が成り立つという定理です。

$$Z_n = \frac{\sqrt{n}(\bar{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0, 1)$$

証明には、もう1つの定理を引用します。連続性定理 です。$0$ の近くのすべての $t$ で $M_{Z_n}(t) \to M_Z(t)$ なら、$Z_n$ は $Z$ に分布収束します。母関数の一意性の、極限版だと思ってください。

ここでは、$X_i$ にモーメント母関数が存在する場合を証明します。

【中心極限定理の証明】

1. $Y_i = (X_i - \mu)/\sigma$ とおくと $E[Y_i] = 0$、$V[Y_i] = 1$ で、$Z_n = \sum_i Y_i / \sqrt{n}$ である
2. $Y_i$ のキュムラント母関数を $K(s)$ とする。独立だから $\log M_{Z_n}(t) = n K(t/\sqrt{n})$ である
3. $K(0) = 0$、$K'(0) = 0$、$K''(0) = 1$ より、$s \to 0$ で $K(s) = s^2/2 + o(s^2)$ である
4. $s = t/\sqrt{n}$ を代入すると $n K(t/\sqrt{n}) = t^2/2 + n \cdot o(1/n) \to t^2/2$ である
5. $e^{t^2/2}$ は $N(0, 1)$ のモーメント母関数だから、連続性定理より結論を得る

手順3がポイントです。$K$ の展開で、元の分布の情報は平均と分散だけが2次までに入っています。3次の項は $\kappa_3 s^3/6$ で、これは手順4で次のようになります。

$$n \times \frac{\kappa_3}{6} \cdot \frac{t^3}{n^{3/2}} = \frac{\kappa_3 t^3}{6\sqrt{n}} \longrightarrow 0$$

分布の癖は、$1/\sqrt{n}$ の速さで消えるのです。合唱で、人数が増えるほど個人の癖が埋もれるのと同じです。分布の特性値の記事で見た「和の歪度は $1/\sqrt{n}$ 倍になる」は、この式と同じことを言っています。

例えば、指数分布の歪度は2なので、30個の和の歪度は $2/\sqrt{30} \approx 0.37$ です。まだ右に少し歪んでいます。「$n \ge 30$ なら大丈夫」という目安は、元の分布が強く歪んでいると当てになりません。

補足（ここは読み飛ばしてOK）： モーメント母関数が存在しなくても、特性関数で同じ展開をすれば、分散が有限なら定理は成り立ちます。分散が無限のコーシー分布では、定理は成り立ちません。

例題：ポアソン分布の標準化

$X_\lambda \sim Po(\lambda)$ とし、$Z_\lambda = (X_\lambda - \lambda)/\sqrt{\lambda}$ とする。$\lambda \to \infty$ のとき、$Z_\lambda$ が $N(0, 1)$ に分布収束することを、モーメント母関数を用いて示せ。

【解答】

$X_\lambda$ のモーメント母関数は $\exp(\lambda(e^t - 1))$ である。$M_{aX+b}(t) = e^{bt} M_X(at)$ を用いると、次を得る。

$$\log M_{Z_\lambda}(t) = -t\sqrt{\lambda} + \lambda\left(e^{t/\sqrt{\lambda}} - 1\right)$$

$e^{u} = 1 + u + u^2/2 + u^3/6 + \cdots$ に $u = t/\sqrt{\lambda}$ を代入すると、右辺は次のようになる。

$$-t\sqrt{\lambda} + t\sqrt{\lambda} + \frac{t^2}{2} + \frac{t^3}{6\sqrt{\lambda}} + \cdots \longrightarrow \frac{t^2}{2}$$

よって $M_{Z_\lambda}(t) \to e^{t^2/2}$ で、連続性定理より結論を得る。

試験のポイント：極限の証明では「母関数の極限を計算する」だけで終わらせず、「連続性定理より」と結論を書きます。$\lambda$ が整数でなくても使える点で、再生性による説明より一般的です。

以上が、中心極限定理の証明についての説明です。

二項分布の正規近似とポアソン近似

最後に、二項分布の2つの近似を見ていきましょう。

同じ二項分布でも、$p$ が一定のままなら正規分布に、$np$ が一定のままならポアソン分布に近づきます。1つずつ見ていきましょう。

1. 正規近似と連続修正

$X \sim B(n, p)$ はベルヌーイ分布の和なので、中心極限定理から $(X - np)/\sqrt{npq}$ は $N(0, 1)$ に分布収束します。ただし、$q = 1 - p$ です。

ここで問題があります。$X$ は整数しかとらないのに、正規分布は連続です。棒グラフの棒を、なめらかな曲線の下の面積で置きかえることを考えてください。$P(X = k)$ の棒の幅は、$k - 0.5$ から $k + 0.5$ までです。したがって、境目を0.5ずらすのが自然です。これが 連続修正 です。

$$P(a \le X \le b) \approx \Phi\left(\frac{b + 0.5 - np}{\sqrt{npq}}\right) - \Phi\left(\frac{a - 0.5 - np}{\sqrt{npq}}\right)$$

具体的に見てみましょう。$X \sim B(50, 0.4)$ の $P(X \le 15)$ です。平均20、分散12です。

計算法	式	値
正確な値	二項分布の和	0.0955
連続修正なし	$\Phi((15 - 20)/\sqrt{12})$	0.0745
連続修正あり	$\Phi((15.5 - 20)/\sqrt{12})$	0.0970

0.5ずらすだけで、誤差が10分の1以下になりました。

2. ポアソン近似と少数法則

次は、$n$ が大きく $p$ が小さい場合です。$n p_n \to \lambda$ のとき、$B(n, p_n)$ の確率母関数の極限を計算します。

$$G_n(s) = \{1 + p_n(s - 1)\}^n = \left\{1 + \frac{n p_n (s - 1)}{n}\right\}^n \longrightarrow e^{\lambda(s - 1)}$$

右辺は $Po(\lambda)$ の確率母関数です。確率母関数の収束から、それぞれの確率の収束が言えます。これが 少数法則 で、起こりにくい出来事を多数の試行で数えると、ポアソン分布に近づくという定理です。宝くじの高額当選者の数や、1日の交通事故の件数が、その例です。

例えば、$X \sim B(200, 0.01)$ と $Po(2)$ を比べると、$P(X = 2)$ は0.2720と0.2707、$P(X \le 2)$ はともに0.6767です。

補足（ここは読み飛ばしてOK）： $p$ が試行ごとに違っても、少数法則は成り立ちます。独立なベルヌーイ変数の和とポアソン分布の分布の差は、ル・カムの不等式により $\sum_i p_i^2$ で押さえられます。

【2つの近似の使い分け】

• 正規近似： $np$ と $nq$ がどちらも大きい（目安は5以上）。連続修正を付ける
• ポアソン近似： $n$ が大きく $p$ が小さい。$\lambda = np$ とする

例題：不良品の個数

不良率2%の製品について、次の確率を近似せよ。〔1〕150個の中に不良品が5個以上ある確率を、ポアソン近似で求めよ。〔2〕2500個の中の不良品が40個以下である確率を、連続修正を用いた正規近似で求めよ。

【解答】

〔1〕$\lambda = 150 \times 0.02 = 3$ である。$Po(3)$ より、次を得る。

$$P(X \ge 5) = 1 - e^{-3}\left(1 + 3 + \frac{9}{2} + \frac{9}{2} + \frac{27}{8}\right) \approx 0.185$$

〔2〕$np = 50$、$\sqrt{npq} = \sqrt{49} = 7$ である。連続修正により $z = (40.5 - 50)/7 \approx -1.36$ で、$\Phi(-1.36) \approx 0.087$ である。

正確な値は、〔1〕が0.183、〔2〕が0.084です。答案では、どの近似をなぜ使ったかを1行添えましょう。

以上が、二項分布の正規近似とポアソン近似についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「分散で押さえるのが大数の法則、キュムラントの2次で止めるのが中心極限定理」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は大数の弱法則と中心極限定理の証明、そして二項分布の2つの近似を紹介しました。100人の合唱で個人の癖が消えるように、和をとると分布の癖は $1/\sqrt{n}$ の速さで消えて、平均と分散だけが残ります。

今回のポイントを振り返りましょう。

振り返り

• マルコフの不等式からチェビシェフの不等式が出て、大数の弱法則はその1行の応用である。
• 大数の法則には $V[\bar{X}_n] \to 0$ が効いている。コーシー分布では成り立たない。
• 中心極限定理は、キュムラント母関数の展開と連続性定理で証明できる。
• 二項分布は、$np$ が大きければ連続修正つきの正規近似、$p$ が小さければポアソン近似を使う。

キーワードのおさらい

• 大数の弱法則: 標本平均が母平均に確率収束するという定理
• 中心極限定理: 標準化した標本平均が $N(0, 1)$ に分布収束するという定理
• 二項分布の正規近似とポアソン近似: $B(n, p)$ を $N(np, npq)$ か $Po(np)$ で近似すること
• 少数法則: $np$ を一定にして $n \to \infty$ とすると、二項分布がポアソン分布に近づくという定理
• 連続修正: 離散型を連続型で近似するとき、境目を0.5ずらす補正
• チェビシェフの不等式: 分散だけで裾の確率を上から押さえる不等式
• 連続性定理: 母関数の収束から分布収束を導く定理

さて、極限の道具がそろいました。ここからは、個々の分布を数理的に見直していきます。二項分布もポアソン分布も、期待値や分散をもっと楽に導く方法があるのでしょうか？

次回は、離散型分布について紹介します。

それでは、次の記事へ進んでいきましょう。