統計学 学習ノート

はじめに

「超幾何分布の分散を定義から計算しようとしたら、組合せの和で式が爆発した……」

準1級では、離散型分布の期待値と分散を公式として使いました。ところが1級では、「導け」と言われます。定義どおりに $\sum_x x\, p(x)$ を計算し始めると、階乗と組合せの山に埋もれて、答案用紙が足りなくなりますよね。

例えば、ブロックで作った大きな城の重さを知りたいとします。城を丸ごとはかりに載せるのは大変です。でも、ブロック1個の重さと個数が分かれば、掛け算で済みます。

実は、離散型分布の計算も同じです。分布をまるごと相手にせず、小さな部品に分解すると、面倒な和はほとんど消えます。そして、分布どうしは部品の組み替えでつながっているので、8つの分布を別々に覚える必要もありません。

そこで今回は、3つの技を主役にします。

【離散型分布の3つの技】

1. 指示関数に分解する： 個数を0と1の和に分ける
2. 確率母関数を使う： 独立な和を積に変える
3. 条件付けで移る： 別の分布へ乗り換える

前回の記事では、極限定理を証明しました。今回の記事では、準1級で学んだ8つの離散型分布を、この3つの技で導き直して解説します。

指示関数に分解する：二項分布から多項分布まで

はじめに、1つ目の技である指示関数への分解について解説します。

いちばん素朴な部品から始めましょう。$1, \dots, N$ を等しい確率でとる 一様分布（離散一様分布）は、期待値 $(N+1)/2$、分散 $(N^2 - 1)/12$ でした。そして、1回の成否を0と1で表す ベルヌーイ分布 は、事象 $A$ の指示関数の分布そのものです。$p = P(A)$、$q = 1 - p$ とすると、$E[\mathbf{1}_A] = p$ で、$\mathbf{1}_A^2 = \mathbf{1}_A$ から $V[\mathbf{1}_A] = p - p^2 = pq$ です。

二項分布 $B(n, p)$ は、独立なベルヌーイ分布の和 $X = I_1 + \cdots + I_n$ です。和の期待値と、独立な和の分散から、$E[X] = np$、$V[X] = npq$ がただちに出ます。組合せの和は1回も計算していません。城をブロックに分けて数えたのと同じです。

この技が本当に光るのは、部品が独立でないときです。期待値は独立でなくても足し算で済み、分散には共分散が加わります。

$$V\left[\sum_i I_i\right] = \sum_i V[I_i] + \sum_{i \ne j} \mathrm{Cov}[I_i, I_j]$$

例題：超幾何分布の期待値と分散

赤玉 $M$ 個を含む $N$ 個の玉から、$n$ 個を戻さずに順に取り出す。赤玉の個数 $X$ は 超幾何分布 に従う。$p = M/N$、$q = 1 - p$ とする。$i$ 番目が赤なら1をとる変数を $I_i$ とする。〔1〕$E[X]$ を求めよ。〔2〕$i \ne j$ のとき $\mathrm{Cov}[I_i, I_j]$ を求めよ。〔3〕$V[X]$ を求めよ。〔4〕$N = 30$、$M = 10$、$n = 6$ のときの値を求めよ。

【解答】

〔1〕並べ方の対称性から、$i$ 番目の玉はどの玉も等しい確率でありうる。よって $P(I_i = 1) = p$ で、$E[X] = np$ である。

〔2〕同じ対称性から $E[I_i I_j] = \dfrac{M(M-1)}{N(N-1)}$ である。したがって次を得る。

$$\mathrm{Cov}[I_i, I_j] = \frac{M}{N}\left(\frac{M-1}{N-1} - \frac{M}{N}\right) = -\frac{pq}{N-1}$$

〔3〕組 $(i, j)$ は $n(n-1)$ 個あるので、次を得る。

$$V[X] = npq - n(n-1)\frac{pq}{N-1} = npq \cdot \frac{N-n}{N-1}$$

〔4〕$p = 1/3$ で、$E[X] = 2$、$V[X] = \dfrac{4}{3} \times \dfrac{24}{29} \approx 1.103$ である。

共分散が負なのは、赤を1つ引くと次の赤が引きにくくなるからです。その分だけ、二項分布の分散1.333より小さくなります。$(N-n)/(N-1)$ が 有限修正 で、$n = N$ なら全部を取り出すので分散は0です。

せっかくなので、別の例も見てみましょう。多項分布 は、$n$ 回の独立な試行で、$k$ 通りの結果の回数 $(X_1, \dots, X_k)$ を数える分布です。結果 $a$ と $b$ の共分散も、同じ分解で求まります。

試行 $t$ で結果 $a$ が出れば1とする変数を $I_{ta}$ とします。同じ試行で $a$ と $b$ は同時に起こらないので $I_{ta} I_{tb} = 0$ で、$\mathrm{Cov}[I_{ta}, I_{tb}] = -p_a p_b$ です。違う試行は独立なので共分散は0です。$n$ 回分を足して、次の式が得られます。

$$\mathrm{Cov}[X_a, X_b] = -n p_a p_b$$

例えば、サイコロを12回振って、1の目の回数と2の目の回数の共分散は $-12/36 = -1/3$ です。分散はどちらも $12 \times (1/6) \times (5/6) = 5/3$ なので、相関係数は $-1/5$ です。

以上が、指示関数への分解についての解説です。

確率母関数で待ち時間を扱う：幾何分布と負の二項分布

次に、2つ目の技である確率母関数について説明します。

待つ分布には2つの流儀がありました。ここでは準1級と同じく、失敗の回数で数えます。幾何分布 は、初めて成功するまでの失敗の回数 $X$ の分布です。

$$P(X = k) = p q^k, \qquad G(s) = \sum_{k=0}^{\infty} p (qs)^k = \frac{p}{1 - qs}$$

負の二項分布 は、$r$ 回目の成功までの失敗の回数です。独立な幾何分布 $r$ 個の和なので、確率母関数は $r$ 乗です。ここから確率も平均も出ます。

$$G(s) = \left(\frac{p}{1 - qs}\right)^r = p^r \sum_{k=0}^{\infty} \binom{r + k - 1}{k} (qs)^k$$

展開には、$(1 - u)^{-r}$ のべき級数を使いました。$s^k$ の係数を読むと、$P(X = k) = \dbinom{r+k-1}{k} p^r q^k$ です。指数が $-r$ の二項展開から出てくるので、負の二項分布と呼びます。

平均と分散は、キュムラント母関数 $K(t) = r\log p - r\log(1 - q e^t)$ の微分から求めます。

$$K'(t) = \frac{r q e^t}{1 - q e^t}, \quad K''(t) = \frac{r q e^t}{(1 - q e^t)^2} \quad \Rightarrow \quad E[X] = \frac{rq}{p}, \quad V[X] = \frac{rq}{p^2}$$

幾何分布の特徴である 無記憶性 も、1級では特徴づけとして扱います。0以上の整数をとる $X$ について、次の定理が成り立ちます。ガチャが過去を覚えていないのは、幾何分布だけなのです。

【定理】$0 < P(X \ge 1) < 1$ とする。すべての $s, t \ge 0$ で $P(X \ge s + t \mid X \ge s) = P(X \ge t)$ なら、$X$ は幾何分布に従う。

証明は短いです。$a_k = P(X \ge k)$ とおくと、仮定は $a_{s+t} = a_s a_t$ です。$s = 1$ からくり返すと $a_k = a_1^k$ です。$q = a_1$ とおくと、$P(X = k) = a_k - a_{k+1} = (1 - q) q^k$ で、これは幾何分布です。

例題：全種類を集めるまでの回数

$n$ 種類が等確率で出るガチャを、全種類そろうまで引く。回数を $T$ とする。〔1〕$T$ を独立な確率変数の和に分解せよ。〔2〕$E[T]$ と $V[T]$ を求めよ。〔3〕$n = 6$ のときの値を求めよ。

【解答】

〔1〕$k$ 種類持っている状態から新しい種類が出るまでの回数を $W_k$（$k = 0, \dots, n-1$）とする。各回で新しい種類が出る確率は $p_k = (n-k)/n$ で、過去によらない。よって $T = W_0 + \cdots + W_{n-1}$ で、$W_k$ は独立である。

〔2〕$W_k - 1$ は成功確率 $p_k$ の幾何分布に従うから、$E[W_k] = 1/p_k$、$V[W_k] = (1 - p_k)/p_k^2$ である。したがって次を得る。

$$E[T] = \sum_{k=0}^{n-1} \frac{n}{n-k} = n \sum_{j=1}^{n} \frac{1}{j}, \qquad V[T] = \sum_{k=0}^{n-1} \frac{1 - p_k}{p_k^2}$$

〔3〕$E[T] = 6(1 + 1/2 + \cdots + 1/6) = 14.7$、$V[T] = 38.99$ である。

6種類を集めるのに、平均で14.7回かかります。最後の1種類だけで平均6回かかるのが効いています。

試験のポイント：幾何分布は、試行回数で数えるか失敗回数で数えるかで、平均が1ずれます。答案のはじめに、どちらで定義したかを明記します。

以上が、確率母関数で待ち時間を扱う方法についての説明です。

条件付けで分布を移る：ポアソン分布を中心に

最後に、3つ目の技である条件付けを見ていきましょう。

ポアソン分布 $Po(\lambda)$ は、確率母関数 $G(s) = e^{\lambda(s-1)}$ から再生性がすぐに分かります。さらに、確率の比 $P(X = k)/P(X = k-1) = \lambda/k$ を見ると、$k < \lambda$ の間は確率が増え続けます。したがって、最頻値は $\lambda$ の整数部分です。$\lambda$ が整数なら $\lambda$ と $\lambda - 1$ の2つです。

分布どうしの関係は、路線図に例えられます。条件付けは、乗り換えです。

【分布の乗り換え】

出発	操作	到着
独立な $Po(\lambda_1)$、$Po(\lambda_2)$	和で条件付け	二項分布
独立な $k$ 個のポアソン分布	和で条件付け	多項分布
独立な $B(m, p)$、$B(n, p)$	和で条件付け	超幾何分布
$Po(\lambda)$ の $\lambda$ がガンマ分布	$\lambda$ について平均	負の二項分布
$B(n, p)$	$np = \lambda$ のまま $n \to \infty$	ポアソン分布
超幾何分布	$M/N = p$ のまま $N \to \infty$	二項分布

具体的に見てみましょう。1行目です。$X \sim Po(3)$、$Y \sim Po(2)$ が独立で、$X + Y = 5$ と分かったとします。このとき $X$ は $B(5, 0.6)$ に従うので、$P(X = 3 \mid X + Y = 5) = 10 \times 0.6^3 \times 0.4^2 \approx 0.346$ です。

4行目の 混合 も、確率母関数なら短く書けます。$\lambda \sim Ga(\alpha, \beta)$ とし、$E[e^{u\lambda}] = (\beta/(\beta - u))^\alpha$ に $u = s - 1$ を入れます。

$$G(s) = E[e^{\lambda(s-1)}] = \left(\frac{\beta}{\beta + 1 - s}\right)^\alpha = \left(\frac{p}{1 - qs}\right)^\alpha, \qquad p = \frac{\beta}{1 + \beta}$$

これは負の二項分布です。ポアソン分布では平均と分散が等しいのに、負の二項分布では分散が平均より大きくなります。来店者の多い日と少ない日がある、つまり $\lambda$ 自体がばらつくと、その分だけ分散が増えるのです。

例題：二項分布から超幾何分布へ

$X \sim B(m, p)$、$Y \sim B(n, p)$ は独立とする。〔1〕$X + Y$ の分布を求めよ。〔2〕$X + Y = k$ のもとでの $X$ の条件付き分布を求めよ。〔3〕結果が $p$ によらないことの統計的な意味を述べよ。

【解答】

〔1〕確率母関数の積は $(q + ps)^{m+n}$ だから、一意性より $X + Y \sim B(m + n, p)$ である。

〔2〕独立性と〔1〕より、次のように約分できる。

$$P(X = x \mid X + Y = k) = \frac{\binom{m}{x} p^x q^{m-x} \binom{n}{k-x} p^{k-x} q^{n-k+x}}{\binom{m+n}{k} p^k q^{m+n-k}} = \frac{\binom{m}{x} \binom{n}{k-x}}{\binom{m+n}{k}}$$

これは、赤玉 $m$ 個、白玉 $n$ 個から $k$ 個を取り出したときの赤玉の個数の超幾何分布である。

〔3〕未知の $p$ が消えるので、2群の成功確率が等しいという仮説のもとで、和を固定すれば $p$ を知らずに確率を計算できる。

〔3〕は、後の記事で学ぶフィッシャー検定の原理です。条件付けは、計算の技であるだけでなく、推測の技でもあるのです。

以上が、条件付けで分布を移る方法についての解説です。

細かい式を忘れてしまっても問題ありません。ここでは、「分解する、母関数にする、条件付ける」の3つの技だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は離散型分布を、3つの技で導き直しました。城の重さをブロックの個数で計算するように、分布も部品に分解すれば、面倒な和を避けられます。そして、8つの分布は別々の暗記項目ではなく、1枚の路線図でつながっています。

今回のポイントを振り返りましょう。

振り返り

• 個数は指示関数の和に分解する。独立でなければ共分散を足す。
• 超幾何分布の分散は、負の共分散から有限修正 $(N-n)/(N-1)$ が出る。
• 幾何分布は無記憶性で特徴づけられ、負の二項分布はその和である。
• 分布どうしは、和での条件付け、混合、極限でつながっている。

キーワードのおさらい

• 一様分布: $1, \dots, N$ を等しい確率でとる分布
• ベルヌーイ分布: 指示関数の分布。期待値 $p$、分散 $pq$
• 二項分布: 独立なベルヌーイ分布 $n$ 個の和
• 超幾何分布: 戻さずに取り出したときの個数の分布。分散に有限修正が付く
• 幾何分布: 初めて成功するまでの失敗の回数の分布。0以上の整数をとる分布で無記憶性をもつのはこれだけ
• ポアソン分布: まれな出来事の回数の分布。和で条件付けると二項分布に移る
• 負の二項分布: $r$ 回目の成功までの失敗の回数の分布。ポアソン分布のガンマ混合でもある
• 多項分布: 二項分布を $k$ 通りの結果に広げた分布。$\mathrm{Cov}[X_a, X_b] = -n p_a p_b$

さて、離散型の路線図ができました。連続型でも、同じようなつながりがあるのでしょうか？ 実は、連続型の分布の多くは、たった2つの積分から生まれます。

次回は、連続型分布について紹介します。

それでは、次の記事へ進んでいきましょう。