統計学 学習ノート

はじめに

「公式は使えるのに、『証明せよ』と言われると手が止まる……」

準1級の問題を解けるようになった人が、1級の問題を開いて最初に感じるのは、たぶんこの戸惑いです。包除原理の公式は知っています。ベイズの定理も計算できます。でも、なぜその式が成り立つのかを答案に書こうとすると、何から書けばよいのか分かりません。

例えば、料理に例えてみましょう。レシピを見て作れる人と、レシピを自分で書ける人は違います。レシピを書ける人は、なぜその順番で塩を入れるのかを説明できるので、材料が変わっても対応できます。

実は、確率の公式はどれも、3つの公理から数行で導けます。そして、導き方を身につけると、公式集に載っていない問題にも、同じ手順で式を立てられるようになります。

そこで登場するのが、今回の主役 指示関数 と 条件付けによる場合分け です。指示関数は包除原理を一気に証明する道具で、条件付けは複雑な確率を漸化式に変える道具です。

前回の記事で、準1級の範囲はひと通り終わりました。ここからは1級の統計数理です。今回の記事では、公理からの導出、包除原理の証明、条件付き確率と統計的独立の性質、そしてベイズの定理を使った確率の計算について解説します。

公理から公式を導く

はじめに、確率の計算の出発点である公理からの導出について解説します。

準1級で見た3つの約束を思い出しましょう。$P(A) \ge 0$、$P(\Omega) = 1$、そして互いに排反な事象の列について $P(\bigcup_i A_i) = \sum_i P(A_i)$ です。最後の性質を 可算加法性 と呼びます。1級の答案では、最初に使ってよいのはこの3つだけ、という気持ちで書きます。

ここから、次の性質が順に出てきます。

【公理から出る基本の性質】

1. $P(\emptyset) = 0$： $\Omega = \Omega \cup \emptyset \cup \emptyset \cup \cdots$ に可算加法性を使うと、$P(\emptyset)$ を無限に足しても有限なので0
2. 余事象： $A$ と $A^c$ は排反で、合わせると $\Omega$ なので $P(A^c) = 1 - P(A)$
3. 単調性： $A \subset B$ なら $B = A \cup (B \setminus A)$ は排反な分解なので $P(A) \le P(B)$

3つとも、やっていることは同じです。重なりのない部品に切り分けてから、足しています。ジグソーパズルのピースのように、重ならないものだけが足せるのです。

具体的に見てみましょう。2級で学んだ加法定理を証明します。$A \cup B = A \cup (B \setminus A)$ と $B = (A \cap B) \cup (B \setminus A)$ は、どちらも排反な分解です。

$$P(A \cup B) = P(A) + P(B \setminus A), \qquad P(B) = P(A \cap B) + P(B \setminus A)$$

2つの式から $P(B \setminus A)$ を消すと、$P(A \cup B) = P(A) + P(B) - P(A \cap B)$ が得られます。

せっかくなので、無限が関わる例も見てみましょう。事象が増えていく列 $A_1 \subset A_2 \subset \cdots$ について、次の 確率の連続性 が成り立ちます。

$$P\left(\bigcup_{n=1}^{\infty} A_n\right) = \lim_{n \to \infty} P(A_n)$$

証明も同じ発想です。$B_1 = A_1$、$B_n = A_n \setminus A_{n-1}$ と切り分けると、$B_n$ は互いに排反で、$\sum_{k=1}^{n} P(B_k) = P(A_n)$ です。可算加法性から、左辺はこの和の $n \to \infty$ の極限に等しくなります。

例えば、コインを投げ続けて「いつか表が出る」確率を考えます。$A_n$ を「$n$ 回以内に表が出る」とすると $P(A_n) = 1 - (1/2)^n$ なので、極限をとって確率は1です。

以上が、公理からの導出についての解説です。

包除原理を指示関数で証明する

次に、包除原理の証明について説明します。

$k$ 個の事象の重なりの確率を、すべての組について足した値を $S_k$ と書きます。

$$S_k = \sum_{i_1 < \cdots < i_k} P(A_{i_1} \cap \cdots \cap A_{i_k})$$

すると準1級で見た 包除原理 は、$P(\bigcup_i A_i) = S_1 - S_2 + \cdots + (-1)^{n-1} S_n$ と書けます。

数学的帰納法でも証明できますが、添え字が増えて答案が長くなります。そこで 指示関数 の出番です。$\mathbf{1}_A$ は、$A$ が起これば1、起こらなければ0をとる確率変数です。事象ごとに丸かバツを付ける、出席簿のようなものです。

【指示関数の3つの性質】

1. 期待値が確率になる： $E[\mathbf{1}_A] = P(A)$
2. 積が共通部分になる： $\mathbf{1}_{A \cap B} = \mathbf{1}_A \mathbf{1}_B$
3. 余事象は1から引く： $\mathbf{1}_{A^c} = 1 - \mathbf{1}_A$

「どの $A_i$ も起こらない」の指示関数は、性質2と3から $\prod_i (1 - \mathbf{1}_{A_i})$ です。これを展開します。

$$\prod_{i=1}^{n} (1 - \mathbf{1}_{A_i}) = 1 - \sum_{i} \mathbf{1}_{A_i} + \sum_{i<j} \mathbf{1}_{A_i} \mathbf{1}_{A_j} - \cdots + (-1)^n \mathbf{1}_{A_1} \cdots \mathbf{1}_{A_n}$$

両辺の期待値をとると、左辺は $1 - P(\bigcup_i A_i)$、右辺は $1 - S_1 + S_2 - \cdots + (-1)^n S_n$ です。これで証明は終わりです。集合の図を描かなくても、多項式の展開だけで済みました。

同じ道具で、もっと強い公式も出ます。起こった事象の個数を $R = \sum_i \mathbf{1}_{A_i}$ とします。$k$ 個の積の和は、起こった $R$ 個から $k$ 個を選ぶ組の数に等しいので、$S_k = E[{}_{R}\mathrm{C}_{k}]$ です。このことから、ちょうど $m$ 個の事象が起こる確率が求まります。

$$P(R = m) = \sum_{k=m}^{n} (-1)^{k-m}\, {}_{k}\mathrm{C}_{m}\, S_k$$

なぜでしょうか？ $R = r$ のとき、右辺の期待値の中身は $\sum_k (-1)^{k-m}\, {}_{k}\mathrm{C}_{m}\, {}_{r}\mathrm{C}_{k}$ です。${}_{k}\mathrm{C}_{m}\, {}_{r}\mathrm{C}_{k} = {}_{r}\mathrm{C}_{m}\, {}_{r-m}\mathrm{C}_{k-m}$ と組み替えると、これは ${}_{r}\mathrm{C}_{m} (1-1)^{r-m}$ になります。つまり、$r = m$ で1、それ以外で0です。要するに、右辺は $R = m$ の指示関数の期待値なのです。

具体的に見てみましょう。4種類が等確率で出るガチャを8回引いて、全種類がそろう確率を求めます。$A_i$ を「種類 $i$ が出ない」とします。特定の $k$ 種類が出ない確率は $(1 - k/4)^8$ なので、$S_k = {}_{4}\mathrm{C}_{k} (1 - k/4)^8$ です。全種類がそろうのは $R = 0$ のときで、次のようになります。

$$1 - 4\left(\frac{3}{4}\right)^8 + 6\left(\frac{1}{2}\right)^8 - 4\left(\frac{1}{4}\right)^8 \approx 0.623$$

補足（ここは読み飛ばしてOK）： 包除原理の和を途中で打ち切ると、奇数項までなら上からの評価、偶数項までなら下からの評価になります。これがボンフェローニの不等式で、$\sum_{k=0}^{s} (-1)^k\, {}_{r}\mathrm{C}_{k} = (-1)^s\, {}_{r-1}\mathrm{C}_{s}$ から導けます。

例題：ちょうど m 人が自分の品を受け取る確率

$n$ 人が持ち寄ったプレゼントを、無作為に1つずつ受け取る。〔1〕$A_i$ を「$i$ さんが自分の品を受け取る」としたとき、$S_k = 1/k!$ を示せ。〔2〕ちょうど $m$ 人が自分の品を受け取る確率 $p_n(m)$ を求めよ。〔3〕$p_5(2)$ と、$n \to \infty$ のときの $p_n(m)$ の極限を求めよ。

【解答】

〔1〕特定の $k$ 人が自分の品を受け取る配り方は、残り $n-k$ 人の並べ方の $(n-k)!$ 通りである。したがって各項は $(n-k)!/n!$ で、組は ${}_{n}\mathrm{C}_{k}$ 個あるから、$S_k = \dfrac{n!}{k!(n-k)!} \cdot \dfrac{(n-k)!}{n!} = \dfrac{1}{k!}$ である。

〔2〕公式に代入し、${}_{k}\mathrm{C}_{m} / k! = 1/(m!\,(k-m)!)$ を使って $j = k - m$ とおくと、次を得る。

$$p_n(m) = \frac{1}{m!} \sum_{j=0}^{n-m} \frac{(-1)^j}{j!}$$

〔3〕$p_5(2) = \dfrac{1}{2}\left(1 - 1 + \dfrac{1}{2} - \dfrac{1}{6}\right) = \dfrac{1}{6}$ である。$n \to \infty$ では和が $e^{-1}$ に収束するので、$p_n(m) \to e^{-1}/m!$ である。

極限は、平均1のポアソン分布の確率関数です。この結果は、後の記事の少数法則につながります。

試験のポイント：答案は「事象 $A_i$ を定義する → $S_k$ を求める → 公式に入れる」の順に書きます。最初に事象を言葉で定義するだけで、見通しが大きく変わります。

以上が、包除原理の証明についての説明です。

条件付き確率と統計的独立の性質

続いて、条件付き確率と統計的独立の性質について解説します。

$P(B) > 0$ のとき、条件付き確率は $P(A \mid B) = P(A \cap B)/P(B)$ でした。ここで大切なのは、$B$ を固定すると $Q(A) = P(A \mid B)$ がまた3つの公理を満たすことです。

証明は短いです。$Q(A) \ge 0$ は明らかで、$Q(\Omega) = P(B)/P(B) = 1$ です。$A_i$ が排反なら $A_i \cap B$ も排反なので、可算加法性も引き継がれます。

つまり、条件付き確率は特別なものではなく、新しい確率そのものです。舞台を $B$ に替えて、同じ劇を上演するイメージです。だから、余事象の公式も包除原理も、すべての確率に $\mid B$ を付けたままで使えます。

次に、統計的独立 です。$A$ と $B$ が独立なら、$A$ と $B^c$ も独立です。

$$P(A \cap B^c) = P(A) - P(A \cap B) = P(A) - P(A)P(B) = P(A)\, P(B^c)$$

事象 $A_1, \dots, A_n$ が互いに独立であるとは、どの部分集合についても積の式が成り立つことです。式の本数は $2^n - n - 1$ 本あります。上の計算をくり返すと、一部を余事象に置き換えても互いに独立なままだと分かります。

例えば、故障確率0.1の機械を3台並列につなぎ、1台でも動けば動くとします。3台が互いに独立なら、すべて故障する確率は $0.1^3$ なので、動く確率は0.999です。

ここで、1級で差がつく概念があります。条件付き独立 です。$P(A \cap B \mid C) = P(A \mid C)\, P(B \mid C)$ が成り立つことで、これは独立とは別物です。

具体的に見てみましょう。袋に、表の出る確率が0.9の硬貨と0.1の硬貨が1枚ずつ入っています。無作為に1枚選んで2回投げます。硬貨を決めれば、2回の結果は独立です。しかし、硬貨を決めずに計算すると、1回目の表 $H_1$、2回目の表 $H_2$ について次のようになります。

$$P(H_1) = P(H_2) = 0.5, \qquad P(H_1 \cap H_2) = \frac{0.81 + 0.01}{2} = 0.41 \ne 0.25$$

$P(H_2 \mid H_1) = 0.82$ と、1回目の表で確率が上がりました。1回目の表が「表の出やすい硬貨を選んだらしい」という情報を運ぶからです。同じ先生が採点した2枚の答案の点数が、先生の甘さを通じて似てくるのと同じです。

試験のポイント：「硬貨を固定すれば独立」のような条件付き独立を、独立と取り違えないようにします。答案では、どの条件のもとで独立なのかを明記します。

以上が、条件付き確率と統計的独立の性質についての解説です。

ベイズの定理と条件付けによる確率の計算

最後に、ベイズの定理と、条件付けで確率を計算する手順を見ていきましょう。

ベイズの定理 の証明は、乗法定理を2通りに書くだけです。$P(A)P(B_j \mid A) = P(B_j)P(A \mid B_j)$ の両辺を $P(A)$ で割り、分母に全確率の公式を入れます。

1級で便利なのは、2つの原因を比べる形です。分母の $P(A)$ が約分で消えます。

$$\frac{P(B_1 \mid A)}{P(B_2 \mid A)} = \frac{P(B_1)}{P(B_2)} \times \frac{P(A \mid B_1)}{P(A \mid B_2)}$$

言葉で言うと、「事後オッズ = 事前オッズ × 尤度比」です。裁判で、証拠が出るたびに天秤の片側へ重りを足していくイメージです。

例えば、有病率0.5%の病気を、感度98%、特異度96%の検査で調べます。事前オッズは $1 : 199$ で、尤度比は $0.98 \div 0.04 = 24.5$ です。事後オッズは $24.5 : 199$ なので、陽性の人が病気である確率は $24.5 \div 223.5 \approx 0.110$ です。

例題：硬貨の種類を推測する

袋に、表の確率が $1/2$ の硬貨 $A$ と $3/4$ の硬貨 $B$ が1枚ずつある。無作為に1枚選んで3回投げると、すべて表だった。硬貨を固定すると各回の結果は独立とする。〔1〕選んだ硬貨が $B$ である確率を求めよ。〔2〕4回目も表である確率を求めよ。

【解答】

〔1〕3回とも表の事象を $E$ とする。$P(E \mid A) = 1/8$、$P(E \mid B) = 27/64$ で、事前オッズは $1 : 1$ だから、事後オッズは $B : A = 27 : 8$ である。よって $P(B \mid E) = 27/35$ である。

〔2〕$P(\cdot \mid E)$ も確率なので、全確率の公式が使える。硬貨を固定すると各回は独立だから、次を得る。

$$P(H_4 \mid E) = \frac{1}{2} \cdot \frac{8}{35} + \frac{3}{4} \cdot \frac{27}{35} = \frac{97}{140} \approx 0.693$$

何も見ていないときの $P(H_4) = 5/8$ より上がっています。データから学んだ分だけ、次の予測が変わるのです。

全確率の公式には、もう1つ強力な使い方があります。「最初の1歩で場合分けする」と、確率の漸化式が立つのです。

例題：ギャンブラーの破産

1回の勝負で確率 $p$ で1点増え、確率 $q = 1 - p$ で1点減る（$p \ne 1/2$）。持ち点が0になるか $N$ になると終了する。持ち点 $i$ から始めて $N$ に到達する確率 $P_i$ を求めよ。

【解答】

1回目の勝敗で場合分けすると、$P_i = p P_{i+1} + q P_{i-1}$ である。境界は $P_0 = 0$、$P_N = 1$ である。

$p + q = 1$ を使うと $p(P_{i+1} - P_i) = q(P_i - P_{i-1})$ となる。$r = q/p$ とおくと、差 $P_{i+1} - P_i$ は公比 $r$ の等比数列で、初項は $P_1$ である。差を足し合わせて次を得る。

$$P_i = P_1 (1 + r + \cdots + r^{i-1}) = P_1 \frac{1 - r^i}{1 - r}$$

$P_N = 1$ から $P_1$ を定めると、答えは $P_i = \dfrac{1 - r^i}{1 - r^N}$ である。

$p = 0.4$、$i = 3$、$N = 6$ なら、$r = 1.5$ で $P_3 \approx 0.229$ です。五分五分の勝負なら $i/N = 0.5$ なので、1回あたりのわずかな不利が、大きな差に育ちます。

以上が、ベイズの定理と条件付けによる確率の計算についての解説です。

細かい式変形を忘れてしまっても問題ありません。ここでは、「排反に切り分ける」「指示関数に直す」「最初の1歩で場合分けする」という3つの手順だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は確率の公式を公理から導き、包除原理、独立、ベイズの定理の証明と、確率の計算の手順を紹介しました。公式を覚える段階から、公式を作れる段階へ進むことが、1級の第一歩です。

今回のポイントを振り返りましょう。

振り返り

• 確率の公式は、3つの公理と「排反な部品に切り分ける」操作から導ける。
• 包除原理は、指示関数の積を展開して期待値をとるだけで証明できる。ちょうど $m$ 個の確率も同じ道具で出る。
• 条件付き確率は新しい確率そのもの。条件付き独立は、独立とは別の概念である。
• 全確率の公式で最初の1歩を場合分けすると、確率の漸化式が立つ。

キーワードのおさらい

• 確率の計算: 公理から導いた性質と場合分けで確率を求めること
• 統計的独立: $P(A \cap B) = P(A)P(B)$ が成り立つこと。3つ以上ではすべての部分集合で成り立つことを要求する
• 条件付き確率: $B$ を全体と見直した確率。公理を満たす新しい確率である
• ベイズの定理: 事前確率と尤度から事後確率を求める公式。事後オッズ = 事前オッズ × 尤度比
• 包除原理: 和事象の確率を $S_1 - S_2 + S_3 - \cdots$ で求める公式
• 指示関数: 事象が起これば1、起こらなければ0をとる確率変数

さて、ここまでは事象の確率を扱いました。しかし統計学の主役は、数値をとる確率変数です。分布を表す関数はたくさんありますが、それらはどうつながっているのでしょうか？

次回は、危険率から母関数までを扱う「確率分布と母関数」について紹介します。

それでは、次の記事へ進んでいきましょう。