統計学 学習ノート

はじめに

同じ体を別の角度で写すように、分布の関数も見せ方の違い

「分布って、結局どの関数を見れば全部分かるの？」

準1級の問題集を開くと、確率関数、確率密度関数、累積分布関数、生存関数と、よく似た名前の関数が次々に出てきます。さらに同時、周辺、条件つきという言葉まで付くと、もう何が何だか分からなくなりますよね。

例えば、1つの分布を健康診断の結果に例えてみましょう。同じ人の体でも、血液検査の表、レントゲン写真、心電図と、見せ方はいくつもあります。どれも同じ体を別の角度から写したものです。

実は、分布の関数もこれと同じです。名前はたくさんありますが、同じ分布の別の見せ方にすぎません。1つ分かれば、残りは足し算や積分で移り変われます。

そして、見せ方の中には、計算のために作られた特別なものがあります。そこで登場するのが、今回の主役 モーメント母関数 と 確率母関数 です。平均や分散を微分だけで取り出せる、分布の情報の詰まった関数です。

前回の記事では、事象の確率を計算しました。今回の記事では、確率変数の分布を表す関数の整理から始めて、同時・周辺・条件つきの分布、そして2つの母関数の使い方について解説します。

1つの確率変数を表す4つの関数

2分待っても来ない確率は、fの右の面積でSの値

はじめに、確率変数が1つのときの関数を整理します。

2級で学んだように、確率変数には離散型と連続型があります。離散型の分布を表すのが 確率関数 で、連続型の分布を表すのが 確率密度関数 です。

$$p(x) = P(X = x), \qquad P(a \le X \le b) = \int_a^b f(x)\, dx$$

$p(x)$ は値 $x$ をとる確率そのものです。一方、$f(x)$ は確率そのものではなく、確率の濃さです。積分して初めて確率になります。だから $f(x)$ は1を超えてもかまいません。どちらも合計すると1で、$\sum_x p(x) = 1$、$\int f(x)\,dx = 1$ を満たします。

地図に例えると、確率関数は「町ごとの人数」で、確率密度関数は「人口密度」です。人口密度は、面積を掛けて初めて人数になります。

次に、離散型でも連続型でも使える関数が2つあります。

$$F(x) = P(X \le x), \qquad S(x) = P(X > x) = 1 - F(x)$$

$F(x)$ が 累積分布関数 で、$x$ までの確率の累積です。$S(x)$ が 生存関数 で、$x$ を超える確率です。生存関数という名前は、$X$ を寿命と見たときに「時刻 $x$ でまだ生きている確率」にあたることから来ています。

累積分布関数には、次の性質があります。

【累積分布関数の性質】

1. 単調に増える（減らない）
2. $x \to -\infty$ で0、$x \to \infty$ で1に近づく
3. 右連続である。離散型では階段状になる
4. 連続型では、微分すると確率密度関数になる： $f(x) = F'(x)$

具体的に見てみましょう。バスの待ち時間 $X$（分）の確率密度関数が $f(x) = 0.5 e^{-0.5x}$（$x \ge 0$）だとします。これは2級で学んだ指数分布です。積分すると $F(x) = 1 - e^{-0.5x}$ なので、$S(x) = e^{-0.5x}$ です。

例えば、2分待っても来ない確率は $S(2) = e^{-1} \approx 0.368$ です。1分より長く3分以内に来る確率は $F(3) - F(1) = e^{-0.5} - e^{-1.5} \approx 0.383$ です。

せっかくなので、離散型の例も見てみましょう。サイコロの目 $X$ では $p(x) = 1/6$ です。累積分布関数は階段で、$F(3) = 1/2$ です。さらに $F(3.9)$ も $1/2$ です。整数の間では段の高さが変わらないのです。

補足（ここは読み飛ばしてOK）： $X \ge 0$ のとき、期待値は $E[X] = \int_0^\infty S(x)\, dx$ と書けます。指数分布なら $\int_0^\infty e^{-0.5x}\,dx = 2$ で、平均が2分と分かります。

以上が、1つの確率変数を表す関数についての解説です。

同時分布と周辺分布：2つの変数を並べて見る

もう片方を足し切ると、余白に周辺分布が現れる

次に、確率変数が2つのときを説明します。

2つの確率変数 $X, Y$ を同時に見るときに使うのが、同時確率関数 と 同時確率密度関数 です。

$$p(x, y) = P(X = x,\ Y = y), \qquad P((X, Y) \in A) = \iint_A f(x, y)\, dx\, dy$$

ここから1つの変数だけの分布に戻るには、もう片方を足し切ります。これが 周辺確率関数 と 周辺確率密度関数 です。

$$p_X(x) = \sum_y p(x, y), \qquad f_X(x) = \int_{-\infty}^{\infty} f(x, y)\, dy$$

クロス表の右端の合計欄を思い出してください。表の余白（margin）に書くので「周辺」と言います。

具体的に見てみましょう。ある部活の試合で、前半の得点 $X$ と後半の得点 $Y$ が次の同時確率関数に従うとします。

	$Y = 0$	$Y = 1$	$Y = 2$	合計
$X = 0$	0.20	0.15	0.05	0.40
$X = 1$	0.10	0.30	0.20	0.60
合計	0.30	0.45	0.25	1.00

表の見方はシンプルです。中のマスが同時確率で、右端の列が $X$ の周辺確率関数、下の行が $Y$ の周辺確率関数です。例えば $P(Y = 1) = 0.15 + 0.30 = 0.45$ です。

連続型でも同じです。$0 < x < 1$、$0 < y < 1$ で $f(x, y) = x + y$ とします。$y$ を積分で足し切ると、周辺確率密度関数は次のようになります。

$$f_X(x) = \int_0^1 (x + y)\, dy = x + \frac{1}{2}$$

$\int_0^1 (x + 1/2)\,dx = 1$ となり、確かに確率密度関数です。

注意点が1つあります。周辺分布が2つ分かっても、同時分布は決まりません。表の合計欄だけを見て、中のマスを復元することはできないからです。

以上が、同時分布と周辺分布についての説明です。

条件つき分布と独立

表の1行を切り出し、行の合計で割り直すと条件つき分布

続いて、片方の値が分かったときの分布について解説します。

$X = x$ と分かったもとでの $Y$ の分布が、条件つき確率関数 と 条件つき確率密度関数 です。前回の条件付き確率と同じ発想で、同時を周辺で割ります。

$$p(y \mid x) = \frac{p(x, y)}{p_X(x)}, \qquad f(y \mid x) = \frac{f(x, y)}{f_X(x)}$$

言葉で言うと、「表の1行だけを切り出して、行の合計が1になるように割り直す」ということです。

先ほどの得点の表で計算してみましょう。前半に得点した試合（$X = 1$）の行は 0.10、0.30、0.20 で、合計は0.60です。これを0.60で割ると、次のようになります。

$$P(Y = 0 \mid X = 1) = \frac{1}{6}, \quad P(Y = 1 \mid X = 1) = \frac{1}{2}, \quad P(Y = 2 \mid X = 1) = \frac{1}{3}$$

前半に得点できなかった試合では $P(Y = 2 \mid X = 0) = 0.05 \div 0.40 = 0.125$ です。前半の調子が後半にも続いていますね。

そして、どの $x, y$ でも同時が周辺の積になるとき、$X$ と $Y$ は独立です。

$$p(x, y) = p_X(x)\, p_Y(y) \qquad \text{または} \qquad f(x, y) = f_X(x)\, f_Y(y)$$

このとき、条件つき分布は周辺分布と一致します。得点の表では $P(X = 1, Y = 0) = 0.10$ に対して $0.60 \times 0.30 = 0.18$ なので、独立ではありません。

例題：三角形の上の一様分布

$0 < y < x < 1$ の範囲で $f(x, y) = 2$ とします。周辺確率密度関数 $f_X(x)$、$f_Y(y)$ と、条件つき確率密度関数 $f(y \mid x)$ を求め、独立かどうか答えましょう。

【解き方】

1. $x$ を固定すると $y$ の範囲は $0 < y < x$ なので、$f_X(x) = \int_0^x 2\, dy = 2x$
2. $y$ を固定すると $x$ の範囲は $y < x < 1$ なので、$f_Y(y) = \int_y^1 2\, dx = 2(1 - y)$
3. 条件つきは $f(y \mid x) = 2 \div 2x = 1/x$（$0 < y < x$）
4. $f_X(x) f_Y(y) = 4x(1-y)$ は2と等しくないので、独立ではない

答えは、$f_X(x) = 2x$、$f_Y(y) = 2(1-y)$、$f(y \mid x) = 1/x$ で、独立ではありません。$X = x$ のもとで、$Y$ は $(0, x)$ の一様分布になっています。

試験のポイント：積分の範囲は、$f(x, y)$ が正になる領域の形で決まります。領域が長方形でないなら、それだけで独立ではありません。$y$ のとれる範囲が $x$ によって変わるからです。

以上が、条件つき分布と独立についての解説です。

モーメント母関数：分布を1つの関数に詰める

分布を詰めた関数から、t=0の微分で平均を取り出す

次に、計算のための関数であるモーメント母関数について説明します。

モーメント母関数（積率母関数、moment generating function）は、次の関数です。

$$M_X(t) = E\left[e^{tX}\right]$$

$t$ は実数の変数で、$0$ の近くで期待値が有限なときに定義します。なぜこんな奇妙なものを考えるのでしょうか？ $e^{tX}$ をテイラー展開すると、理由が見えます。

$$M_X(t) = E\left[1 + tX + \frac{t^2 X^2}{2!} + \cdots\right] = 1 + E[X]\, t + \frac{E[X^2]}{2!}\, t^2 + \cdots$$

$E[X]$ や $E[X^2]$ が、$t$ のべきの係数として順に並んでいます。圧縮ファイルのように、分布の情報が1つの関数に詰まっているのです。取り出すには、微分して $t = 0$ を入れます。

$$M_X'(0) = E[X], \qquad M_X''(0) = E[X^2], \qquad V[X] = M_X''(0) - M_X'(0)^2$$

具体的に見てみましょう。ポアソン分布 $Po(\lambda)$ のモーメント母関数を求めます。

$$M(t) = \sum_{x=0}^{\infty} e^{tx}\, \frac{e^{-\lambda} \lambda^x}{x!} = e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda e^t)^x}{x!} = \exp\left(\lambda (e^t - 1)\right)$$

微分すると $M'(t) = \lambda e^t M(t)$ なので、$M'(0) = \lambda$ です。もう1回微分すると $M''(0) = \lambda + \lambda^2$ で、分散は $\lambda + \lambda^2 - \lambda^2 = \lambda$ です。2級で覚えた「期待値と分散が等しい」が、微分だけで出てきました。

モーメント母関数の強みは、次の2つです。

【モーメント母関数の2つの強み】

1. 一意性： モーメント母関数が一致すれば、分布も一致する
2. 独立な和： $X, Y$ が独立なら $M_{X+Y}(t) = M_X(t)\, M_Y(t)$

2つ目は、$e^{t(X+Y)} = e^{tX} e^{tY}$ と、独立なら積の期待値が期待値の積になることから出ます。この2つを組み合わせると、和の分布が分かります。

例えば、独立な $X \sim Po(2)$、$Y \sim Po(3)$ の和は、次のようになります。

$$M_{X+Y}(t) = \exp(2(e^t - 1)) \exp(3(e^t - 1)) = \exp(5(e^t - 1))$$

これは $Po(5)$ のモーメント母関数です。一意性より、$X + Y \sim Po(5)$ と分かります。和の分布を直接足し上げなくても、関数の積を見るだけで答えが出るのです。

例題：指数分布の平均と分散

$f(x) = \lambda e^{-\lambda x}$（$x \ge 0$）のモーメント母関数を求め、期待値と分散を計算しましょう。

【解き方】

1. $t < \lambda$ のとき $M(t) = \int_0^\infty \lambda e^{-(\lambda - t)x}\, dx = \dfrac{\lambda}{\lambda - t}$
2. 微分する： $M'(t) = \dfrac{\lambda}{(\lambda - t)^2}$、$M''(t) = \dfrac{2\lambda}{(\lambda - t)^3}$
3. $t = 0$ を入れる： $M'(0) = \dfrac{1}{\lambda}$、$M''(0) = \dfrac{2}{\lambda^2}$
4. 分散は $\dfrac{2}{\lambda^2} - \dfrac{1}{\lambda^2} = \dfrac{1}{\lambda^2}$

答えは、期待値 $1/\lambda$、分散 $1/\lambda^2$ です。

主な分布のモーメント母関数は、次のとおりです。

分布	モーメント母関数
二項分布 $B(n, p)$	$(1 - p + p e^t)^n$
ポアソン分布 $Po(\lambda)$	$\exp(\lambda(e^t - 1))$
正規分布 $N(\mu, \sigma^2)$	$\exp(\mu t + \sigma^2 t^2 / 2)$
指数分布	$\lambda / (\lambda - t)$（$t < \lambda$）

補足（ここは読み飛ばしてOK）： モーメント母関数は、どの分布にもあるわけではありません。例えば、後の記事で学ぶコーシー分布には存在しません。そのときは、$e^{itX}$ の期待値である特性関数を使います。特性関数はどの分布にも存在します。

試験のポイント：与えられた $M(t)$ を表と見比べて分布を当てる問題が定番です。正規分布なら、$t$ の係数が平均で、$t^2$ の係数の2倍が分散です。

以上が、モーメント母関数についての説明です。

確率母関数：0以上の整数を数える分布の道具

確率の整理棚。7の棚に和が7の確率がしまってある

最後に、確率母関数を見ていきましょう。

確率母関数 は、$0, 1, 2, \dots$ の値をとる確率変数のための関数です。

$$G_X(s) = E\left[s^X\right] = \sum_{k=0}^{\infty} p(k)\, s^k$$

これは、確率 $p(0), p(1), p(2), \dots$ を $s$ のべきの係数に並べた多項式です。いわば確率の整理棚で、$s^k$ の棚に $P(X = k)$ がしまってあります。

棚から情報を取り出す方法は、次のとおりです。

【確率母関数から取り出せるもの】

1. 確率： $P(X = k)$ は $s^k$ の係数。$G^{(k)}(0) / k!$ でも求まる
2. 合計： $G(1) = 1$
3. 期待値： $G'(1) = E[X]$
4. 階乗モーメント： $G''(1) = E[X(X - 1)]$

分散は $V[X] = G''(1) + G'(1) - G'(1)^2$ で求まります。$s = e^t$ を入れると $M_X(t) = G_X(e^t)$ となるので、2つの母関数は親戚です。独立な和が積になる性質も同じです。

具体的に見てみましょう。サイコロ1個の確率母関数は $(s + s^2 + \cdots + s^6) / 6$ です。サイコロ2個の和の確率母関数は、これを2乗したものです。

$$G(s) = \frac{(s + s^2 + \cdots + s^6)^2}{36} = \frac{s^2 + 2s^3 + 3s^4 + \cdots + 6s^7 + \cdots + s^{12}}{36}$$

$s^7$ の係数は $6/36$ なので、和が7になる確率は $1/6$ です。場合の数の数え上げが、多項式の展開に置きかわりました。

せっかくなので、別の例も見てみましょう。ベルヌーイ試行1回の確率母関数は $1 - p + ps$ です。独立に $n$ 回の和なら $(1 - p + ps)^n$ で、これが二項分布の確率母関数です。ポアソン分布なら $G(s) = \exp(\lambda(s - 1))$ です。

例題：確率母関数から平均と分散を求める

確率母関数が $G(s) = (1 + 2s + s^2)/4$ である確率変数 $X$ について、$P(X = 1)$、期待値、分散を求めましょう。

【解き方】

1. $s$ の係数を読む： $P(X = 1) = 2/4 = 1/2$
2. 微分する： $G'(s) = (2 + 2s)/4$ なので $E[X] = G'(1) = 1$
3. もう1回微分する： $G''(s) = 2/4$ なので $G''(1) = 1/2$
4. 分散は $1/2 + 1 - 1^2 = 1/2$

答えは、$P(X = 1) = 1/2$、期待値1、分散 $1/2$ です。実は $G(s) = \{(1 + s)/2\}^2$ なので、$X$ は二項分布 $B(2, 1/2)$ に従っています。

試験のポイント：モーメント母関数は $t = 0$、確率母関数は $s = 1$ で微分します。また、$G''(1)$ は $E[X^2]$ ではなく $E[X(X-1)]$ です。

以上が、確率母関数についての説明です。

細かい計算が分からなかったとしても問題ありません。ここでは、「分布の関数は同じものの別の見せ方」「母関数は微分で平均と分散を取り出し、和を積に変える道具」という点だけ押さえておきましょう。

今回のまとめ

見せ方を変え、足して割り、母関数に詰める

それでは、今回の内容を振り返ります。

今回は分布を表すさまざまな関数と、2つの母関数について紹介しました。名前の多さに圧倒されますが、確率を「そのまま書く」「累積する」「残りを見る」「足し切る」「割り直す」「べきの係数に詰める」という、見せ方の違いにすぎません。

今回のポイントを振り返りましょう。

振り返り

• 確率関数は確率そのもの、確率密度関数は確率の濃さ。累積分布関数と生存関数は、合わせると1になる。
• 同時分布を足し切ると周辺分布になる。表の合計欄のイメージ。
• 同時を周辺で割ると条件つき分布になる。表の1行を切り出して割り直すイメージ。
• モーメント母関数は分布の圧縮ファイル。$t = 0$ で微分すればモーメントが取り出せ、独立な和は積になる。
• 確率母関数は確率の整理棚。$s^k$ の係数が確率で、$s = 1$ で微分する。

キーワードのおさらい

• 確率関数: 離散型で、値 $x$ をとる確率を表す関数 $p(x)$
• 確率密度関数: 連続型で、積分すると確率になる関数 $f(x)$
• 累積分布関数: $F(x) = P(X \le x)$
• 生存関数: $S(x) = P(X > x) = 1 - F(x)$
• 同時確率関数: 離散型で、2つの変数の値の組の確率を表す関数
• 同時確率密度関数: 連続型で、積分すると組の確率になる関数
• 周辺確率関数: 同時確率関数をもう片方について足し切ったもの
• 周辺確率密度関数: 同時確率密度関数をもう片方について積分したもの
• 条件つき確率関数: 同時確率関数を周辺確率関数で割ったもの
• 条件つき確率密度関数: 同時確率密度関数を周辺確率密度関数で割ったもの
• モーメント母関数（積率母関数）: $M(t) = E[e^{tX}]$。微分するとモーメントが得られる
• 確率母関数: $G(s) = E[s^X]$。$s^k$ の係数が $P(X = k)$

さて、母関数から取り出せるのは平均と分散だけではありません。3次、4次のモーメントからは、分布のゆがみやとがり具合が分かります。分布を数個の数字で要約するには、どんな量を見ればよいのでしょうか？

次回は、歪度・尖度・相関係数・条件つき期待値といった「分布の特性値」について紹介します。

それでは、次の記事へ進んでいきましょう。