統計学 学習ノート

はじめに

データを増やしても、コーシー分布の平均は落ち着かない

「データをいくら集めても、平均が落ち着かない分布があるって本当？」

2級で学んだ大数の法則によれば、データをたくさん集めるほど、標本平均は母平均に近づくはずでした。ところが、大数の法則がまったく効かない分布があります。1万個のデータの平均が、1個のデータと同じくらいばらつくのです。

例えば、体重を測る体重計がそんな動きをしたらどうでしょうか？ 何回測って平均をとっても、ちっとも値が定まりません。そんなばかな、と思いますよね。

実は、連続型の分布の世界には、おなじみの正規分布のほかに、個性の強いメンバーがそろっています。待ち時間を測る分布、比率を測る分布、そして平均をもたない分布まであります。前回の離散型と同じように、これらも家系図でつながっています。

そこで登場するのが、今回の主役である ガンマ分布、ベータ分布、コーシー分布 といった連続型分布の一族です。

前回の記事では、離散型分布の家系図を作りました。今回の記事では、連続型分布の性質と、分布どうしの関係について解説します。最後に、たくさんの変数をまとめて扱う多変量正規分布を見ていきます。

連続一様分布と正規分布：基準になる2つの分布

一様な確率を分位点関数に通すと、好きな分布が生まれる

はじめに、すべての基準になる2つの分布について解説します。

連続一様分布 $U(a, b)$ は、区間 $(a, b)$ のどの値も同じ濃さでとる分布です。

$$f(x) = \frac{1}{b - a} \quad (a < x < b), \qquad E[X] = \frac{a + b}{2}, \qquad V[X] = \frac{(b - a)^2}{12}$$

例えば、$U(2, 10)$ なら期待値は6、分散は $64/12 \approx 5.33$ です。

一様分布の大切な役割は、すべての連続型分布の入り口になることです。$X$ の累積分布関数 $F$ が連続なら、$F(X)$ は $U(0, 1)$ に従います。これを確率積分変換と呼びます。逆に、$U \sim U(0, 1)$ のとき、分位点関数を使った $Q(U)$ は $F$ の分布に従います。粘土の玉から、好きな形の分布を作り出せるイメージです。一様乱数からいろいろな乱数を作るときに、この性質を使います。

正規分布 $N(\mu, \sigma^2)$ は、2級からおなじみの分布です。

$$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right), \qquad M(t) = \exp\left(\mu t + \frac{\sigma^2 t^2}{2}\right)$$

準1級で押さえたい性質を、ここまでの記事から集めておきましょう。

【正規分布の性質】

1. 線形変換： $aX + b \sim N(a\mu + b, a^2\sigma^2)$
2. 再生性： 独立な正規分布の和は正規分布
3. 特性値： 歪度も尖度も0
4. 中心極限定理の極限である

正規分布が主役でいられるのは、4つ目の性質のおかげです。誤差のように小さな要因の和でできている量は、元の分布によらず正規分布に近づきます。

以上が、連続一様分布と正規分布についての解説です。

指数分布とガンマ分布：待ち時間の分布

3台目までの待ち時間はガンマ分布で、4分を超える確率は0.677

次に、待ち時間を表す分布について説明します。

指数分布 は、まれな出来事が次に起こるまでの待ち時間の分布です。

$$f(x) = \lambda e^{-\lambda x} \quad (x > 0), \qquad S(x) = e^{-\lambda x}, \qquad E[X] = \frac{1}{\lambda}, \qquad V[X] = \frac{1}{\lambda^2}$$

幾何分布の連続版にあたり、同じように 無記憶性 をもちます。

$$P(X > s + t \mid X > s) = \frac{e^{-\lambda(s + t)}}{e^{-\lambda s}} = P(X > t)$$

例えば、$\lambda = 0.5$（平均2分）のバス待ちで、すでに3分待っているとします。さらに2分以上待つ確率は、最初から2分以上待つ確率と同じで、$e^{-1} \approx 0.368$ です。「ずいぶん待ったから、もうすぐ来る」は成り立ちません。無記憶性をもつ連続型分布は、指数分布だけです。

では、1回目ではなく、3回目のバスが来るまでの待ち時間はどうなるでしょうか？ 指数分布の和なので、ここでガンマ分布が登場します。

準備として、ガンマ関数 を定義します。階乗を実数に広げた関数です。

$$\Gamma(\alpha) = \int_0^\infty x^{\alpha - 1} e^{-x}\, dx, \qquad \Gamma(\alpha + 1) = \alpha\, \Gamma(\alpha), \qquad \Gamma(n) = (n - 1)!, \qquad \Gamma\left(\tfrac{1}{2}\right) = \sqrt{\pi}$$

例えば、$\Gamma(5) = 4! = 24$、$\Gamma(5/2) = (3/2)(1/2)\sqrt{\pi} \approx 1.33$ です。

ガンマ分布 $Ga(\alpha, \beta)$ の確率密度関数は、次のとおりです。$\alpha$ を形状パラメータ、$\beta$ をレートパラメータと呼びます。

$$f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)}\, x^{\alpha - 1} e^{-\beta x} \quad (x > 0), \qquad E[X] = \frac{\alpha}{\beta}, \qquad V[X] = \frac{\alpha}{\beta^2}$$

モーメント母関数は $M(t) = (\beta / (\beta - t))^\alpha$（$t < \beta$）です。期待値は積分を $\Gamma(\alpha + 1)$ の形に直すと出ます。$E[X] = \Gamma(\alpha + 1) / (\beta\, \Gamma(\alpha)) = \alpha / \beta$ です。

試験のポイント：ガンマ分布には、$\beta$ の代わりに尺度 $\theta = 1/\beta$ を使う流儀もあります。問題文の確率密度関数の形で判断しましょう。尺度の流儀なら、期待値は $\alpha\theta$ です。

ガンマ分布の親戚関係は、次のとおりです。

【ガンマ分布の親戚】

1. $\alpha = 1$ のとき、指数分布になる
2. レートが同じなら、$Ga(\alpha_1, \beta)$ と $Ga(\alpha_2, \beta)$ の和は $Ga(\alpha_1 + \alpha_2, \beta)$
3. 整数 $\alpha$ なら、指数分布 $\alpha$ 個の和の分布である
4. 自由度 $n$ のカイ二乗分布は $Ga(n/2, 1/2)$ である

3つ目より、$Ga(\alpha, \beta)$ は「出来事が $\alpha$ 回起こるまでの待ち時間」です。

具体的に見てみましょう。平均2分ごと（$\lambda = 0.5$）にバスが来るとき、3台目までの待ち時間 $T$ は $Ga(3, 0.5)$ に従います。期待値は6分、分散は12です。

$T$ が4分を超えるとは、「4分間に来たバスが2台以下」ということです。4分間の台数は $Po(2)$ に従うので、次のように計算できます。

$$P(T > 4) = e^{-2}\left(1 + 2 + \frac{2^2}{2!}\right) = 5e^{-2} \approx 0.677$$

待ち時間の分布と回数の分布が、裏表の関係になっていました。ポアソン分布と指数分布・ガンマ分布は、同じ現象を別の角度から見たものです。

以上が、指数分布とガンマ分布についての説明です。

ベータ分布：比率を表す分布

aとbの比で山の位置が、大きさで山の細さが決まる

続いて、0と1の間の値を表す分布について解説します。

打率、合格率、視聴率のように、0から1の間の値をとる量の分布によく使うのが ベータ分布 $Be(a, b)$ です。

$$f(x) = \frac{x^{a - 1} (1 - x)^{b - 1}}{B(a, b)} \quad (0 < x < 1), \qquad B(a, b) = \frac{\Gamma(a)\, \Gamma(b)}{\Gamma(a + b)}$$

$B(a, b)$ はベータ関数で、全体を積分して1にするための定数です。期待値と分散は次のようになります。

$$E[X] = \frac{a}{a + b}, \qquad V[X] = \frac{ab}{(a + b)^2 (a + b + 1)}$$

$a$ は成功の重み、$b$ は失敗の重みです。シーソーに例えると、$a$ が大きいと1の側に、$b$ が大きいと0の側に傾きます。両方を大きくすると、山が細くなります。

具体的に見てみましょう。$Be(2, 3)$ の確率密度関数は $B(2, 3) = 1/12$ より $f(x) = 12x(1 - x)^2$ です。期待値は0.4、分散は $6 \div (25 \times 6) = 0.04$ です。また、$P(X \le 0.5) = \int_0^{0.5} 12x(1 - x)^2\, dx = 0.6875$ です。

ベータ分布の親戚関係も見ておきましょう。

【ベータ分布の親戚】

1. $Be(1, 1)$ は $U(0, 1)$ である
2. $G_1 \sim Ga(a, \beta)$、$G_2 \sim Ga(b, \beta)$ が独立なら、$G_1 / (G_1 + G_2) \sim Be(a, b)$
3. 一様分布の順序統計量はベータ分布に従う（後の記事で学ぶ）

2つ目は、変数変換の記事の例題の一般形です。指数分布2つの比 $X/(X + Y)$ が一様分布になったのは、$a = b = 1$ の場合でした。

ベータ分布がとくに活躍するのは、ベイズ統計です。成功確率 $p$ の事前分布を $Be(a, b)$ とし、$n$ 回中 $x$ 回成功したとします。事後分布は $Be(a + x, b + n - x)$ になります。「成功の重みに $x$ を足し、失敗の重みに $n - x$ を足す」だけです。これは後の記事で詳しく学びます。

以上が、ベータ分布についての解説です。

裾の重い分布：コーシー分布と対数正規分布

灯台の光はコーシー分布、年収は対数正規分布に従う

次に、裾の重い2つの分布について説明します。1つずつ見ていきましょう。

1. コーシー分布

コーシー分布 は、冒頭の「平均が落ち着かない分布」の正体です。標準形の確率密度関数は次のとおりです。

$$f(x) = \frac{1}{\pi(1 + x^2)}, \qquad F(x) = \frac{1}{2} + \frac{1}{\pi} \arctan x$$

形は釣り鐘に似ていますが、裾の減り方がずっと遅いです。海辺の灯台をイメージしてください。灯台がでたらめな角度で光を放つと、光が海岸線に当たる位置はコーシー分布に従います。角度が真横に近いと、光ははるか遠くに当たります。

裾が重いせいで、$\int |x| f(x)\, dx$ は発散します。つまり、期待値が存在しません。分散も存在しません。モーメント母関数もありません。

さらに、独立なコーシー分布の標本平均は、$n$ がいくつでも元と同じコーシー分布に従います。ときどき現れる極端な値が平均をかき乱すのです。大数の法則は平均の存在を、中心極限定理は分散の存在を前提にしているので、どちらも当てはまりません。

一方、分位点は問題なく決まります。中央値は0で、$F(1) = 3/4$ なので四分位数は $\pm 1$ です。$P(|X| \le 1) = 0.5$ となります。コーシー分布の中心を推定するなら、平均ではなく中央値を使います。

親戚関係としては、独立な標準正規分布の比 $Z_1 / Z_2$ がコーシー分布に従います。また、自由度1の $t$ 分布とも同じです。

2. 対数正規分布

対数正規分布 は、対数をとると正規分布になる分布です。$\log X \sim N(\mu, \sigma^2)$ のとき、$X$ は対数正規分布に従います。確率密度関数は変数変換の記事で導きました。

期待値の導出は、モーメント母関数の出番です。$Y = \log X$ とすると、$E[X] = E[e^Y] = M_Y(1)$ です。同じように $E[X^2] = M_Y(2)$ なので、次の式が得られます。

$$E[X] = \exp\left(\mu + \frac{\sigma^2}{2}\right), \qquad V[X] = \exp(2\mu + \sigma^2)\left(\exp(\sigma^2) - 1\right)$$

中央値は $e^\mu$、最頻値は $\exp(\mu - \sigma^2)$ で、最頻値 < 中央値 < 平均値の順に並びます。4級で学んだ、右に裾の長い分布の並びです。

中心極限定理は「和」の極限でした。「積」の対数は「和」なので、小さな要因の積でできている量は対数正規分布に近づきます。年収、株価、粒子の大きさなどが典型例です。

具体的に見てみましょう。ある地域の年収 $X$（万円）が $\log X \sim N(6, 0.5^2)$ に従うとします。

【年収の分布の計算】

1. 中央値： $e^6 \approx 403$ 万円
2. 平均値： $e^{6.125} \approx 457$ 万円
3. 最頻値： $e^{5.75} \approx 314$ 万円
4. 1,000万円を超える割合： $z = (\log 1000 - 6) \div 0.5 \approx 1.82$ より約3.5%

確率の計算は、対数をとって正規分布に持ち込むのがコツです。

試験のポイント：対数正規分布の $\mu$ と $\sigma^2$ は $\log X$ の平均と分散で、$X$ の平均と分散ではありません。

以上が、コーシー分布と対数正規分布についての説明です。

多変量正規分布：たくさんの変数をまとめて扱う

数学が70点と分かると、国語の分布は細く右へ動く

最後に、多変量正規分布を見ていきましょう。

2級で学んだ2変量正規分布を、$p$ 個の変数に広げたものが 多変量正規分布 $N_p(\boldsymbol{\mu}, \Sigma)$ です。$\boldsymbol{\mu}$ は平均ベクトル、$\Sigma$ は分散共分散行列です。

$$f(\boldsymbol{x}) = \frac{1}{(2\pi)^{p/2} |\Sigma|^{1/2}} \exp\left(-\frac{1}{2} (\boldsymbol{x} - \boldsymbol{\mu})^\top \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu})\right)$$

$|\Sigma|$ は行列式です。指数の中の2次形式は、平均からの距離を、ばらつきの大きさと相関で測り直したもの（マハラノビス距離の2乗）です。1変数の $(x - \mu)^2 / \sigma^2$ の行列版にあたります。

多変量正規分布の性質は、非常に扱いやすいです。

【多変量正規分布の性質】

1. 線形変換： $A\boldsymbol{X} + \boldsymbol{b} \sim N(A\boldsymbol{\mu} + \boldsymbol{b},\ A \Sigma A^\top)$
2. 周辺分布： 一部の変数だけを見ても多変量正規分布
3. 条件つき分布： 一部の変数を固定しても多変量正規分布
4. 独立性： 無相関なら独立
5. 2次形式： $(\boldsymbol{X} - \boldsymbol{\mu})^\top \Sigma^{-1} (\boldsymbol{X} - \boldsymbol{\mu})$ は自由度 $p$ のカイ二乗分布に従う

変数の組を $\boldsymbol{X}_1$、$\boldsymbol{X}_2$ に分けて、$\Sigma$ を $\Sigma_{11}, \Sigma_{12}, \Sigma_{21}, \Sigma_{22}$ に区切ります。$\boldsymbol{X}_2 = \boldsymbol{x}_2$ のもとでの $\boldsymbol{X}_1$ の条件つき分布は、次のとおりです。

$$\boldsymbol{X}_1 \mid \boldsymbol{x}_2 \ \sim\ N\left(\boldsymbol{\mu}_1 + \Sigma_{12} \Sigma_{22}^{-1} (\boldsymbol{x}_2 - \boldsymbol{\mu}_2),\ \ \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}\right)$$

言葉で言うと、平均は「観測の外れた分だけ、回帰の傾きで補正」され、分散は「$\boldsymbol{x}_2$ で説明できる分だけ小さく」なります。しかも分散は $\boldsymbol{x}_2$ の値によりません。2級の2変量の式は、この特別な場合です。

例題：数学の点から国語の点を予想する

数学 $X_1$ と国語 $X_2$ の点数が、平均 $(60, 50)$、分散共分散行列の成分が $\sigma_{11} = 100$、$\sigma_{22} = 225$、$\sigma_{12} = 75$ の2変量正規分布に従います。数学が70点の人の、国語の条件つき分布を求め、国語が70点を超える確率を計算しましょう。

【解き方】

1. 条件つき平均： $50 + \dfrac{75}{100} \times (70 - 60) = 57.5$
2. 条件つき分散： $225 - \dfrac{75^2}{100} = 168.75$。標準偏差は約12.99
3. 標準化する： $z = (70 - 57.5) \div 12.99 \approx 0.96$
4. 標準正規分布表から $P(Z > 0.96) = 0.1685$

答えは、$N(57.5, 168.75)$ で、確率は約0.17です。

ここで1つ注意があります。「無相関なら独立」が言えるのは、同時分布が多変量正規分布のときです。それぞれの周辺分布が正規分布というだけでは足りません。周辺が正規分布でも、同時分布が多変量正規分布にならない例があります。

補足（ここは読み飛ばしてOK）： $X \sim N(0, 1)$ として、公平なコインの結果で $Y = X$ または $Y = -X$ とします。$Y$ も $N(0, 1)$ に従い、$X$ と $Y$ は無相関ですが、$|Y| = |X|$ なので独立ではありません。

以上が、多変量正規分布についての説明です。

細かい式を全部暗記できなくても問題ありません。ここでは、「待ち時間はガンマ分布、比率はベータ分布、裾の重いものは平均の扱いに注意、多変数は線形変換と条件つき分布が正規分布のまま」という点だけ押さえておきましょう。

今回のまとめ

待ち時間、比率、重い裾、多変量と、分布の一族を見渡す

それでは、今回の内容を振り返ります。

今回は主な連続型分布の性質と、分布どうしの関係について紹介しました。指数分布を足すとガンマ分布、ガンマ分布の比をとるとベータ分布、正規分布の指数をとると対数正規分布、正規分布の比をとるとコーシー分布になります。連続型の分布も、離散型と同じように1つの家系図でつながっています。

今回のポイントを振り返りましょう。

振り返り

• 連続一様分布は分布の入り口で、確率積分変換で他の分布とつながる。
• 指数分布は無記憶の待ち時間。足し合わせるとガンマ分布になり、カイ二乗分布もその一員。
• ベータ分布は0から1の比率の分布で、ガンマ分布の比から生まれる。
• コーシー分布には期待値がなく、標本平均が落ち着かない。対数正規分布は積の世界の正規分布。
• 多変量正規分布は線形変換・周辺・条件つきのどれでも正規分布のままで、無相関なら独立。

キーワードのおさらい

• 連続一様分布: 区間のどの値も同じ濃さでとる分布
• 正規分布: 平均を中心とする左右対称の釣り鐘型の分布
• 指数分布: 出来事の待ち時間の分布。無記憶性をもつ
• ガンマ分布: 出来事が $\alpha$ 回起こるまでの待ち時間の分布。指数分布やカイ二乗分布を含む
• ベータ分布: 0から1の間の値をとる分布。比率やベイズの事前分布に使う
• コーシー分布: 裾が重く、期待値が存在しない分布
• 対数正規分布: 対数をとると正規分布になる分布
• 多変量正規分布: 正規分布を $p$ 個の変数に広げた分布

さて、ここまでで「1回の観測が従う分布」はひと通りそろいました。統計学の本番は、この観測から作った統計量がどんな分布に従うかを調べるところにあります。2級で学んだ $t$ 分布、カイ二乗分布、$F$ 分布は、今回の分布とどうつながるのでしょうか？ そして、検出力の計算に必要な「非心」とは何でしょうか？

次回は、「標本分布」を非心分布まで含めて紹介します。

それでは、次の記事へ進んでいきましょう。