統計学 学習ノート

はじめに

「連続型分布の確率密度関数、多すぎて覚えられない……」

1級の範囲に並ぶ連続型分布は10種類です。指数、ワイブル、ガンマ、ベータ、コーシーと、式の形はばらばらに見えます。期待値も分散も全部暗記するとなると、気が遠くなりますよね。

例えば、料理のソースを考えてみましょう。洋食のソースは無数にありますが、料理人が全部を別々に覚えているわけではありません。基本のソースをいくつか作れれば、残りはそこに材料を足した変化形です。

実は、連続型分布も同じです。分布の多くは、一様分布や指数分布の変数変換で作れます。そして、定数やモーメントの計算は、ほとんどがガンマ関数とベータ関数の2つの積分に帰着します。式を暗記しなくても、その場で導けるのです。

そこで登場するのが、今回の主役 核（カーネル）を見抜く という考え方です。確率密度関数の定数を除いた「顔つき」を見て、積分を計算せずに答えを出す技です。

前回の記事では、離散型分布を3つの技で導き直しました。今回の記事では、累積分布関数から作る分布、ガンマ分布とベータ分布、正規分布と対数正規分布、そして多変量正規分布について解説します。

変換で作る分布：一様分布からワイブル分布まで

はじめに、累積分布関数が簡単な式で書ける分布について解説します。

$(0, 1)$ の 一様分布 は、期待値 $1/2$、分散 $1/12$ です。変数変換の記事で見たように、$U$ がこの分布に従うとき、$X = F^{-1}(U)$ は累積分布関数 $F$ の分布に従います。つまり、一様分布は基本のソースです。

【一様分布から作る4つの分布】

分布	累積分布関数または生存関数	$U$ からの作り方
指数分布	$S(x) = e^{-\lambda x}$	$-\log(1 - U)/\lambda$
ワイブル分布	$S(x) = e^{-(x/\eta)^m}$	$\eta\{-\log(1 - U)\}^{1/m}$
ロジスティック分布	$F(x) = 1/(1 + e^{-(x-\mu)/s})$	$\mu + s\log(U/(1 - U))$
コーシー分布	$F(x) = 1/2 + (\arctan x)/\pi$	$\tan(\pi(U - 1/2))$

1つずつ見ていきましょう。

1. 指数分布とワイブル分布

指数分布 は危険率が一定 $h(x) = \lambda$ の分布で、無記憶性をもちます。逆に、$S(s + t) = S(s)S(t)$ を満たす連続な生存関数は、指数分布に限られます。

ワイブル分布 は、指数分布の時間軸を曲げた分布です。$T$ を平均1の指数分布として $X = \eta T^{1/m}$ とします。$m$ を形状パラメータ、$\eta$ を尺度パラメータと呼びます。

$$S(x) = \exp\left(-\left(\frac{x}{\eta}\right)^m\right), \qquad h(x) = \frac{m}{\eta}\left(\frac{x}{\eta}\right)^{m-1}$$

危険率は $-\log S$ の微分から出ます。形状 $m$ の値で、危険率の振る舞いが変わります。

【形状パラメータと故障の型】

• $m < 1$： 危険率が減る。使い始めに壊れやすい初期故障の型
• $m = 1$： 危険率が一定。指数分布で、偶発故障の型
• $m > 1$： 危険率が増える。古くなるほど壊れやすい摩耗故障の型

例題：ワイブル分布の計算

機械の寿命 $X$（年）が、形状 $m$、尺度 $\eta$ のワイブル分布に従う。〔1〕$E[X^r]$ を求めよ。〔2〕$m = 2$、$\eta = 10$ のとき、$E[X]$ を求めよ。〔3〕同じ条件で、$P(X > 5)$ と $P(X > 10 \mid X > 5)$ を求めよ。

【解答】

〔1〕$X = \eta T^{1/m}$ と $E[T^{a}] = \int_0^\infty x^a e^{-x}\, dx = \Gamma(1 + a)$ より、$E[X^r] = \eta^r\, \Gamma(1 + r/m)$ である。

〔2〕$E[X] = 10\, \Gamma(3/2) = 10 \times \dfrac{\sqrt{\pi}}{2} \approx 8.86$ である。

〔3〕$P(X > 5) = e^{-1/4} \approx 0.779$ である。$P(X > 10 \mid X > 5) = S(10)/S(5) = e^{-1 + 1/4} = e^{-3/4} \approx 0.472$ である。

同じ5年でも、新品がもつ確率より、5年使った機械がもつ確率のほうが低いです。$m = 2 > 1$ なので、摩耗の型です。

2. ロジスティック分布とコーシー分布

ロジスティック分布 は、確率のロジットが $x$ の1次式になる分布です。$F$ を解き直すと $\log\dfrac{F(x)}{1 - F(x)} = \dfrac{x - \mu}{s}$ です。微分すると $f = F(1 - F)/s$ という形になります。左右対称で平均は $\mu$、分散は $\pi^2 s^2/3$、尖度は1.2で、正規分布より少し裾が重い分布です。

変数変換の記事の結果から、独立な指数分布の比の対数 $\log(T_1/T_2)$ が標準ロジスティック分布に従うことも分かります。$U = T_1/(T_1 + T_2)$ が一様分布なので、$U/(1 - U)$ の対数になるからです。

コーシー分布 は、$f(x) = 1/\{\pi(1 + x^2)\}$ の分布です。裾が重すぎて、期待値が存在しません。

$$\int_0^\infty \frac{x}{\pi(1 + x^2)}\, dx = \left[\frac{\log(1 + x^2)}{2\pi}\right]_0^\infty = \infty$$

左右対称だから平均は0、とは言えないのです。一方、パーセント点はつねに存在します。中央値は0、四分位数は $\pm 1$ です。位置を表すには、順番にもとづく特性値を使います。

以上が、変換で作る分布についての解説です。

ガンマ分布とベータ分布：核を見抜く

次に、2つの積分から生まれる分布について説明します。

ガンマ関数 は $\Gamma(\alpha) = \int_0^\infty x^{\alpha-1} e^{-x}\, dx$ です。部分積分で $\Gamma(\alpha + 1) = \alpha\Gamma(\alpha)$ が出ます。$y = \beta x$ と置換すると、次の公式が得られます。

$$\int_0^\infty x^{\alpha-1} e^{-\beta x}\, dx = \frac{\Gamma(\alpha)}{\beta^\alpha}$$

この左辺の形 $x^{\alpha-1} e^{-\beta x}$ が、ガンマ分布 $Ga(\alpha, \beta)$ の核です。確率密度関数は、これを全体の積分で割った $f(x) = \dfrac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}$ です。

ここがポイントです。ガンマ分布の期待値の積分には、新しい計算は要りません。$x^r$ や $e^{tx}$ を掛けても核の形は保たれ、$\alpha$ や $\beta$ がずれるだけだからです。人の顔つきを見れば親戚だと分かるように、積分の中身の顔つきを見れば、公式が使えると分かります。

$$E[X^r] = \frac{\beta^\alpha}{\Gamma(\alpha)} \cdot \frac{\Gamma(\alpha + r)}{\beta^{\alpha + r}} = \frac{\Gamma(\alpha + r)}{\Gamma(\alpha)\beta^r}, \qquad M(t) = \frac{\beta^\alpha}{\Gamma(\alpha)} \cdot \frac{\Gamma(\alpha)}{(\beta - t)^\alpha} = \left(\frac{\beta}{\beta - t}\right)^\alpha$$

$E[X^r]$ の式は、$r > -\alpha$ なら実数の $r$ でも成り立ちます。$M(t)$ は $t < \beta$ で有限です。

例題：核の公式でモーメントを求める

$X \sim Ga(3, 2)$ とする。〔1〕$E[1/X]$ を求めよ。〔2〕$V[1/X]$ を求めよ。〔3〕$E[\sqrt{X}]$ を求めよ。

【解答】

〔1〕$\alpha = 3$、$\beta = 2$、$r = -1$ として、$E[X^{-1}] = \dfrac{\Gamma(2)}{\Gamma(3)} \times 2 = 1$ である。

〔2〕$E[X^{-2}] = \dfrac{\Gamma(1)}{\Gamma(3)} \times 4 = 2$ だから、$V[1/X] = 2 - 1 = 1$ である。

〔3〕$E[X^{1/2}] = \dfrac{\Gamma(7/2)}{\Gamma(3)\sqrt{2}}$ である。$\Gamma(7/2) = \dfrac{5}{2} \cdot \dfrac{3}{2} \cdot \dfrac{1}{2}\sqrt{\pi}$ より、これは $\dfrac{15\sqrt{\pi}}{16\sqrt{2}} \approx 1.175$ である。

なお、$E[X] = 3/2$ なので $1/E[X] = 2/3$ です。$E[1/X] = 1$ とは一致しません。期待値は非線形の関数と順序を入れかえられないのです。

待ち時間との関係も押さえましょう。独立な指数分布 $k$ 個の和 $T_k$ は $Ga(k, \lambda)$ に従います。「$T_k \le t$」と「時刻 $t$ までに $k$ 回以上起こる」は同じ事象なので、次の式が成り立ちます。

$$P(T_k \le t) = P(N \ge k), \qquad N \sim Po(\lambda t)$$

例えば、$\lambda = 1$、$k = 3$、$t = 2$ なら、$1 - e^{-2}(1 + 2 + 2) \approx 0.323$ です。積分なしで、ガンマ分布の確率が求まりました。

ベータ分布 $Be(a, b)$ の核は $x^{a-1}(1-x)^{b-1}$ です。変数変換の記事で示した $B(a, b) = \Gamma(a)\Gamma(b)/\Gamma(a+b)$ を使うと、同じ技が使えます。

$$E[X^r] = \frac{B(a + r, b)}{B(a, b)} = \frac{\Gamma(a + r)\, \Gamma(a + b)}{\Gamma(a)\, \Gamma(a + b + r)}$$

$r = 1$ で $E[X] = \dfrac{a}{a+b}$、$r = 2$ で $E[X^2] = \dfrac{a(a+1)}{(a+b)(a+b+1)}$ です。差をとると、分散 $\dfrac{ab}{(a+b)^2(a+b+1)}$ が出ます。

試験のポイント：積分の中身が核の形をしていたら、計算せずに公式に帰着させます。答案には「$Ga(\alpha + r, \beta)$ の確率密度関数の積分が1であることから」と理由を書きます。

以上が、ガンマ分布とベータ分布についての説明です。

正規分布と対数正規分布：平方完成の技

続いて、正規分布の系統について解説します。

正規分布（ガウス分布）の定数 $\sqrt{2\pi}$ は、次の積分から来ています。2乗して極座標に移るのが定番です。

$$I^2 = \iint e^{-(x^2 + y^2)/2}\, dx\, dy = \int_0^{2\pi} \int_0^\infty e^{-r^2/2}\, r\, dr\, d\theta = 2\pi$$

ここで $I = \int e^{-x^2/2}\, dx$ です。$\Gamma(1/2) = \sqrt{\pi}$ も、置換すればこの積分から出ます。

モーメント母関数は 平方完成 で求めます。指数の部分は、次のように変形できます。

$$tx - \frac{(x - \mu)^2}{2\sigma^2} = -\frac{(x - \mu - \sigma^2 t)^2}{2\sigma^2} + \mu t + \frac{\sigma^2 t^2}{2}$$

第1項は $N(\mu + \sigma^2 t, \sigma^2)$ の核なので、積分すると定数が打ち消し合います。$e^{tx}$ を掛けても、釣り鐘の山が横へ移動するだけで、山の形は変わらないのです。残るのは $M(t) = \exp(\mu t + \sigma^2 t^2/2)$ です。ここでも、核を見抜く技が働きました。

対数正規分布 は、$Y \sim N(\mu, \sigma^2)$ に対する $X = e^Y$ の分布です。すると $E[X^r] = E[e^{rY}]$ は $Y$ のモーメント母関数そのものです。積分を1回もせずに、すべてのモーメントが出ます。

$$E[X^r] = \exp\left(r\mu + \frac{r^2\sigma^2}{2}\right)$$

よって、平均は $e^{\mu + \sigma^2/2}$、分散は $e^{2\mu + \sigma^2}(e^{\sigma^2} - 1)$ です。中央値は単調変換で保たれるので $e^\mu$ です。最頻値は確率密度関数の対数を微分して、$e^{\mu - \sigma^2}$ です。

例えば、$\mu = 0$、$\sigma = 1$ なら、最頻値0.368、中央値1、平均1.649です。最頻値 $<$ 中央値 $<$ 平均となり、右に裾を引く形が式からも読み取れます。また、独立な対数正規分布の積は、対数をとると正規分布の和なので、再び対数正規分布です。

以上が、正規分布と対数正規分布についての解説です。

多変量正規分布：線形変換で考える

最後に、多変量正規分布 $N_p(\boldsymbol{\mu}, \Sigma)$ を見ていきましょう。

独立に標準正規分布に従う $p$ 個の変数を並べたベクトルを $\boldsymbol{Z}$ とし、$\Sigma = AA^\top$ となる行列 $A$ で $\boldsymbol{X} = \boldsymbol{\mu} + A\boldsymbol{Z}$ とします。これが多変量正規分布です。$\Sigma$ が正則なら、変数変換の公式から、準1級で見た確率密度関数が出ます。部品の $\boldsymbol{Z}$ を、線形変換で組み立てたものと考えると、性質はすべて見通せます。

モーメント母関数は、$\boldsymbol{t}^\top\boldsymbol{X}$ が1変量の正規分布 $N(\boldsymbol{t}^\top\boldsymbol{\mu}, \boldsymbol{t}^\top\Sigma\boldsymbol{t})$ に従うことから出ます。

$$M(\boldsymbol{t}) = E[e^{\boldsymbol{t}^\top\boldsymbol{X}}] = \exp\left(\boldsymbol{t}^\top\boldsymbol{\mu} + \frac{1}{2}\boldsymbol{t}^\top\Sigma\boldsymbol{t}\right)$$

ここから、2つの性質が証明できます。

【多変量正規分布の性質の証明】

1. 線形変換： $B\boldsymbol{X} + \boldsymbol{b}$ のモーメント母関数を計算すると、平均 $B\boldsymbol{\mu} + \boldsymbol{b}$、分散 $B\Sigma B^\top$ の多変量正規分布の形になる。周辺分布はその特別な場合である
2. 無相関なら独立： 共分散の部分が0なら、$\boldsymbol{t}^\top\Sigma\boldsymbol{t}$ が変数ごとに分かれ、モーメント母関数が積に分かれる

性質2は、同時分布が多変量正規分布であるときだけの話です。周辺分布がそれぞれ正規分布というだけでは、無相関でも独立とは言えません。

条件付き分布は、行列の公式を暗記しなくても、回帰の発想で導けます。2変量で見てみましょう。

例題：親子の身長

父の身長 $X$ と息子の身長 $Y$ が2変量正規分布に従い、平均は170と172、標準偏差はどちらも6、相関係数は $\rho = 0.5$ とする。〔1〕$W = Y - \beta X$（$\beta = \rho\sigma_Y/\sigma_X$）が $X$ と独立であることを示し、$X = x$ のもとでの $Y$ の条件付き分布を求めよ。〔2〕$X = 182$ のとき、$Y$ の条件付き平均と分散を求めよ。〔3〕$P(Y > 185 \mid X = 182)$ を求めよ。

【解答】

〔1〕$(X, W)$ は $(X, Y)$ の線形変換だから2変量正規分布に従う。$\mathrm{Cov}[X, W] = \rho\sigma_X\sigma_Y - \beta\sigma_X^2 = 0$ なので、性質2より独立である。$V[W] = \sigma_Y^2 - 2\beta\rho\sigma_X\sigma_Y + \beta^2\sigma_X^2 = \sigma_Y^2(1 - \rho^2)$ である。$Y = \beta X + W$ で $W$ は $X$ と独立だから、次を得る。

$$Y \mid X = x \ \sim\ N\left(\mu_Y + \beta(x - \mu_X),\ \ \sigma_Y^2(1 - \rho^2)\right)$$

〔2〕$\beta = 0.5$ より、平均は $172 + 0.5 \times 12 = 178$、分散は $36 \times 0.75 = 27$ である。

〔3〕$z = (185 - 178)/\sqrt{27} \approx 1.35$ より、確率は約0.089である。

父が平均より12cm高くても、息子の予想は平均より6cmの高さです。これが、後の記事で学ぶ平均への回帰です。条件付き分散が $x$ によらないことも、多変量正規分布の特徴です。

以上が、多変量正規分布についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「分布は変換で作られ、計算は核を見抜いて公式に帰着させる」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は10種類の連続型分布を、変換と核という2つの視点で整理しました。基本のソースが分かれば、残りは変化形です。式を丸ごと覚えるのではなく、その場で導けることが、1級の強みになります。

今回のポイントを振り返りましょう。

振り返り

• 指数・ワイブル・ロジスティック・コーシーは、一様分布の変換で作れる。ワイブル分布は形状 $m$ で故障の型が変わる。
• ガンマ分布とベータ分布のモーメントは、核を見抜くと積分なしで求まる。
• 正規分布のモーメント母関数は平方完成で出て、対数正規分布のモーメントはその値そのものである。
• 多変量正規分布は線形変換で考える。無相関なら独立で、条件付き分布は回帰で導ける。

キーワードのおさらい

• 一様分布: 区間のどの値も同じ濃さの分布。他の分布の入り口
• 正規分布（ガウス分布）: $M(t) = \exp(\mu t + \sigma^2 t^2/2)$ の分布
• 指数分布: 危険率が一定の分布。無記憶性をもつ
• ガンマ分布: 核が $x^{\alpha-1} e^{-\beta x}$ の分布。指数分布の和を含む
• ベータ分布: 核が $x^{a-1}(1-x)^{b-1}$ の分布。$(0, 1)$ の値をとる
• コーシー分布: $1/\{\pi(1 + x^2)\}$ の分布。期待値が存在しない
• 対数正規分布: 対数が正規分布に従う分布。$E[X^r] = \exp(r\mu + r^2\sigma^2/2)$
• ワイブル分布: 危険率が $x^{m-1}$ に比例する分布。寿命の分析で使う
• ロジスティック分布: ロジットが $x$ の1次式になる分布
• 多変量正規分布: 独立な標準正規分布の線形変換で作られる分布

さて、これで主な分布がそろいました。次は、これらの分布から作った統計量の分布です。$t$ 分布やカイ二乗分布は、どのように導かれるのでしょうか？

次回は、標本分布の導出について紹介します。

それでは、次の記事へ進んでいきましょう。