統計学 学習ノート

はじめに

「t分布の密度関数って、いったいどこから出てくるの？」

準1級までは、t分布、カイ二乗分布、F分布の式を、できあがったものとして使ってきました。お店で買ってきたカレールーのようなものです。ルーがあれば、おいしいカレーはすぐに作れますよね。

でも、1級の論述では「スパイスから作ってください」と言われます。「この統計量が自由度 $n-1$ のt分布に従うことを示せ」「密度を導け」という問題です。表を引けるだけでは、答案を1行も書けません。

実は、3つの分布の導出は、どれも同じ型でできています。独立な変数の同時密度を書き、変数変換でヤコビアンを掛け、いらない変数を積分で消す。たったこれだけです。

そこで登場するのが、今回の主役 標本分布 です。標本分布とは、統計量が従う確率分布のことです。

前回の記事では、ガンマ分布やベータ分布などの連続型分布を学びました。今回の記事では、その道具を使ってカイ二乗分布、t分布、F分布を導き、正規母集団の基本定理を証明して、推測への応用までを解説します。

カイ二乗分布：モーメント母関数で導く

はじめに、3つの分布の土台であるカイ二乗分布の導出について解説します。

カイ二乗分布 $\chi^2(k)$ は、独立な標準正規変数の2乗和 $W = Z_1^2 + \dots + Z_k^2$ の分布でした。準1級では、これが形状 $k/2$、尺度2のガンマ分布だと確かめました。答案では、この事実を定義の積分から示します。

$$E[e^{tZ^2}] = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}}\, e^{-(1-2t)z^2/2}\,dz = (1-2t)^{-1/2} \qquad \left(t < \tfrac{1}{2}\right)$$

積分の中は、分散 $1/(1-2t)$ の正規密度の定数倍です。正規密度の積分が1であることを使えば、積分そのものを計算しなくても値が出ます。独立な変数の和のモーメント母関数は積なので、$W$ のモーメント母関数は $(1-2t)^{-k/2}$ です。これはガンマ分布のものと一致するので、一意性から密度が決まります。

$$f_W(w) = \frac{w^{k/2-1}\, e^{-w/2}}{2^{k/2}\,\Gamma(k/2)} \qquad (w > 0)$$

料理で言うと、この式は「だし」です。t分布もF分布も、このだしから作ります。

次に、モーメントの一般式を作っておきましょう。これが後で何度も効きます。$r > -k/2$ のとき、次の式が成り立ちます。

$$E[W^r] = \frac{1}{2^{k/2}\,\Gamma(k/2)} \int_0^\infty w^{k/2+r-1} e^{-w/2}\,dw = \frac{2^r\, \Gamma(k/2 + r)}{\Gamma(k/2)}$$

積分はガンマ関数そのものなので、すぐに片づきます。$r$ に値を入れてみましょう。

【モーメントの一般式の使い方】

1. $r = 1$： $E[W] = k$
2. $r = 2$： $E[W^2] = k(k+2)$ なので、$V[W] = 2k$
3. $r = -1$： $E[1/W] = 1/(k-2)$（$k > 2$）
4. $r = 1/2$： $E[\sqrt{W}] = \sqrt{2}\,\Gamma\!\left(\frac{k+1}{2}\right)/\Gamma\!\left(\frac{k}{2}\right)$

4つ目の具体例を見てみましょう。正規母集団では $S = \sigma\sqrt{W/(n-1)}$（$W \sim \chi^2(n-1)$）と書けます。$n = 5$ なら、$E[S] = \sigma \times \frac{\sqrt{2}\,\Gamma(5/2)}{2\,\Gamma(2)} \approx 0.940\,\sigma$ です。つまり、$S^2$ は $\sigma^2$ の不偏推定量でも、$S$ は $\sigma$ の不偏推定量ではありません。

例題：指数分布の和とカイ二乗分布

$X_1, \dots, X_n$ は独立で、密度 $\lambda e^{-\lambda x}$（$x > 0$）の指数分布に従う。(1) $2\lambda\sum_i X_i \sim \chi^2(2n)$ を示せ。(2) $n = 5$、$\sum_i x_i = 20$ のとき、$\lambda$ の95%信頼区間を求めよ。ただし、$\chi^2(10)$ の下側2.5%点は3.25、上側2.5%点は20.48とする。

【答案】

1. $Y_i = 2\lambda X_i$ のモーメント母関数は、$E[e^{2\lambda t X}] = \lambda/(\lambda - 2\lambda t) = (1-2t)^{-1}$（$t < 1/2$）である
2. 独立性より、$\sum_i Y_i$ のモーメント母関数は $(1-2t)^{-n}$ である。これは $\chi^2(2n)$ のものと一致するので、一意性から(1)が示された
3. (1)より $P(3.25 \le 2\lambda\sum_i X_i \le 20.48) = 0.95$ である
4. データを代入すると $3.25 \le 40\lambda \le 20.48$ で、$0.081 \le \lambda \le 0.512$ となる

答えは [0.081, 0.512] です。$2\lambda\sum_i X_i$ は未知の $\lambda$ を含みますが、分布は $\lambda$ によりません。このような量を ピボット と呼びます。

以上が、カイ二乗分布の導出についての解説です。

標本平均と標本分散の独立性を証明する

次に、正規母集団の基本定理を証明します。t分布を使う検定は、すべてこの定理の上に立っています。

【正規母集団の基本定理】 $X_1, \dots, X_n$ が独立に $N(\mu, \sigma^2)$ に従うとき、次が成り立つ。

1. $\bar{X} \sim N(\mu, \sigma^2/n)$
2. $(n-1)S^2/\sigma^2 \sim \chi^2(n-1)$
3. $\bar{X}$ と $S^2$ は独立

準1級では「回転」のイメージで理解しました。答案では、回転を具体的に書きます。使うのは ヘルマート変換 です。$n = 3$ なら、次の3本です。

$$Y_1 = \frac{X_1 + X_2 + X_3}{\sqrt{3}}, \quad Y_2 = \frac{X_1 - X_2}{\sqrt{2}}, \quad Y_3 = \frac{X_1 + X_2 - 2X_3}{\sqrt{6}}$$

一般に、第1行は $(1/\sqrt{n}, \dots, 1/\sqrt{n})$ で、第 $j$ 行（$j \ge 2$）は、先頭の $j-1$ 個が $1$、次が $-(j-1)$、残りが0のベクトルを長さ1にそろえたものです。どの2行も内積が0で、長さは1なので、直交行列 $H$ になります。

イメージとしては、$n$ 人の仕事の割り振り直しです。もともと全員が同じ仕事をしていた $X_1, \dots, X_n$ を、「平均係さん」1人と「ばらつき係さん」$n-1$ 人に分け直します。分け直しても、仕事の総量は変わりません。

【証明】

1. $\boldsymbol{Y} = H\boldsymbol{X}$ とおく。$H$ は直交行列なので、ヤコビアンの絶対値は1で、$\|\boldsymbol{y}\| = \|\boldsymbol{x}\|$ である
2. $\boldsymbol{X}$ の同時密度は $(2\pi\sigma^2)^{-n/2} \exp\{-\|\boldsymbol{x} - \mu\boldsymbol{1}\|^2/(2\sigma^2)\}$ である。$H\boldsymbol{1} = (\sqrt{n}, 0, \dots, 0)^\top$ なので、$\boldsymbol{Y}$ の同時密度は次の積の形になる

$$f(\boldsymbol{y}) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(y_1 - \sqrt{n}\mu)^2}{2\sigma^2}\right\} \prod_{j=2}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_j^2}{2\sigma^2}\right)$$

3. よって $Y_1, \dots, Y_n$ は独立で、$Y_1 \sim N(\sqrt{n}\mu, \sigma^2)$、$Y_j \sim N(0, \sigma^2)$（$j \ge 2$）である
4. $Y_1 = \sqrt{n}\,\bar{X}$ なので、$\bar{X} \sim N(\mu, \sigma^2/n)$ である
5. $(n-1)S^2 = \sum_i X_i^2 - n\bar{X}^2 = \sum_{j=1}^{n} Y_j^2 - Y_1^2 = \sum_{j=2}^{n} Y_j^2$ である
6. したがって $S^2$ は $Y_2, \dots, Y_n$ だけの関数で、$Y_1$ の関数である $\bar{X}$ と独立である。また、$(n-1)S^2/\sigma^2 = \sum_{j \ge 2}(Y_j/\sigma)^2 \sim \chi^2(n-1)$ である

$n = 2$ で確かめてみましょう。$\bar{X} = (X_1 + X_2)/2$ で、$S^2 = (X_1 - X_2)^2/2$ です。つまり定理は、「正規変数の和と差は独立」と言っているだけです。

短く書くなら、別証もあります。$(\bar{X}, X_1 - \bar{X}, \dots, X_n - \bar{X})$ は多変量正規分布に従い、$\text{Cov}(\bar{X}, X_i - \bar{X}) = \sigma^2/n - \sigma^2/n = 0$ です。多変量正規分布では無相関と独立が同じなので、$\bar{X}$ は偏差の全体と独立です。$S^2$ は偏差の関数なので、$\bar{X}$ と独立になります。

ただし、これは正規分布に特有の性質です。例えば、ベルヌーイ分布の標本で $\bar{X} = 1$ なら、全員が1なので $S^2 = 0$ に決まります。$\bar{X}$ を知ると $S^2$ が分かるのですから、独立ではありません。一般に $\text{Cov}(\bar{X}, S^2) = \mu_3/n$（$\mu_3$ は3次の中心モーメント）で、平均1の指数分布なら $\mu_3 = 2$ です。

補足（ここは読み飛ばしてOK）： 逆も成り立ちます。独立な同一分布の標本で $\bar{X}$ と $S^2$ が独立なら、その分布は正規分布に限られます。また、ヘルマート変換を一般化した、2乗和の分解についての定理をコクランの定理と呼びます。

以上が、基本定理の証明についての解説です。

t分布：補助変数を使って密度を導く

続いて、変数変換の型を使って、t分布の密度を導きます。

t分布 $t(k)$ は、独立な $Z \sim N(0,1)$ と $W \sim \chi^2(k)$ から作る $T = Z/\sqrt{W/k}$ の分布でした。ここで問題が1つあります。変数は $Z$ と $W$ の2つなのに、作りたい量は $T$ の1つです。これでは変換の前後で次元が合いません。

そこで、補助変数 を呼びます。$U = W$ を足して2変数の変換にし、$(T, U)$ の同時密度を出してから $U$ を積分で消します。補助変数さんは、変換のときだけ手伝いに来て、仕事が終わったら帰ってもらう助っ人です。

例題：t分布の密度を導く

独立な $Z \sim N(0, 1)$、$W \sim \chi^2(k)$ について、$T = Z/\sqrt{W/k}$ の密度を導け。

【答案】

1. $(Z, W)$ の同時密度は、$\frac{1}{\sqrt{2\pi}}e^{-z^2/2} \cdot \frac{w^{k/2-1}e^{-w/2}}{2^{k/2}\Gamma(k/2)}$（$w > 0$）である
2. $t = z/\sqrt{w/k}$、$u = w$ と変換する。逆変換は $z = t\sqrt{u/k}$、$w = u$ で、ヤコビアンは $\sqrt{u/k}$ である
3. $(T, U)$ の同時密度は次のとおりである

$$f(t, u) = C\, u^{\frac{k+1}{2}-1} \exp\left\{-\frac{u}{2}\left(1 + \frac{t^2}{k}\right)\right\}, \qquad C = \frac{1}{\sqrt{2\pi k}\;2^{k/2}\,\Gamma(k/2)}$$

4. $\int_0^\infty u^{a-1} e^{-bu}\,du = \Gamma(a)/b^a$ を $a = (k+1)/2$、$b = (1 + t^2/k)/2$ で使って $u$ を積分すると、次の密度を得る

$$f_T(t) = \frac{\Gamma\!\left(\frac{k+1}{2}\right)}{\sqrt{k\pi}\;\Gamma\!\left(\frac{k}{2}\right)} \left(1 + \frac{t^2}{k}\right)^{-\frac{k+1}{2}} \qquad (-\infty < t < \infty)$$

$k = 1$ を入れると $1/\{\pi(1 + t^2)\}$ で、コーシー分布になります。検算として便利なので、答案の余白で確かめましょう。

モーメントは、密度を積分しなくても、独立性とカイ二乗分布の一般式で求まります。

$$E[T^2] = k\,E[Z^2]\,E[1/W] = \frac{k}{k-2}, \qquad E[T^4] = k^2\,E[Z^4]\,E[W^{-2}] = \frac{3k^2}{(k-2)(k-4)}$$

例えば $k = 6$ なら、分散は1.5で、$E[T^4] = 13.5$ です。4次モーメントを分散の2乗で割ると $13.5 \div 2.25 = 6$ となり、正規分布の3より大きいことが分かります。裾の厚さが、数字で確かめられました。

$k \to \infty$ の極限も、密度の極限より速い方法があります。大数の法則で $W/k \to 1$ に確率収束するので、スルツキーの補題から $T \to N(0, 1)$ と分布収束します。

最後に、t分布と標本の関係です。$Z = \sqrt{n}(\bar{X} - \mu)/\sigma$、$W = (n-1)S^2/\sigma^2$ とおくと、基本定理からこの2つは独立です。定義に入れると $\sigma$ が消えて、$\sqrt{n}(\bar{X} - \mu)/S \sim t(n-1)$ が示されます。

以上が、t分布の導出についての解説です。

F分布：ベータ分布を経由して導く

次に、F分布を導きます。t分布と同じ型ですが、途中で通るベータ分布の性質も大切なので、この経路で見ていきましょう。

F分布 $F(k_1, k_2)$ は、独立な $W_1 \sim \chi^2(k_1)$、$W_2 \sim \chi^2(k_2)$ から作る $F = (W_1/k_1)/(W_2/k_2)$ の分布でした。まず、$S = W_1 + W_2$、$B = W_1/(W_1 + W_2)$ と変換します。

ケーキを2人で分ける場面を想像してください。$S$ はケーキ全体の大きさ、$B$ は1人目の取り分の割合です。実は、ガンマ分布ではこの2つが独立になります。

$w_1 = bs$、$w_2 = (1-b)s$ のヤコビアンは $s$ です。同時密度に代入すると、$e^{-s/2}$ と $s$ のべきの部分と、$b$ の部分がきれいに分かれます。

$$f(b, s) = \underbrace{\frac{b^{k_1/2-1}(1-b)^{k_2/2-1}}{B(k_1/2,\ k_2/2)}}_{\text{Beta}(k_1/2,\ k_2/2)} \cdot \underbrace{\frac{s^{(k_1+k_2)/2-1}\, e^{-s/2}}{2^{(k_1+k_2)/2}\,\Gamma\!\left(\frac{k_1+k_2}{2}\right)}}_{\chi^2(k_1 + k_2)}$$

積に分かれたので、$B$ と $S$ は独立です。$S$ の因数からは、カイ二乗分布の再生性も同時に出ています。

あとは1変数の変換です。$F = \frac{k_2}{k_1} \cdot \frac{B}{1-B}$ なので、$b = k_1 x/(k_1 x + k_2)$、$db/dx = k_1 k_2/(k_1 x + k_2)^2$ を代入して整理します。

$$f_F(x) = \frac{1}{B(k_1/2,\ k_2/2)} \left(\frac{k_1}{k_2}\right)^{k_1/2} x^{k_1/2-1} \left(1 + \frac{k_1}{k_2}x\right)^{-(k_1+k_2)/2} \qquad (x > 0)$$

モーメントも、やはり独立性で求まります。$E[F^r] = (k_2/k_1)^r\, E[W_1^r]\, E[W_2^{-r}]$ に一般式を入れるだけです。

$$E[F] = \frac{k_2}{k_2 - 2}, \qquad E[F^2] = \frac{k_2^2\,(k_1 + 2)}{k_1 (k_2 - 2)(k_2 - 4)}$$

例えば $F(4, 10)$ なら、$E[F] = 1.25$、$E[F^2] = 3.125$ で、分散は $3.125 - 1.5625 = 1.5625$ です。

また、定義の分子と分母を入れ替えると、$1/F \sim F(k_2, k_1)$ です。ここから、F分布の下側の点は表の上側の点の逆数で求まります。

$$F_{1-\alpha}(k_1, k_2) = \frac{1}{F_{\alpha}(k_2, k_1)}$$

$F_\alpha$ は上側 $100\alpha$ %点です。自由度の順番が入れ替わる点に注意しましょう。

以上が、F分布の導出についての解説です。

応用：部品からピボットを組み立てる

最後に、3つの分布を推測にどう使うかを見ていきましょう。

標本分布の答案は、組み立て家具に似ています。部品は「標準正規変数 $Z$」「カイ二乗変数 $W$」「2つが独立である根拠」の3つです。部品がそろえば、説明書どおりに組むだけです。

【標本分布の答案の型】

1. 未知の母数を含む量を標準化して $Z$ を作る
2. 平方和を $\sigma^2$ で割って $W$ を作り、自由度を数える
3. 独立である理由を1行書く
4. t分布やF分布の定義に当てはめて、$\sigma$ のようなじゃまな母数を消す

具体的に見てみましょう。等分散の正規2標本（大きさ $m$ と $n$）で、$\mu_1 - \mu_2$ を調べます。

$$Z = \frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{\sigma\sqrt{1/m + 1/n}}, \qquad W = \frac{(m-1)S_1^2 + (n-1)S_2^2}{\sigma^2}$$

$W$ はカイ二乗分布の再生性から $\chi^2(m + n - 2)$ に従います。$\bar{X}, \bar{Y}, S_1^2, S_2^2$ は基本定理と標本の独立性から互いに独立なので、$Z$ と $W$ も独立です。したがって、$S_p^2 = W\sigma^2/(m + n - 2)$ を合併分散として、次が言えます。

$$\frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{S_p\sqrt{1/m + 1/n}} \sim t(m + n - 2)$$

分子と分母の $\sigma$ が消えたことがポイントです。せっかくなので、別の例も見てみましょう。分散の比なら、$(S_1^2/\sigma_1^2)/(S_2^2/\sigma_2^2) \sim F(m-1, n-1)$ です。定義にそのまま入れるだけで示せます。

例題：2つの指数分布の比

$X_1, \dots, X_n$ は率 $\lambda_1$ の指数分布、$Y_1, \dots, Y_m$ は率 $\lambda_2$ の指数分布に従い、すべて独立とする。(1) $\lambda_1\bar{X}/(\lambda_2\bar{Y}) \sim F(2n, 2m)$ を示せ。(2) $n = 4$、$m = 6$、$\bar{x} = 30$、$\bar{y} = 12$ のとき、$\lambda_1/\lambda_2$ の95%信頼区間を求めよ。ただし $F_{0.025}(8, 12) = 3.51$、$F_{0.025}(12, 8) = 4.20$ とする。

【答案】

1. 最初の例題より $W_1 = 2\lambda_1\sum_i X_i \sim \chi^2(2n)$、$W_2 = 2\lambda_2\sum_j Y_j \sim \chi^2(2m)$ で、2つの標本は独立なので $W_1$ と $W_2$ は独立である
2. F分布の定義より、$(W_1/2n)/(W_2/2m) = \lambda_1\bar{X}/(\lambda_2\bar{Y}) \sim F(2n, 2m)$ である
3. 下側の点は $F_{0.975}(8, 12) = 1/4.20 \approx 0.238$ である
4. $0.238 \le (\lambda_1/\lambda_2) \times 2.5 \le 3.51$ を解いて、$0.095 \le \lambda_1/\lambda_2 \le 1.40$ となる

答えは [0.095, 1.40] です。1を含むので、この区間からは2つの率が違うとは言えません。

試験のポイント：t分布やF分布に従うことを示す問題では、「独立である理由」が採点の分かれ目です。基本定理のどの部分を使ったかを、必ず1行書きましょう。

以上が、標本分布の応用についての解説です。

細かい定数を忘れてしまっても問題ありません。ここでは、「同時密度を書き、補助変数を足して変換し、積分で消す」という型だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は、カイ二乗分布、t分布、F分布を導き、正規母集団の基本定理を証明しました。3つの分布は、覚える公式ではなく、正規分布から変数変換で作り出せるものです。ルーの中身が分かれば、どんな味付けの問題が来ても対応できます。

今回のポイントを振り返りましょう。

振り返り

• カイ二乗分布はモーメント母関数で導ける。$E[W^r] = 2^r\Gamma(k/2+r)/\Gamma(k/2)$ が万能の道具になる。
• 基本定理は、ヘルマート変換で「平均係さん」と「ばらつき係さん」に分けて証明する。
• t分布は補助変数を足して変換し、積分で消して導く。
• F分布はベータ分布を経由して導ける。全体の大きさと取り分の割合は独立になる。
• 答案では $Z$、$W$、独立性の根拠の3部品をそろえて、定義に当てはめる。

キーワードのおさらい

• 標本分布: 統計量が従う確率分布
• カイ二乗分布: 独立な標準正規変数の2乗和の分布。形状 $k/2$、尺度2のガンマ分布
• t分布: $Z/\sqrt{W/k}$ の分布。$Z$ と $W$ は独立
• F分布: $(W_1/k_1)/(W_2/k_2)$ の分布。$W_1$ と $W_2$ は独立
• ヘルマート変換: 第1行が標本平均に対応する直交変換
• ピボット: 未知の母数を含むが、分布が母数によらない量

さて、ここまでは統計量の分布を調べてきました。では、どんな統計量を作れば、データの情報を失わずに済むのでしょうか？

次回は、十分統計量の定義と分解定理の証明、そして順序統計量について紹介します。

それでは、次の記事へ進んでいきましょう。