統計学 学習ノート

はじめに

「$t$ 検定の式は覚えた。でも『尤度比検定として導出せよ』と言われたら？」

準1級では、$\sigma$ を打ち消す仕組みとして $t$ 統計量を学びました。分子と分母の $\sigma$ が消える、という見事な仕掛けでした。でも、見事すぎて不思議に感じませんか？ 誰かがうまい式を思いついた、という印象が残りますよね。

実は、$t$ 検定も、分散のカイ二乗検定も、分散比の $F$ 検定も、複数の平均を比べる $F$ 検定も、思いつきではありません。前回の尤度比検定を正規分布に当てはめて、式を整理すると、必然的に出てきます。

そこで登場するのが、今回の主役 平均値と分散に関する検定 と 複数の平均に関する検定 の導出です。正規分布の検定を、尤度比という1つの原理から組み立て直します。

前回の記事では、尤度比検定の考え方とウィルクスの定理を学びました。今回の記事では、尤度比の計算を最後まで実行し、正確な分布を導き、棄却域の切り方の違いまで解説します。

母平均の検定：尤度比から t を導く

はじめに、最も基本の $t$ 検定を導きます。

$X_1, \ldots, X_n$ が $N(\mu, \sigma^2)$ に独立に従い、$\sigma^2$ は未知とします。$H_0: \mu = \mu_0$ 対 $H_1: \mu \ne \mu_0$ を検定しましょう。$\sigma^2$ は局外パラメータです。

例えるなら、基準の位置に定規を当てたときの「ばらつきの見え方」の比較です。$H_0$ を押しつけると、ばらつきは基準 $\mu_0$ のまわりで測ることになります。自由なら、データの中心 $\bar{x}$ のまわりで測れます。もし $\mu_0$ が真の値から遠ければ、基準から測ったばらつきだけが、余計に膨らんで見えます。尤度比は、この膨らみを測る道具です。

例題：尤度比検定から t 検定を導く

上の設定で、(1) 尤度比 $\lambda$ を $t = \sqrt{n}(\bar{x} - \mu_0)/s$ で表せ。ただし $s^2 = S/(n - 1)$、$S = \sum_i (x_i - \bar{x})^2$ とする。(2) 尤度比検定が両側 $t$ 検定と同値であることを示せ。

【解答】

(1) 対数尤度は次の式である。

$$\ell(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2$$

$\mu$ を固定して $\sigma^2$ で最大化すると、$\sigma^2 = \sum_i (x_i - \mu)^2 / n$ で、そのときの尤度は $(2\pi\sigma^2)^{-n/2} e^{-n/2}$ である。したがって、最大尤度の比は、分散の推定値の比だけで決まる。

全体での最尤推定値は $\hat{\mu} = \bar{x}$、$\hat{\sigma}^2 = S/n$ である。$H_0$ のもとでは $\tilde{\sigma}^2 = \sum_i (x_i - \mu_0)^2 / n$ である。平方和の分解 $\sum_i (x_i - \mu_0)^2 = S + n(\bar{x} - \mu_0)^2$ を使うと、次の式を得る。

$$\lambda = \left(\frac{\hat{\sigma}^2}{\tilde{\sigma}^2}\right)^{n/2} = \left(\frac{S}{S + n(\bar{x} - \mu_0)^2}\right)^{n/2} = \left(1 + \frac{t^2}{n - 1}\right)^{-n/2}$$

(2) $\lambda$ は $|t|$ の狭義減少関数なので、「$\lambda < c$」は「$|t| > c'$」と同値である。$H_0$ のもとで $t$ は自由度 $n - 1$ のt分布に従うので、$c' = t_{\alpha/2}(n - 1)$ とすれば大きさ $\alpha$ の検定になる。これは両側 $t$ 検定である。

ここがポイントです。$\sigma^2$ を最大化で処理しただけで、$\sigma$ の消えた統計量が自然に現れました。局外パラメータは、打ち消すのではなく、最大化で消えていたのです。

漸近分布と正確な分布の差

では、ウィルクスの定理との関係を見ましょう。上の式から、$-2\log\lambda$ は次のように書けます。

$$-2\log\lambda = n\log\left(1 + \frac{t^2}{n - 1}\right)$$

$n$ が大きいと $\log(1 + u) \approx u$ なので、これは $t^2$ に近づきます。$t$ は標準正規分布に近づくので、$\chi^2(1)$ に近づくわけです。

具体的に見てみましょう。$n = 10$、$\bar{x} = 52.4$、$s = 3.0$、$\mu_0 = 50$ とします。$t = 2.4 \div (3 / \sqrt{10}) = 2.53$ で、$t_{0.025}(9) = 2.262$ より棄却です。一方で、$-2\log\lambda = 10\log(1 + 6.4/9) = 5.37$ です。

ここで、もしカイ二乗近似の3.84を境目に使うと、どうなるでしょうか？ 3.84は $|t| > 2.05$ に対応します。本当の大きさを $t$ 分布で計算すると、次のようになります。

$n$	5	10	30	100
実際の大きさ	0.098	0.070	0.056	0.052

名目5%のはずが、$n = 10$ では7%です。正確な分布が分かるなら、近似を使う理由はありません。$t$ 検定の価値は、「尤度比検定の、小標本でも正確な形」である点にあります。

補足（ここは読み飛ばしてOK）： $\sigma$ 既知の片側 $z$ 検定は一様最強力でした。$\sigma$ 未知の片側 $t$ 検定は一様最強力ではありませんが、一様最強力不偏検定であることが知られています。検出力の計算に非心t分布を使う点は、準1級で学んだとおりです。

以上が、母平均の検定の導出についての解説です。

母分散の検定：棄却域の切り方は3通りある

次に、分散の検定について説明します。

$H_0: \sigma^2 = \sigma_0^2$ 対 $H_1: \sigma^2 \ne \sigma_0^2$ を、$\mu$ 未知で検定します。$\mu$ が局外パラメータです。分子も分母も $\hat{\mu} = \bar{x}$ で最大化されるので、$S$ だけが残ります。$v = \hat{\sigma}^2 / \sigma_0^2 = S / (n\sigma_0^2)$ とおいて計算すると、次の式になります。

$$-2\log\lambda = n\,(v - 1 - \log v)$$

$h(v) = v - 1 - \log v$ は $v = 1$ で最小値0をとる凸関数です。したがって、尤度比検定は「$v$ が1から離れすぎたら棄却」、つまり $Q = S/\sigma_0^2$ が小さすぎるか大きすぎるときに棄却します。$H_0$ のもとで、$Q \sim \chi^2(n - 1)$ です。

問題はここからです。受容域 $[c_1, c_2]$ の端をどう選ぶかです。体温計の検品に例えると、「低すぎ」と「高すぎ」の不良の判定に、合わせて5%の枠を、どう配分するかという話です。3つの流儀があります。

【棄却域の3つの切り方】

1. 等裾： 両側に $\alpha/2$ ずつ配分する
2. 尤度比： $h$ の値が等しい点で切る。条件は $c_1 - n\log c_1 = c_2 - n\log c_2$
3. 不偏： 検出力関数が $\sigma^2 = \sigma_0^2$ で最小になるように切る

3つ目の条件を導きましょう。

例題：不偏な棄却域の条件

$Q = S/\sigma_0^2$ の受容域を $[c_1, c_2]$ とする。$\nu = n - 1$ として、(1) $r = \sigma^2/\sigma_0^2$ の関数として検出力関数を書け。(2) 検出力関数が $r = 1$ で停留するための条件を導け。

【解答】

(1) $S/\sigma^2 = Q/r \sim \chi^2(\nu)$ である。$\chi^2(\nu)$ の分布関数を $G$、密度を $g$ とすると、次の式である。

$$\pi(r) = 1 - \left\{G\!\left(\frac{c_2}{r}\right) - G\!\left(\frac{c_1}{r}\right)\right\}$$

(2) 微分して $r = 1$ を代入すると、$\pi'(1) = c_2 g(c_2) - c_1 g(c_1)$ である。これが0なので、$c_1 g(c_1) = c_2 g(c_2)$ が条件である。$g(c) \propto c^{\nu/2 - 1} e^{-c/2}$ を代入して対数をとると、次の式を得る。

$$c_1 - \nu\log c_1 = c_2 - \nu\log c_2$$

尤度比の条件と見比べてください。$n$ が $\nu = n - 1$ に変わっただけです。$n = 11$、$\alpha = 0.05$ で実際に解くと、次のようになります。

切り方	$c_1$	$c_2$	左裾	右裾	$\pi(0.9)$	$\pi(1.1)$
等裾	3.25	20.48	0.025	0.025	0.048	0.063
尤度比	3.77	24.23	0.043	0.007	0.064	0.046
不偏	3.52	21.73	0.033	0.017	0.056	0.055

表の見方を説明します。$\pi(0.9)$ は、真の分散が基準の0.9倍のときの検出力です。等裾では0.048で、$\alpha = 0.05$ を下回ります。つまり、等裾検定は不偏ではありません。尤度比の切り方は逆に、$\pi(1.1)$ が0.05を下回ります。不偏の切り方だけが、どちらの側でも0.05を上回ります。

例えば、$n = 11$、$\sigma_0^2 = 4$、$S = 84$ なら $Q = 21$ です。等裾では $21 > 20.48$ で棄却しますが、尤度比と不偏では棄却しません。同じデータで判定が分かれるのです。ただし、試験や実務の既定は等裾です。3つの違いは $n$ が大きいと消えていきます。

試験のポイント：「尤度比検定の棄却域を求めよ」では、等裾と書かずに $h(v)$ の形を示します。数値が指定されて「両側に等しく配分する」とあるときだけ、等裾です。

以上が、母分散の検定についての説明です。

2標本問題：分散比の F とウェルチの自由度

続いて、2つの正規母集団の比較を解説します。

1つずつ見ていきましょう。

1. 分散の比の検定

$H_0: \sigma_1^2 = \sigma_2^2$ の尤度比を計算します。平均はどちらも標本平均で最大化されます。各群の偏差平方和を $S_1, S_2$、$n = n_1 + n_2$ とします。全体の最尤推定値は $S_i / n_i$、$H_0$ のもとでは共通の値 $(S_1 + S_2)/n$ です。比を計算すると、$B = S_1/(S_1 + S_2)$ を使って次の形になります。

$$\lambda = \frac{n^{n/2}}{n_1^{n_1/2}\, n_2^{n_2/2}}\; B^{n_1/2}(1 - B)^{n_2/2}$$

$B^{n_1/2}(1 - B)^{n_2/2}$ は $B = n_1/n$ で最大になる山の形です。したがって、$B$ が小さすぎるか大きすぎるときに棄却します。

$B$ は $F = \dfrac{S_1/(n_1 - 1)}{S_2/(n_2 - 1)}$ の増加関数なので、「$F$ の両側で棄却」と同じです。$H_0$ のもとで $F$ は $F(n_1 - 1, n_2 - 1)$ に従います。これが分散比の $F$ 検定の出どころです。

2. ウェルチの自由度の導出

次は、平均の差です。分散が等しいなら、次の節の $k = 2$ の場合として2標本 $t$ 検定が導けます。問題は分散が違うときです。準1級で学んだとおり、$\sigma_1^2/\sigma_2^2$ が局外パラメータとして残り、統計量の分布が定まりません。ベーレンス・フィッシャー問題と呼ばれる難問です。

例えるなら、精度の違う2台の体重計の結果を混ぜて、誤差を見積もるようなものです。精度の悪い1台の誤差が全体を支配するので、データの実質の量は、見かけより少なくなります。

ウェルチの検定は、分母を近似的にカイ二乗分布に合わせることで、これを解決します。

$$V = \frac{S_1^2}{n_1} + \frac{S_2^2}{n_2}$$

ここでの $S_i^2$ は不偏分散です。$\nu V / E[V]$ が $\chi^2(\nu)$ に近いと考えて、$\nu$ を分散が一致するように決めます。これをサタスウェイトの近似と呼びます。

$\chi^2(\nu)$ の分散は $2\nu$ なので、$\nu^2\, \mathrm{Var}(V) / E[V]^2 = 2\nu$ より、$\nu = 2E[V]^2 / \mathrm{Var}(V)$ です。$\mathrm{Var}(S_i^2) = 2\sigma_i^4/(n_i - 1)$ を代入し、$a_i = \sigma_i^2 / n_i$ と書くと、次の式を得ます。

$$\nu = \frac{(a_1 + a_2)^2}{\dfrac{a_1^2}{n_1 - 1} + \dfrac{a_2^2}{n_2 - 1}}$$

実際には $a_i$ に $s_i^2 / n_i$ を代入します。$a_1$ が $a_2$ より十分に大きければ、$\nu$ は $n_1 - 1$ に近づきます。精度の悪い群のデータの量で、自由度が決まるわけです。

例題：等分散の仮定で結論が変わる

$n_1 = 6$、$\bar{x}_1 = 30$、$s_1^2 = 25$、$n_2 = 15$、$\bar{x}_2 = 25$、$s_2^2 = 4$ である。平均の差の検定を、(1) 等分散を仮定した $t$ 検定と、(2) ウェルチの検定で行え。有意水準は両側5%で、$t_{0.025}(19) = 2.093$、$t_{0.025}(5.65) = 2.484$ とする。

【解答】

(1) プールした分散は $(5 \times 25 + 14 \times 4) \div 19 = 9.53$ である。$t = 5 \div \sqrt{9.53(1/6 + 1/15)} = 3.35$ で、$3.35 > 2.093$ より棄却する。

(2) $a_1 = 25 \div 6 = 4.167$、$a_2 = 4 \div 15 = 0.267$ である。$t = 5 \div \sqrt{4.433} = 2.37$ である。自由度は $\nu = 4.433^2 \div (4.167^2/5 + 0.267^2/14) = 5.65$ である。$2.37 < 2.484$ より棄却しない。

結論が逆になりました。標本の小さい群の分散が大きいとき、等分散の検定は誤差を小さく見積もります。見かけの自由度19に対し、実質の自由度は5.65しかないのです。

以上が、2標本問題についての解説です。

複数の平均に関する検定：F はこうして生まれる

最後に、$k$ 個の平均を同時に比べる検定を見ていきましょう。

$k$ 個の群があり、$i$ 群の $j$ 番目の値を $X_{ij} \sim N(\mu_i, \sigma^2)$ とします。$n_i$ は群の大きさ、$n = \sum_i n_i$ です。$H_0: \mu_1 = \cdots = \mu_k$ の尤度比を求めます。

$\mu$ の場合と同じ計算で、最大尤度の比は分散の推定値の比で決まります。全体では $\hat{\sigma}^2 = S_W / n$、$H_0$ のもとでは $\tilde{\sigma}^2 = S_T / n$ です。$S_W$ は群内平方和、$S_T$ は全平方和で、群間平方和 $S_B$ と $S_T = S_B + S_W$ の関係があります。

$$\lambda^{2/n} = \frac{S_W}{S_T} = \left(1 + \frac{k - 1}{n - k}\,F\right)^{-1}, \qquad F = \frac{S_B/(k - 1)}{S_W/(n - k)}$$

$\lambda$ は $F$ の減少関数なので、$F$ が大きいときに棄却します。$k = 2$ なら $S_B = \frac{n_1 n_2}{n_1 + n_2}(\bar{x}_1 - \bar{x}_2)^2$ なので、$F$ は等分散の2標本 $t$ 統計量の2乗です。

では、なぜ $F$ は $F(k - 1, n - k)$ に従うのでしょうか？ 証明の鍵は、座標軸の取り替えです。部屋の中の物の位置は、座標軸を回しても変わりません。同じように、データのベクトルを都合のよい座標で見直します。

データを $n$ 次元のベクトル $X$ とします。$X$ の平均ベクトルを $\mu$ とします。$\mathbb{R}^n$ の正規直交基底 $q_1, \ldots, q_n$ を、次のように選びます。

【基底の選び方】

• $q_1$： すべての成分が等しいベクトル（全体の平均の方向）
• $q_1, \ldots, q_k$： 合わせて「群ごとに一定のベクトル」の空間を張る
• $q_{k+1}, \ldots, q_n$： 残りの直交補空間を張る

$Z_j = q_j^\top X$ とおくと、正規直交変換なので $Z_1, \ldots, Z_n$ は互いに独立で、分散はどれも $\sigma^2$ です。群平均のベクトルは $X$ の $q_1, \ldots, q_k$ の空間への射影で、全体平均のベクトルは $q_1$ への射影です。したがって、ピタゴラスの定理より、次の式が成り立ちます。

$$S_B = \sum_{j=2}^{k} Z_j^2, \qquad S_W = \sum_{j=k+1}^{n} Z_j^2$$

ここがポイントです。$S_B$ と $S_W$ は別々の $Z_j$ でできているので、独立です。$\mu$ は群ごとに一定なので、$j > k$ で $E[Z_j] = 0$ です。よって、$S_W/\sigma^2 \sim \chi^2(n - k)$ です。$H_0$ のもとでは $\mu$ が $q_1$ の方向にあるので、$2 \le j \le k$ でも $E[Z_j] = 0$ です。よって、$S_B/\sigma^2 \sim \chi^2(k - 1)$ です。比をとると、$F \sim F(k - 1, n - k)$ です。

$H_1$ のもとでは、$S_B/\sigma^2$ が非心カイ二乗分布に従います。非心度は $\mu$ の射影の長さの2乗を $\sigma^2$ で割った値で、次の式です。$\bar{\mu} = \sum_i n_i\mu_i / n$ です。

$$\delta^2 = \frac{1}{\sigma^2}\sum_{i=1}^{k} n_i(\mu_i - \bar{\mu})^2$$

検出力は、非心F分布 $F(k - 1, n - k; \delta^2)$ で計算します。例えば、$k = 3$、各群5個、$\mu = (10, 12, 14)$、$\sigma = 2$ なら、$\delta^2 = 5 \times 8 \div 4 = 10$ です。$F_{0.05}(2, 12) = 3.89$ を超える確率を計算すると、検出力は約0.70です。

例題：大きさの違う3群の比較

3つの群のデータが次のとおりである。$F$ 統計量と尤度比 $\lambda^{2/n}$ を求め、有意水準5%で検定せよ。$F_{0.05}(2, 9) = 4.26$ とする。

群	データ	平均
A	8, 10, 12, 10	10
B	13, 15, 14	14
C	9, 11, 10, 8, 12	10

【解答】

全体の平均は $(40 + 42 + 50) \div 12 = 11$ である。$S_B = 4 \times 1 + 3 \times 9 + 5 \times 1 = 36$ である。$S_W = 8 + 2 + 10 = 20$ である。

$F = (36 \div 2) \div (20 \div 9) = 8.1$ である。$8.1 > 4.26$ なので、$H_0$ を棄却する。

尤度比は $\lambda^{2/n} = 20 \div 56 = 0.357$ である。公式で確かめると、$1 \div (1 + 2 \times 8.1 \div 9) = 0.357$ で一致する。

補足（ここは読み飛ばしてOK）： この検定は等分散が前提です。$k$ 群の分散が等しいという仮説の尤度比検定を修正したものが、バートレット検定です。分散の検定なので、正規性からのずれに弱い点に注意します。

試験のポイント：$S_B$ と $S_W$ の独立性は、「直交する部分空間への射影である」と述べれば答案になります。自由度は部分空間の次元です。

以上が、複数の平均に関する検定についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「最大尤度の比は分散の推定値の比になる」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は正規分布の主な検定を、尤度比という1つの原理から導きました。どの検定も、局外パラメータを最大化で処理すると、分散の推定値の比に行き着きます。そして、その比が $t$ や $F$ の単調な関数になるので、正確な分布が使えます。思いつきに見えた式は、すべて1本の道の上にあったのです。

今回のポイントを振り返りましょう。

振り返り

• 尤度比は $\lambda = (1 + t^2/(n - 1))^{-n/2}$ で、$t$ 検定と同値。カイ二乗近似は小標本では甘くなる。
• 分散の検定の統計量は $n(v - 1 - \log v)$。等裾、尤度比、不偏の3つで切り方が違う。
• 分散比の検定は、$B$ の山の形から $F$ の両側検定になる。
• ウェルチの自由度は、分散を合わせるサタスウェイトの近似から導ける。
• $k$ 群の尤度比は $S_W / S_T$ で決まる。$S_B$ と $S_W$ の独立性は、直交する部分空間への射影から出る。

キーワードのおさらい

• 平均値と分散に関する検定: $t$ 検定、カイ二乗検定、$F$ 検定。すべて尤度比検定から導ける
• 複数の平均に関する検定: $k$ 群の平均が等しいかを、$F$ 統計量で調べる検定
• 局外パラメータ: 興味はないが、モデルに含まれる母数
• サタスウェイトの近似: 分散の一致でカイ二乗分布に当てはめて、自由度を決める方法
• 非心度: 検出力の計算に使う、平均のずれの大きさを表す量

さて、ここまでは正規分布の世界でした。でも、データはいつも正規分布に従うとは限りません。回数のデータ、分類のデータ、分布の形が分からないデータはどう検定するのでしょうか？

次回は、二項分布・ポアソン分布の検定から適合度検定、ノンパラメトリック検定までを導く「種々の検定法」について紹介します。

それでは、次の記事へ進んでいきましょう。