統計学 学習ノート

はじめに

平均か中央値か最大値か。検定には上手下手がある

「検定統計量って、いったい誰がどうやって決めたの？」

2級までの検定では、$z$ や $t$ の式が最初から用意されていました。その式に数値を入れれば、答えは出ます。でも、なぜ標本平均を使うのでしょうか？ 中央値でも、最大値でも、検定は作れそうですよね。

実は、有意水準をそろえても、検定には上手下手があります。同じ5%の危険を引き受けるなら、差があるときに見抜ける確率、つまり検出力は高いほどよいはずです。そして、どの検定が最も強力かは、勘ではなく定理で決まります。

そこで登場するのが、今回の主役 ネイマン・ピアソンの基本定理 です。最も強力な検定の作り方を教えてくれる定理です。さらに、この定理が使えない場面のために、尤度から検定を作る2つの型、ワルド型検定 と スコア検定 も用意されています。

前回の記事では、検出力やサンプルサイズの決め方を学びました。今回の記事では、検定統計量がどこから来るのかを、導出までさかのぼって解説します。

最も強力な検定とは何か

同じ大きさ0.10でも、買い方しだいで検出力は2.5倍違う

はじめに、「よい検定」の基準について解説します。

結論を一言で言うと、よい検定とは、第一種の過誤の確率を $\alpha$ 以下に抑えたうえで、検出力が最大の検定 です。誤って棄却する危険に上限を決め、その範囲で最大の成果を狙います。

例えるなら、限られた予算で買い物をするようなものです。予算が有意水準 $\alpha$、買った品物の満足度が検出力です。予算を超えてはいけません。予算の中で、満足度が最大になる買い方を探します。

まず、言葉を整えましょう。パラメータの値を1点に指定する仮説を 単純仮説、$\mu > 50$ のように幅を持つ仮説を 複合仮説 と呼びます。

【よい検定の呼び名】

• 最強力検定： 単純仮説どうしの検定で、大きさ $\alpha$ の検定の中で検出力が最大のもの
• 一様最強力検定： 複合対立仮説のすべての点で、同時に検出力が最大のもの

検定の 大きさ とは、帰無仮説のもとで棄却する確率のことです。

具体的に見てみましょう。ある製品の検査結果 $X$ は a〜e の5段階で、正常な工程と異常な工程では、確率が次のように違うとします。1回の観測で「異常」を検出したいとします。

検査結果	a	b	c	d	e
$H_0$（正常）の確率	0.50	0.30	0.10	0.06	0.04
$H_1$（異常）の確率	0.10	0.20	0.20	0.24	0.26

有意水準10%の棄却域を作ります。候補は2つあります。

【2つの棄却域】

• 棄却域 $\{c\}$： 大きさ0.10、検出力0.20
• 棄却域 $\{d, e\}$： 大きさ0.06 + 0.04 = 0.10、検出力0.24 + 0.26 = 0.50

どちらも大きさは同じ0.10です。それなのに、検出力は2.5倍も違います。同じ予算でも、買い方しだいで満足度はこれほど変わるのです。

以上が、よい検定の基準についての解説です。

ネイマン・ピアソンの基本定理

尤度比の高い順に、予算いっぱいまで棄却域に入れる

次に、最強力検定の作り方を説明します。

先ほどの表で、$H_1$ の確率を $H_0$ の確率で割ってみましょう。a から順に、0.2、0.67、2、4、6.5 です。この比が大きい結果ほど、「異常のほうが説明しやすい」結果です。買い物で言えば、値段のわりに満足度が高い品物です。

答えは単純です。費用対効果の高い順に、予算いっぱいまで買う。これが定理の中身です。e を買い、d を買うと、予算の0.10を使い切ります。これが棄却域 $\{d, e\}$ でした。

式で書きましょう。$H_0: \theta = \theta_0$ と $H_1: \theta = \theta_1$ がどちらも単純仮説のとき、尤度の比を次のように定めます。

$$\Lambda(x) = \frac{L(\theta_1; x)}{L(\theta_0; x)}$$

ネイマン・ピアソンの基本定理 は、次の主張です。

$$\text{棄却域 } R = \{x : \Lambda(x) > c\}, \qquad P_{\theta_0}(X \in R) = \alpha$$

この形の検定は、大きさ $\alpha$ 以下のすべての検定の中で、検出力が最大になります。

$L(\theta; x)$ はデータ $x$ のもとでの尤度、$c$ は大きさがちょうど $\alpha$ になるように決める定数です。言葉で言うと、「$H_1$ のほうが $H_0$ より何倍もらしいか」が一定以上なら棄却する、ということです。

証明の要点

証明は短いので、筋道を見ておきましょう。$R$ を定理の棄却域、$R'$ を大きさ $\alpha$ 以下の別の棄却域とします。密度を $f_0$、$f_1$ とします。

2つの棄却域に共通の部分は差に効かないので、違う部分だけを比べます。

$$P_1(R) - P_1(R') = P_1(R \setminus R') - P_1(R' \setminus R)$$

$R$ の中では $f_1 \geq c f_0$、$R$ の外では $f_1 \leq c f_0$ です。これを使うと、次のように評価できます。

$$P_1(R \setminus R') - P_1(R' \setminus R) \geq c\{P_0(R \setminus R') - P_0(R' \setminus R)\} = c\{P_0(R) - P_0(R')\} \geq 0$$

最後の不等号は、$P_0(R) = \alpha \geq P_0(R')$ だからです。つまり、$R$ から品物を返して別の品物に買い替えると、必ず費用対効果が下がる、というのが証明の中身です。

補足（ここは読み飛ばしてOK）： 離散型の分布では、$\Lambda > c$ の棄却域の大きさが、ちょうど $\alpha$ にならないことがあります。このとき、境目の値が出たら確率 $\gamma$ で棄却する 確率化検定 を使うと、大きさを $\alpha$ にそろえられます。理論上の道具で、実務ではほとんど使いません。

例題：正規分布の平均の最強力検定

$X_1, \ldots, X_{25}$ が $N(\mu, 10^2)$ に独立に従うとします。$H_0: \mu = 50$ と $H_1: \mu = 53$ の、有意水準5%の最強力検定を導き、検出力を求めましょう。

【解き方】

1. 尤度比の対数をとる： 正規分布の密度を代入して整理すると、次の式になる

$$\log \Lambda = \frac{1}{\sigma^2}\left\{(\mu_1 - \mu_0)\sum_{i=1}^{n} x_i - \frac{n(\mu_1^2 - \mu_0^2)}{2}\right\}$$

2. $\mu_1 > \mu_0$ なので、$\Lambda$ は $\bar{x}$ の増加関数である。「$\Lambda > c$」は「$\bar{x} > k$」と同じ
3. $H_0$ のもとで $\bar{X} \sim N(50, 2^2)$ なので、$k = 50 + 1.645 \times 2 = 53.29$
4. 検出力は、$\mu = 53$ のもとで $\bar{X} > 53.29$ となる確率： $P(Z > (53.29 - 53) \div 2) = P(Z > 0.145) = 0.442$

答えは「$\bar{x} > 53.29$ なら棄却、検出力は約0.44」です。2級で学んだ片側の $z$ 検定は、最強力検定だったのです。ここで標本平均が選ばれたのは、慣習ではなく定理の結論です。

例題：指数分布の最強力検定

別の分布でも試してみましょう。機械の故障間隔が、密度 $f(x) = \lambda e^{-\lambda x}$ の指数分布に従うとします。5回の観測で、$H_0: \lambda = 1$ と $H_1: \lambda = 2$ の、有意水準5%の最強力検定を求めましょう。

【解き方】

1. 尤度比を計算する： $\Lambda = 2^5 e^{-\sum x_i}$
2. $\Lambda$ は $\sum x_i$ の減少関数なので、棄却域は「$\sum x_i < k$」の形になる
3. $H_0$ のもとで $2\sum X_i$ は自由度10のカイ二乗分布に従う。下側5%点は3.94
4. $2k = 3.94$ より、$k = 1.97$

答えは「5回の故障間隔の合計が1.97未満なら棄却」です。$\lambda$ が大きいほど故障間隔は短いので、合計が小さいときに棄却するのは、直感とも合っています。

$\lambda = 2$ のもとでは $4\sum X_i$ が同じ分布に従うので、検出力は自由度10のカイ二乗分布で7.88以下となる確率、約0.36です。

片側検定と一様最強力検定

例題の棄却域 $\bar{x} > 53.29$ をもう一度見てください。式の中に $\mu_1 = 53$ が残っていません。$\mu_1$ が54でも60でも、$\mu_1 > 50$ である限り、同じ棄却域が最強力です。

つまり、片側の対立仮説 $H_1: \mu > 50$ に対して、この検定は一様最強力検定です。尤度比がある統計量の単調な関数になる分布の族では、同じことが成り立ちます。この性質を 単調尤度比 と呼びます。

一方で、両側の対立仮説には、一様最強力検定は一般にありません。$\mu > 50$ に最強力な検定は右側を棄却し、$\mu < 50$ に最強力な検定は左側を棄却するので、両方を同時に満たせないからです。

試験のポイント：単純仮説どうしの最強力検定は、尤度比の形を整理して「どの統計量が大きい（小さい）ときに棄却か」を導きます。定数 $c$ は、その統計量の $H_0$ のもとの分布で決めます。

以上が、ネイマン・ピアソンの基本定理についての説明です。

ワルド型検定：推定値と基準の距離を測る

ワルド型検定は、山頂と基準の距離を測る

続いて、ワルド型検定について解説します。

ネイマン・ピアソンの基本定理は強力ですが、弱点があります。扱えるのは基本的に単純仮説どうしで、一様最強力検定がないと行き詰まります。分布が複雑だと、統計量の正確な分布も分かりません。

そこで、標本が大きいときに使える、汎用の検定を作ります。材料は、最尤推定量の漸近正規性です。推定量の漸近的性質の記事で学んだとおり、大きさ $n$ の標本のフィッシャー情報量を $I(\theta)$ とすると、最尤推定量 $\hat{\theta}$ は次の分布に近づきます。

$$\hat{\theta} \approx N\!\left(\theta,\ \frac{1}{I(\theta)}\right)$$

$H_0: \theta = \theta_0$ が正しければ、$\hat{\theta}$ は $\theta_0$ の近くにあるはずです。そこで、「推定値と基準の距離が、標準誤差の何本分か」を測ります。これが ワルド型検定 です。

$$W = (\hat{\theta} - \theta_0)^2\, I(\hat{\theta})$$

標本が大きいとき、$H_0$ のもとで $W$ は自由度1のカイ二乗分布に近づきます。平方根をとった $\sqrt{W}$ を標準正規分布と比べても同じです。

ここがポイントです。分散を、最尤推定値 $\hat{\theta}$ で評価します。回帰の出力で見慣れた「係数 ÷ 標準誤差」は、まさにこの形です。

例えば、コインを100回投げて、表が60回出たとします。$H_0: p = 0.5$ を検定しましょう。

ベルヌーイ試行の $n$ 回分のフィッシャー情報量は $I(p) = n / \{p(1-p)\}$ です。これを $\hat{p} = 0.6$ で評価します。

$$W = \frac{(0.6 - 0.5)^2}{0.6 \times 0.4 \div 100} = 4.17$$

$\chi^2_{0.05}(1) = 3.84$ を超えるので、$H_0$ を棄却します。

補足（ここは読み飛ばしてOK）： パラメータが $r$ 個のベクトルのときは、$W = (\hat{\theta} - \theta_0)^{\top} I(\hat{\theta})(\hat{\theta} - \theta_0)$ が自由度 $r$ のカイ二乗分布に近づきます。

以上が、ワルド型検定についての解説です。

スコア検定：基準の地点で坂の傾きを測る

スコア検定は、基準の地点で足元の傾きを測る

最後に、スコア検定と、2つの型の比べ方を見ていきましょう。

ワルド型検定は、まず山頂 $\hat{\theta}$ を見つけてから、基準 $\theta_0$ までの距離を測りました。スコア検定は発想が逆です。山頂を探さず、基準の地点に立って足元の傾きを測ります。

対数尤度を、$\theta$ を横軸にした山だと考えてください。$\theta_0$ が山頂の近くなら、足元はほぼ平らです。山頂から遠ければ、足元は急な坂になります。この傾きを スコア関数 と呼びます。

$$U(\theta) = \frac{\partial}{\partial \theta} \log L(\theta)$$

スコア関数には、便利な性質があります。真の $\theta$ のもとで、平均は0、分散はフィッシャー情報量 $I(\theta)$ です。そこで、傾きが物差し何本分かを測ります。これが スコア検定 です。

$$S = \frac{U(\theta_0)^2}{I(\theta_0)}$$

$H_0$ のもとで、$S$ は標本が大きいとき自由度1のカイ二乗分布に近づきます。ラグランジュ乗数検定と呼ばれることもあります。

ここがポイントです。式の中に $\hat{\theta}$ が出てきません。$H_0$ の値だけで計算できるのです。

例題：比率のスコア検定

先ほどのコインで、スコア検定を導いてみましょう。

【解き方】

1. 対数尤度を書く： $\log L(p) = x \log p + (n - x)\log(1 - p)$
2. 微分する： $U(p) = \dfrac{x}{p} - \dfrac{n - x}{1 - p} = \dfrac{x - np}{p(1 - p)}$
3. フィッシャー情報量を使う： $I(p) = \dfrac{n}{p(1 - p)}$
4. $S$ を整理する： $S = \dfrac{U(p_0)^2}{I(p_0)} = \dfrac{(x - np_0)^2}{np_0(1 - p_0)}$
5. 数値を入れる： $S = (60 - 50)^2 \div (100 \times 0.5 \times 0.5) = 4.00$

答えは $S = 4.00$ で、3.84を超えるので棄却です。

見覚えのある形が出てきました。$\sqrt{S} = 2.00$ は、2級で学んだ母比率の検定の $z$ です。分母に $p_0$ を使うあの検定は、スコア検定だったのです。

2つの型の比べ方

ワルド型検定とスコア検定は、同じ山を別の場所から測っています。

	測るもの	分散を評価する場所	計算に必要なもの
ワルド型検定	山頂と基準の距離	$\hat{\theta}$	制限なしの最尤推定
スコア検定	基準の地点の傾き	$\theta_0$	$H_0$ のもとの推定

標本が大きいと、2つの値は近づきます。でも、標本が小さいと結論が割れることがあります。

具体的に見てみましょう。1日のクレーム件数がポアソン分布に従うとして、20日間の平均が2.7件でした。$H_0: \lambda = 2$ を有意水準5%で調べます。$I(\lambda) = n / \lambda$ なので、次のようになります。

【2つの統計量】

• ワルド型： $W = 0.7^2 \times 20 \div 2.7 = 3.63$（棄却しない）
• スコア： $S = 0.7^2 \times 20 \div 2 = 4.90$（棄却する）

違いは、分散を $\lambda = 2.7$ で測るか、$\lambda = 2$ で測るかだけです。それだけで、3.84の両側に分かれました。

使い分けの目安は次のとおりです。

【使い分け】

• ワルド型検定： モデルを推定した後なら、出力の係数と標準誤差だけで計算できる
• スコア検定： 複雑なモデルを推定しなくても、$H_0$ のモデルだけで「項を足す価値があるか」を調べられる

ワルド型検定には、弱点もあります。同じ仮説でも、$\theta$ を $\log \theta$ に置き換えるなど、パラメータの表し方を変えると $W$ の値が変わるのです。スコア検定には、この問題はありません。

試験のポイント：比率の検定で、分母に $p_0$ を使えばスコア型、$\hat{p}$ を使えばワルド型です。どちらの値で分散を評価するかが、2つの型の違いです。

なお、もう1つ、山頂と基準の「高さの差」を測る検定があります。それが尤度比検定で、2つ先の記事で学びます。

以上が、スコア検定と2つの型の比べ方についての説明です。

細かい式変形が分からなかったとしても問題ありません。ここでは、「最強力検定は尤度比で決まる」「大標本の検定は、山の距離か傾きを測る」という点だけ押さえておきましょう。

今回のまとめ

尤度比の順に買う、山の距離を測る、足元の傾きを測る

それでは、今回の内容を振り返ります。

今回は検定統計量がどこから来るのかを紹介しました。$z$ や $t$ の式は、誰かが適当に決めたものではありません。尤度という1つの材料から、最強力検定や大標本の検定が導かれていたのです。

今回のポイントを振り返りましょう。

振り返り

• よい検定とは、大きさを $\alpha$ に抑えたうえで、検出力が最大の検定。
• ネイマン・ピアソンの基本定理は「費用対効果の順に買う」。尤度比が大きいデータから棄却域に入れる。
• 片側の対立仮説には一様最強力検定があることが多いが、両側には一般にない。
• ワルド型検定は山頂と基準の距離を測る。分散は $\hat{\theta}$ で評価する。
• スコア検定は基準の地点の傾きを測る。分散は $\theta_0$ で評価し、$H_0$ の推定だけで計算できる。

キーワードのおさらい

• ネイマン・ピアソンの基本定理: 単純仮説どうしでは、尤度比が大きいときに棄却する検定が最強力であるという定理
• 最強力検定: 大きさ $\alpha$ の検定の中で検出力が最大の検定
• 一様最強力検定: 対立仮説のすべての点で検出力が最大の検定
• ワルド型検定: 最尤推定値と基準の値の差を、$\hat{\theta}$ で評価した標準誤差で測る検定
• スコア検定: 対数尤度の傾きを、$\theta_0$ で評価した分散で測る検定

さて、理論の道具がそろいました。では、この理論から見ると、2級で学んだ正規分布の検定はどう整理できるのでしょうか？ 検出力は、どう計算すればよいのでしょうか？

次回は、母平均・母分散・母相関係数を扱う「正規分布に関する検定」について紹介します。

それでは、次の記事へ進んでいきましょう。