統計学 学習ノート

はじめに

「この検定が最強力であることを証明せよ。……どこから手をつければいいの？」

準1級では、「尤度比の大きい順に棄却域に入れる」という結論を、買い物の例えで学びました。予算が有意水準で、満足度が検出力です。1級では、その結論を自分の手で証明します。そして、片側検定がなぜ一様に最強力なのか、ワルド型とスコア型がなぜ同じカイ二乗分布に近づくのかまで、式で説明することが求められます。

実は、この記事の内容は2つの計算に集約されます。1つは「被積分関数が必ず0以上になる」という1行の不等式です。もう1つは対数尤度の2次のテイラー展開です。

そこで登場するのが、今回の主役 ネイマン・ピアソンの基本定理 です。ここから一様最強力検定を導き、さらにテイラー展開で 尤度比検定、ワルド型検定、スコア型検定 の漸近分布を導きます。

前回の記事では、検定を検定関数 $\varphi$ として定義し、検出力関数 $\pi(\theta)$ で評価しました。今回の記事では、その言葉を使って、最適な検定の構成法を証明まで解説します。

ネイマン・ピアソンの基本定理を証明する

はじめに、定理の完全な形とその証明について解説します。

単純仮説 $H_0: f = f_0$ 対 $H_1: f = f_1$ を考えます。$f_0, f_1$ はデータ全体の密度（または確率関数）です。定理は3つの主張からなります。

$$\varphi(x) = \begin{cases} 1 & (f_1(x) > k f_0(x)) \\ \gamma & (f_1(x) = k f_0(x)) \\ 0 & (f_1(x) < k f_0(x)) \end{cases}$$

【ネイマン・ピアソンの基本定理】

1. 存在： 任意の $0 < \alpha < 1$ に対して、$E_0[\varphi(X)] = \alpha$ を満たす上の形の検定がある
2. 十分性： 上の形で大きさ $\alpha$ の検定は、有意水準 $\alpha$ の最強力検定である
3. 必要性： 有意水準 $\alpha$ の最強力検定は、$f_1 \ne k f_0$ の上で、ほとんど確実に上の形に一致する

1つずつ見ていきましょう。

1. 存在の証明

$a(c) = P_0(f_1(X) > c f_0(X))$ とおきます。$a(c)$ は $c$ の非増加関数で、右連続です。$c$ を小さい側から近づけた極限との差は $P_0(f_1 = c f_0)$ です。

そこで、$a(k) \le \alpha \le a(k-)$ を満たす $k$ をとります。$a(k-)$ は左極限です。次の $\gamma$ を選べば、大きさはちょうど $\alpha$ です。

$$\gamma = \frac{\alpha - a(k)}{a(k-) - a(k)}$$

買い物で言えば、費用対効果の順に買っていき、最後の1品だけ予算が足りないときは、その品物を一部だけ買う、ということです。

2. 十分性の証明

ここが定理の中心です。$\varphi'$ を有意水準 $\alpha$ の任意の検定とします。次の被積分関数は、すべての $x$ で0以上です。

$$\big(\varphi(x) - \varphi'(x)\big)\big(f_1(x) - k f_0(x)\big) \ge 0$$

なぜでしょうか？ 場合分けをします。$f_1 > k f_0$ なら $\varphi = 1$ なので、左の因子は0以上です。$f_1 < k f_0$ なら $\varphi = 0$ なので、左の因子は0以下です。どちらも積は0以上です。$f_1 = k f_0$ なら積は0です。

これを積分して整理すると、次の不等式を得ます。

$$E_1[\varphi] - E_1[\varphi'] \ge k\big(E_0[\varphi] - E_0[\varphi']\big) = k\big(\alpha - E_0[\varphi']\big) \ge 0$$

左辺は検出力の差です。よって $\varphi$ の検出力は $\varphi'$ 以上です。

ここがポイントです。「検定を比べる」という難しそうな問題が、各点の符号の確認に帰着しました。答案でも、この不等式を最初に書けば、残りは一本道です。

3. 必要性と便利な系

$\varphi'$ も最強力なら、上の不等式の左端と右端がともに0になります。$k > 0$ のとき、被積分関数の積分が0なので、$f_1 \ne k f_0$ の上で $\varphi = \varphi'$ がほとんど確実に成り立ちます。

もう1つ、後で使う系を証明しておきます。$\varphi' \equiv \alpha$（データを見ないくじ）も有意水準 $\alpha$ の検定なので、十分性より、次が成り立ちます。

$$E_1[\varphi] \ge E_1[\varphi'] = \alpha$$

つまり、最強力検定の検出力は大きさ以上です。くじ引きには負けません。

例題：確率化を含む最強力検定

$X$ を1回観測する。$H_0: X \sim Po(1)$ 対 $H_1: X \sim Po(3)$ の、大きさ0.05の最強力検定を構成し、検出力を求めよ。$Po(1)$ では $P(X \ge 4) = 0.0190$、$P(X = 3) = 0.0613$、$Po(3)$ では $P(X \ge 4) = 0.3528$、$P(X = 3) = 0.2240$ である。

【解答】

尤度比は $f_1(x)/f_0(x) = e^{-2} 3^x$ で、$x$ の増加関数である。したがって、基本定理の検定は「$x$ が大きいとき棄却」の形である。$P_0(X \ge 4) = 0.0190 < 0.05 < 0.0190 + 0.0613 = P_0(X \ge 3)$ なので、$x \ge 4$ で棄却し、$x = 3$ で確率 $\gamma$ で棄却する。

大きさの条件 $0.0190 + 0.0613\gamma = 0.05$ より、$\gamma = 0.506$ である。

検出力は $0.3528 + 0.506 \times 0.2240 = 0.466$ である。

せっかくなので、別の例も見てみましょう。$H_0: X \sim N(0, 1)$ 対 $H_1$：密度 $\frac{1}{2}e^{-|x|}$ のラプラス分布を、1回の観測で検定します。尤度比は定数倍を除いて次の形です。

$$\frac{f_1(x)}{f_0(x)} \propto \exp\left\{\frac{(|x| - 1)^2}{2}\right\}$$

これは $|x| = 1$ で最小になり、そこから離れるほど大きくなります。すると棄却域は、$|x| - 1$ の絶対値が大きい範囲、つまり $|x|$ が大きい側と、$|x|$ が0に近い側の2か所です。5%の検定を解くと、$|x| > 1.995$ または $|x| < 0.005$ となります。ラプラス分布は中心が尖っているので、0のごく近くもまた $H_1$ の証拠なのです。定理が言うのは「裾を棄却せよ」ではなく、「尤度比の大きいところを棄却せよ」です。

以上が、ネイマン・ピアソンの基本定理についての解説です。

単調尤度比から一様最強力検定へ

次に、片側の複合仮説に進みます。

基本定理は単純仮説どうしの話でした。しかし、実際に知りたいのは $H_0: \theta \le \theta_0$ 対 $H_1: \theta > \theta_0$ のような複合仮説です。ここで効いてくるのが 単調尤度比 です。

$\theta' < \theta''$ のとき、比 $f(x; \theta'')/f(x; \theta')$ が統計量 $T(x)$ の非減少関数であるとき、この分布族は $T$ について単調尤度比を持つと言います。

指数型分布族 $f(x; \theta) = h(x) c(\theta) \exp\{w(\theta) T(x)\}$ は、$w$ が増加関数なら単調尤度比を持ちます。比を計算すると $\exp\{(w(\theta'') - w(\theta')) T(x)\}$ の定数倍になり、$T$ の増加関数だからです。正規分布の平均、二項分布、ポアソン分布の標本合計は、どれもこの形です。

例えるなら、どのお店に行っても費用対効果の順位表が同じ、という状況です。順位表が同じなら、買い物リストも同じになります。

定理（カーリン・ルービン）：$T$ について単調尤度比を持つ分布族で、次の検定を考える。

$$\varphi(x) = \begin{cases} 1 & (T(x) > c) \\ \gamma & (T(x) = c) \\ 0 & (T(x) < c) \end{cases}, \qquad E_{\theta_0}[\varphi(X)] = \alpha$$

このとき、$\varphi$ は $H_0: \theta \le \theta_0$ 対 $H_1: \theta > \theta_0$ の有意水準 $\alpha$ の一様最強力検定で、検出力関数 $\pi(\theta)$ は非減少である。

証明の筋道は3段です。

【証明の3段】

1. 単純仮説への帰着： $\theta_1 > \theta_0$ を固定する。単調尤度比より、$\varphi$ は $\theta_0$ 対 $\theta_1$ の基本定理の形をしている。よって、$E_{\theta_0}[\varphi'] \le \alpha$ を満たす検定の中で最強力である。$\varphi$ は $\theta_1$ の値に依存しないので、すべての $\theta_1 > \theta_0$ で最強力である
2. 検出力の単調性： $\theta' < \theta''$ を固定する。$\varphi$ は $\theta'$ 対 $\theta''$ の基本定理の形でもあり、その大きさは $\pi(\theta')$ である。前の節の系より、$\pi(\theta'') \ge \pi(\theta')$ である
3. 複合仮説の処理： 2 より、$\sup_{\theta \le \theta_0} \pi(\theta) = \pi(\theta_0) = \alpha$ なので、$\varphi$ は有意水準 $\alpha$ の検定である。一方、$H_0$ の有意水準 $\alpha$ の検定は、すべて $E_{\theta_0}[\varphi'] \le \alpha$ を満たすので、1 の比較の対象に含まれる

ここがポイントです。基本定理を2回使っています。1回目は「最強力であること」に、2回目は「複合仮説の大きさが境目で決まること」にです。

では、両側の対立仮説ではどうでしょうか？ $\theta_1 > \theta_0$ に最強力な検定は $T$ の右側を棄却し、$\theta_2 < \theta_0$ に最強力な検定は左側を棄却します。基本定理の必要性より、最強力検定はこの形にほとんど確実に限られるので、両方を同時に満たす検定はありません。したがって、一様最強力検定は一般に存在しません。そのときは、前回の不偏性の制約を加えた一様最強力不偏検定や、次の節の尤度比検定に進みます。

例題：一様最強力検定の導出

$X_1, \ldots, X_6$ は密度 $f(x; \theta) = \theta x^{\theta - 1}$（$0 < x < 1$、$\theta > 0$）に独立に従う。(1) $H_0: \theta \le 1$ 対 $H_1: \theta > 1$ の有意水準5%の一様最強力検定を求めよ。(2) 検出力関数を、カイ二乗分布で表せ。(3) $\theta = 2$ の検出力を求めよ。$\chi^2_{0.95}(12) = 5.226$、$P(\chi^2(12) \le 10.45) = 0.424$ とする。

【解答】

(1) $T = -\sum_i \log X_i$ とする。$\prod_i x_i^{\theta - 1} = e^{-(\theta - 1)T}$ なので、同時密度は $\theta^6 e^{-(\theta - 1)T}$ である。$\theta' < \theta''$ の比は $(\theta''/\theta')^6 \exp\{-(\theta'' - \theta') T\}$ で、$T$ の減少関数である。つまり $-T$ について単調尤度比を持つ。カーリン・ルービンの定理より、一様最強力検定の棄却域は $T < k$ の形である。

区間推定の記事で示したとおり $2\theta T \sim \chi^2(12)$ である。$\theta = 1$ で $P(2T < 2k) = 0.05$ より、$2k = \chi^2_{0.95}(12) = 5.226$ である。答えは「$-2\sum_i \log X_i < 5.226$ なら棄却」である。

(2) $\pi(\theta) = P_\theta(2T < 5.226) = P(\chi^2(12) < 5.226\,\theta)$ である。

(3) $\pi(2) = P(\chi^2(12) < 10.45) = 0.424$ である。

(2) の式は $\theta$ の増加関数で、定理の結論とも合っています。

試験のポイント：一様最強力検定の答案は、「単調尤度比の確認 → 定理の適用 → 帰無分布で定数を決める → 検出力」の順に書きます。尤度比の増減の向きを必ず確かめましょう。

以上が、単調尤度比と一様最強力検定についての説明です。

尤度比検定：ウィルクスの定理を導く

続いて、一様最強力検定が使えない場面の汎用の方法を解説します。

複合仮説 $H_0: \theta \in \Theta_0$ に対して、尤度比検定 は次の比が小さいときに棄却します。

$$\lambda(x) = \frac{\sup_{\theta \in \Theta_0} L(\theta; x)}{\sup_{\theta \in \Theta} L(\theta; x)}$$

基本定理の比を、それぞれの仮説の最良の値で評価したものだと考えてください。準1級で学んだとおり、$\Theta$ の次元から $\Theta_0$ の次元を引いた数を $r$ とすると、$H_0$ のもとで $-2\log\lambda$ は $\chi^2(r)$ に近づきます。これが ウィルクスの定理 です。

ここでは、1次元の $H_0: \theta = \theta_0$ の場合を導きます。対数尤度を $\ell(\theta)$、1個の観測のフィッシャー情報量を $I_1(\theta)$ とします。正則条件のもとで、$\hat{\theta}$ は $\ell'(\hat{\theta}) = 0$ を満たし、$\sqrt{n}(\hat{\theta} - \theta_0) \to N(0, 1/I_1(\theta_0))$ です。

$\ell$ を $\hat{\theta}$ のまわりでテイラー展開します。$\theta^*$ は $\theta_0$ と $\hat{\theta}$ の間の点です。

$$\ell(\theta_0) = \ell(\hat{\theta}) + \ell'(\hat{\theta})(\theta_0 - \hat{\theta}) + \frac{1}{2}\ell''(\theta^*)(\theta_0 - \hat{\theta})^2$$

1次の項は0です。したがって、次の式を得ます。

$$-2\log\lambda = 2\{\ell(\hat{\theta}) - \ell(\theta_0)\} = \frac{-\ell''(\theta^*)}{n I_1(\theta_0)} \cdot \Big\{\sqrt{n I_1(\theta_0)}\,(\hat{\theta} - \theta_0)\Big\}^2$$

右辺の2つの因子を見ましょう。$\hat{\theta}$ の一致性と大数の法則より、最初の因子は1に確率収束します。波かっこの中は $N(0, 1)$ に分布収束します。スラツキーの定理より、全体は標準正規分布の2乗、つまり $\chi^2(1)$ に分布収束します。

言葉で言うと、山頂の近くの対数尤度は放物線で、高さの差は水平距離の2乗に比例する ということです。距離が正規分布に従うので、高さの差はカイ二乗分布に従います。

$r$ 次元でも筋道は同じです。2次形式 $(\hat{\theta} - \theta_0)^\top I (\hat{\theta} - \theta_0)$ が $\chi^2(r)$ に近づくことを使います。局外パラメータがあっても、自由度は $H_0$ が固定した母数の個数です。

以上が、尤度比検定についての解説です。

ワルド型とスコア型：同じ放物線の3つの読み方

最後に、ワルド型検定とスコア型検定を導いて、3つの関係を見ていきましょう。

放物線の山を3人で調べる場面を想像してください。

【3人の測り方】

• ワルドさん： 山頂 $\hat{\theta}$ から基準 $\theta_0$ までの水平距離を測る
• 尤度比さん： 山頂と基準の地点の高さの差を測る
• スコアさん： 基準の地点に立って、足元の傾きを測る

式で書くと次の3つです。$U(\theta) = \ell'(\theta)$ はスコア関数、$I(\theta) = n I_1(\theta)$ は標本全体のフィッシャー情報量です。

$$W = (\hat{\theta} - \theta_0)^2 I(\hat{\theta}), \qquad LR = 2\{\ell(\hat{\theta}) - \ell(\theta_0)\}, \qquad S = \frac{U(\theta_0)^2}{I(\theta_0)}$$

ワルド型検定 の漸近分布は、$\sqrt{n}(\hat{\theta} - \theta_0) \to N(0, 1/I_1(\theta_0))$ と、$I_1(\hat{\theta}) \to I_1(\theta_0)$ から直ちに分かります。

スコア型検定 は、$U(\theta_0) = \sum_i \partial_\theta \log f(X_i; \theta_0)$ が独立な項の和であることを使います。各項の平均は0、分散は $I_1(\theta_0)$ なので、中心極限定理より $U(\theta_0)/\sqrt{n I_1(\theta_0)} \to N(0, 1)$ です。2乗すれば $S \to \chi^2(1)$ です。

では、3つの関係はどうなっているのでしょうか？ $U$ を $\hat{\theta}$ のまわりで展開すると、次の式になります。

$$U(\theta_0) = U(\hat{\theta}) + \ell''(\theta^*)(\theta_0 - \hat{\theta}) = -\ell''(\theta^*)(\hat{\theta} - \theta_0)$$

つまり $U(\theta_0) \approx I(\theta_0)(\hat{\theta} - \theta_0)$ です。これを $S$ に代入すると、$S \approx I(\theta_0)(\hat{\theta} - \theta_0)^2$ で、$W$ や $LR$ と同じ形になります。$H_0$ のもとで、3つの差は0に確率収束します。

ここがポイントです。ぴったり放物線なら、距離の2乗に情報量を掛けた値も、高さの差の2倍も、傾きの2乗を情報量で割った値も、完全に同じ数です。3つの違いは、放物線からのズレの部分にしかありません。

例題：指数分布の3つの統計量

$X_1, \ldots, X_n$ は率 $\lambda$ の指数分布に独立に従う。$H_0: \lambda = \lambda_0$ を検定する。$r = \lambda_0 \bar{x}$ とおく。(1) $LR$、$W$、$S$ を $n$ と $r$ で表せ。(2) 同じ問題を平均 $\theta = 1/\lambda$ で書き直すと、3つの統計量はどう変わるか。(3) $n = 25$、$\lambda_0 = 1$、$\bar{x} = 1.4$ のとき、それぞれの値を求め、有意水準5%で判定せよ。$\chi^2_{0.05}(1) = 3.84$ とする。

【解答】

(1) $\ell(\lambda) = n\log\lambda - \lambda n\bar{x}$ である。$U(\lambda) = n/\lambda - n\bar{x}$、$\hat{\lambda} = 1/\bar{x}$、$I(\lambda) = n/\lambda^2$ である。よって、次の結果を得る。

$$LR = 2n(r - 1 - \log r), \qquad W = n(1 - r)^2, \qquad S = n(1 - r)^2$$

計算の例を示す。$W = (1/\bar{x} - \lambda_0)^2 \cdot n\bar{x}^2 = n(1 - \lambda_0\bar{x})^2$ である。$S = n^2(1/\lambda_0 - \bar{x})^2 \cdot \lambda_0^2 / n = n(1 - r)^2$ である。

(2) $\ell(\theta) = -n\log\theta - n\bar{x}/\theta$ で、$U(\theta) = -n/\theta + n\bar{x}/\theta^2$、$\hat{\theta} = \bar{x}$、$I(\theta) = n/\theta^2$ である。$LR$ は最大値の比なので変わらない。$S$ は計算すると $n(r - 1)^2$ で変わらない。$W$ だけが次のように変わる。

$$W_\theta = (\bar{x} - \theta_0)^2 \cdot \frac{n}{\bar{x}^2} = n\left(1 - \frac{1}{r}\right)^2$$

(3) $r = 1.4$ である。$S = W = 25 \times 0.16 = 4.00$、$LR = 50(0.4 - 0.3365) = 3.18$、$W_\theta = 25 \times 0.0816 = 2.04$ である。$\chi^2_{0.05}(1) = 3.84$ と比べると、$S$ と $W$ は棄却、$LR$ と $W_\theta$ は棄却しない。

同じデータ、同じ仮説でも、判定が割れました。$r - 1 - \log r$ を $r = 1$ のまわりで展開すると $(r - 1)^2/2$ なので、$r \to 1$ では3つが一致します。今回は $r = 1.4$ と離れているので、ズレが見えたのです。

この問題には正確な検定もあります。$H_0$ のもとで $2\lambda_0 n\bar{X} \sim \chi^2(2n)$ なので、値は $2 \times 25 \times 1.4 = 70$ です。自由度50の上側確率を2倍すると、両側のp値は0.065です。5%では棄却しません。

【3つの検定の比べ方】

• ワルド型： $\hat{\theta}$ だけで計算できる。母数の変換で値が変わる
• 尤度比検定： 両方のモデルの最大化が必要。母数の変換で値が変わらない
• スコア型： $\theta_0$ だけで計算できる。母数の変換で値が変わらない

補足（ここは読み飛ばしてOK）： 局外パラメータがあるときは、$H_0$ のもとの最尤推定値を $\tilde{\theta}$ として、$S = U(\tilde{\theta})^\top I(\tilde{\theta})^{-1} U(\tilde{\theta})$ と定めます。$W$ は、$\psi$ を調べたい母数として $(\hat{\psi} - \psi_0)^\top \{I(\hat{\theta})^{-1}\}_{\psi\psi}^{-1}(\hat{\psi} - \psi_0)$ です。どちらも $\chi^2(r)$ に近づきます。

試験のポイント：導出の核は「$\ell$ の2次展開」「スコアの中心極限定理」「スラツキーの定理」の3つです。これらの順に書けば、3つの検定の漸近分布はどれも導けます。

以上が、ワルド型検定とスコア型検定についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「最適性は1行の不等式から、漸近分布は2次のテイラー展開から」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は基本定理の証明から始めて、一様最強力検定と、漸近的な3つの検定を導きました。有限標本の最適性は、各点の符号を見る不等式で決まります。大標本の近似は、対数尤度の放物線で決まります。検定の理論の骨格は、この2本です。

今回のポイントを振り返りましょう。

振り返り

• 基本定理の証明の中心は、$(\varphi - \varphi')(f_1 - k f_0) \ge 0$ という各点の不等式。
• 系として、最強力検定の検出力は大きさ以上である。これが検出力の単調性を導く。
• 単調尤度比があれば、片側の複合仮説に一様最強力検定がある。両側には一般にない。
• 尤度比検定の $-2\log\lambda$ は、2次のテイラー展開で $\chi^2(r)$ に近づくことが導ける。
• ワルド型は距離、尤度比は高さ、スコア型は傾き。同じ放物線の3つの読み方で、$H_0$ のもとで漸近的に一致する。

キーワードのおさらい

• ネイマン・ピアソンの基本定理: 単純仮説どうしの最強力検定は尤度比で決まるという定理
• 単調尤度比: 尤度比がある統計量の単調関数になる性質
• 一様最強力検定: 対立仮説のすべての点で検出力が最大の検定
• 尤度比検定: 仮説の中の最大尤度と全体の最大尤度の比で判定する検定
• ワルド型検定: 最尤推定値と基準の距離で判定する検定
• スコア型検定: 基準の点でのスコア関数の大きさで判定する検定

さて、道具がそろいました。次は、これを最も身近な分布に当てはめます。$t$ 検定や $F$ 検定は、誰かが思いついた式ではありません。尤度比から必然的に出てくる式です。

次回は、$t$ 検定と $F$ 検定を尤度比から導く「正規分布に関する検定」について紹介します。

それでは、次の記事へ進んでいきましょう。