統計学 学習ノート

はじめに

「5%で検定せよ、と言われたのに、棄却域の確率が5%にならない……」

例えば、成功確率0.3とされる試行を12回観測して、成功回数が「$X \ge 7$ なら棄却」と決めたとします。計算すると棄却の確率は3.9%です。「$X \ge 6$ なら棄却」にすると11.8%です。どちらも5%ではありません。では、ちょうど5%の検定は作れないのでしょうか？

実は、作れます。検定を「棄却するかしないか」ではなく、「どれくらいの確率で棄却するか」を返す関数だと考えればよいのです。そして、そう定義し直すと、第一種の過誤も第二種の過誤も、1本の関数から読み取れるようになります。

そこで登場するのが、今回の主役 検出力関数 です。検出力（検定力）を $\theta$ の関数として見たもので、そのグラフが 検出力曲線 です。

前回の記事では、信頼区間を裏返すと検定になることを学びました。今回の記事では、検定を数学の言葉で定義し直し、検出力曲線を式から導いて、p値が確率変数としてどう振る舞うかを証明つきで解説します。

検定を関数として定義する

はじめに、検定の定義を数学の形に整えます。

準1級で学んだ枠組みを、短く思い出しましょう。仮説 は母数についての主張で、母数空間を $\Theta_0$ と $\Theta_1$ に分けて $H_0: \theta \in \Theta_0$ 対 $H_1: \theta \in \Theta_1$ と書きます。データから作る 検定統計量 $T$ の値のうち、$H_0$ を棄却する範囲が 棄却域 $R$ です。

1級では、これを1つの関数にまとめます。データ $x$ に、$H_0$ を棄却する確率を対応させる関数 $\varphi(x)$ を 検定関数 と呼びます。

$$\varphi : \mathcal{X} \to [0, 1]$$

$\varphi(x) = 1$ なら必ず棄却、$\varphi(x) = 0$ なら棄却しません。棄却域 $R$ による普通の検定は、$R$ の上で1、外で0という特別な場合です。0と1の間の値をとるものを 確率化検定 と呼びます。

例えるなら、裁判の判決です。ふつうの検定は「有罪か無罪か」を決めます。確率化検定は、判断が境目の事件だけ、くじを引いて決めます。実務では使いませんが、定理の証明では欠かせない道具です。

検定関数のよさは、次の1本の関数にすべて集約されます。

$$\pi(\theta) = E_\theta[\varphi(X)]$$

$\pi(\theta)$ は、真の値が $\theta$ のときに棄却する確率で、検出力関数 と呼びます。$\beta$ は第二種の過誤の確率に使うので、ここでは $\pi$ と書きます。

【検出力関数から読めるもの】

• $\theta \in \Theta_0$ のとき： $\pi(\theta)$ が 第一種の過誤 の確率
• $\theta \in \Theta_1$ のとき： $1 - \pi(\theta)$ が 第二種の過誤 の確率
• $\theta \in \Theta_1$ のとき： $\pi(\theta)$ が 検出力

ここがポイントです。第一種の過誤の確率も第二種の過誤の確率も、定数ではなく $\theta$ の関数です。$\alpha$ や $\beta$ という1つの数は、その関数の特定の点を読んだものです。

$H_0$ の上での最大の値を、検定の大きさと呼びます。

$$\text{大きさ} = \sup_{\theta \in \Theta_0} \pi(\theta)$$

大きさが $\alpha$ 以下の検定を、有意水準 $\alpha$ の検定と呼びます。「大きさ」は検定が実際に持つ値、「有意水準」はこちらが決める上限です。冒頭の「$X \ge 7$」は、有意水準5%の検定で、大きさは3.9%です。

なぜ $H_0$ の側だけに上限を置くのでしょうか？ 検定の原理は、確率的な背理法だからです。「$H_0$ が正しいと仮定すると、めったに起きないことが起きた。だから仮定を疑う」と考えます。裁判の「疑わしきは罰せず」と同じで、$H_0$ の無罪を守る確率を先に固定し、そのうえで有罪を見抜く力を競います。

例題：確率化検定を作る

$X \sim B(12, p)$ を観測し、$H_0: p = 0.3$ 対 $H_1: p > 0.3$ を、大きさがちょうど0.05の検定で調べたい。$X$ の大きい値から棄却する検定関数を構成せよ。また、$p = 0.6$ での検出力を求めよ。ただし、$p = 0.3$ のとき $P(X \ge 7) = 0.0386$、$P(X = 6) = 0.0792$、$p = 0.6$ のとき $P(X \ge 7) = 0.6652$、$P(X = 6) = 0.1766$ である。

【解答】

$P_{0.3}(X \ge 7) = 0.0386 < 0.05 < P_{0.3}(X \ge 6) = 0.1178$ なので、$X \ge 7$ では必ず棄却し、$X = 6$ では確率 $\gamma$ で棄却し、$X \le 5$ では棄却しない検定を考える。

$$\varphi(x) = \begin{cases} 1 & (x \ge 7) \\ \gamma & (x = 6) \\ 0 & (x \le 5) \end{cases}$$

大きさの条件 $E_{0.3}[\varphi(X)] = 0.0386 + 0.0792\gamma = 0.05$ より、$\gamma = 0.0114 \div 0.0792 = 0.144$ である。

検出力は $\pi(0.6) = 0.6652 + 0.144 \times 0.1766 = 0.691$ である。

確率化により、検出力が0.665から0.691に上がりました。余っていた予算を、境目の値に回したぶんです。

試験のポイント：「有意水準 $\alpha$ の検定」は大きさが $\alpha$ 以下の検定です。第一種の過誤の確率は、複合仮説では $\theta$ の関数になるので、$\sup$ をとります。

以上が、検定を関数として定義する話についての解説です。

検出力曲線を式から導く

次に、検出力関数を実際に計算して、曲線の性質を調べます。

理想の検定の検出力曲線は、$\Theta_0$ の上で0、$\Theta_1$ の上で1の階段です。どんな病気も見逃さず、健康な人を決して引っかけない健康診断のようなものです。現実の曲線は、この階段をなめらかにしたS字になります。よい検定とは、階段に近い検定です。

1つずつ見ていきましょう。

1. 片側検定

正規分布 $N(\mu, \sigma^2)$（$\sigma$ 既知）で、$H_0: \mu \le \mu_0$ 対 $H_1: \mu > \mu_0$ を考えます。棄却域は $\sqrt{n}(\bar{X} - \mu_0)/\sigma > z_\alpha$ です。$\delta = \sqrt{n}(\mu - \mu_0)/\sigma$ とおくと、$\sqrt{n}(\bar{X} - \mu)/\sigma = Z$ が標準正規分布に従うので、次のように計算できます。

$$\pi(\mu) = P(Z + \delta > z_\alpha) = \Phi(\delta - z_\alpha)$$

$\Phi$ は標準正規分布の分布関数です。$\pi$ は $\mu$ の増加関数です。したがって、$\mu \le \mu_0$ の中で最大になるのは境目 $\mu = \mu_0$ で、大きさは $\pi(\mu_0) = \Phi(-z_\alpha) = \alpha$ です。

これが、複合仮説 $\mu \le \mu_0$ の検定を、単純仮説 $\mu = \mu_0$ の棄却域で作ってよい理由です。検出力関数の単調性が根拠なのです。

同じ議論は二項分布でも成り立ちます。ここでは証明の見本として、微分を使わない方法を紹介します。独立な一様乱数 $U_1, \ldots, U_n$ を用意して、$X_p = \#\{i : U_i \le p\}$ とします。$X_p \sim B(n, p)$ です。$p < p'$ なら、すべての結果について $X_p \le X_{p'}$ が成り立ちます。したがって、$P(X_p \ge k) \le P(X_{p'} \ge k)$ です。同じ乱数の上に2つの確率変数を並べて比べるこの手法を、カップリングと呼びます。

2. 両側検定と不偏性

次は $H_0: \mu = \mu_0$ 対 $H_1: \mu \ne \mu_0$ です。棄却域は $|Z_0| > z_{\alpha/2}$ で、$Z_0 = \sqrt{n}(\bar{X} - \mu_0)/\sigma$ です。$z = z_{\alpha/2}$ と書くと、検出力関数は次の形になります。

$$\pi(\delta) = \Phi(\delta - z) + \Phi(-\delta - z)$$

$\delta$ で微分すると、$\phi$ を標準正規分布の密度として、$\pi'(\delta) = \phi(\delta - z) - \phi(\delta + z)$ です。$\delta > 0$ なら $|\delta - z| < \delta + z$ なので、$\pi'(\delta) > 0$ です。$\pi$ は偶関数なので、$\delta = 0$ で最小値 $\alpha$ をとる、谷の形になります。

具体的に見てみましょう。$\alpha = 0.05$ の数値は次のとおりです。

$\delta$	$-1$	0	1	2	3
両側検定	0.170	0.050	0.170	0.516	0.851
右片側検定	0.004	0.050	0.259	0.639	0.912

表の見方を説明します。$\delta > 0$ の側では、右片側検定のほうが強力です。予算の全部を右に張っているからです。その代わり、$\delta = -1$ では検出力が0.004と、$\alpha$ より小さくなります。

有意水準 $\alpha$ の検定のうち、$\Theta_1$ のどの点でも $\pi(\theta) \ge \alpha$ を満たすものを、不偏検定 と呼びます。何もデータを見ずに確率 $\alpha$ のくじで棄却するだけでも、検出力は $\alpha$ です。不偏性は「くじ引きには負けない」という、最低限の品質です。右片側検定は、両側の対立仮説に対しては不偏ではありません。

また、$\Theta_1$ の各点で $n \to \infty$ のとき検出力が1に近づく検定を、一致検定と呼びます。固定した $\mu \ne \mu_0$ では $|\delta| = \sqrt{n}\,|\mu - \mu_0|/\sigma \to \infty$ なので、上の式より $\pi \to 1$ です。

例題：検出力関数を閉じた形で求める

$X_1, \ldots, X_6$ は $U(0, \theta)$ に独立に従う。$H_0: \theta \le 1$ 対 $H_1: \theta > 1$ を、棄却域 $X_{(6)} > c$ で検定する。(1) 検出力関数を求めよ。(2) 大きさが0.05となる $c$（$0 < c < 1$）を求めよ。(3) $\theta = 1.2$ の検出力を求めよ。

【解答】

(1) $X_{(6)} \le c$ は全部の $X_i$ が $c$ 以下ということなので、$\theta > c$ のとき $P_\theta(X_{(6)} \le c) = (c/\theta)^6$ である。よって、次の式を得る。

$$\pi(\theta) = \begin{cases} 0 & (\theta \le c) \\ 1 - (c/\theta)^6 & (\theta > c) \end{cases}$$

(2) $\pi$ は $\theta$ の非減少関数なので、$\Theta_0$ での最大は $\theta = 1$ のときの $1 - c^6$ である。$1 - c^6 = 0.05$ より、$c = 0.95^{1/6} = 0.9915$ である。

(3) $\pi(1.2) = 1 - 0.95 \div 1.2^6 = 1 - 0.318 = 0.682$ である。

正規分布のS字と違って、$\theta \le c$ で検出力がぴったり0になるのが特徴です。

以上が、検出力曲線の導出についての説明です。

p値を確率変数として見る

最後に、p値の数学的な性質を見ていきましょう。

p値 は、準1級では「$H_0$ のもとで、観測値かそれより極端な値が出る確率」と学びました。1級では、次の定義も押さえます。有意水準ごとの棄却域 $R_\alpha$ が、$\alpha$ を小さくすると縮むように並んでいるとき、p値は次の値です。

$$p(x) = \inf\{\alpha : x \in R_\alpha\}$$

言葉で言うと、「このデータを棄却できる、いちばん厳しい有意水準」です。$T$ が大きいほど棄却する検定で、$H_0$ が単純仮説なら、$t$ を観測したときのp値は $P_{H_0}(T \ge t)$ と一致します。

そして、データから計算するので、p値それ自体が確率変数 です。例えるなら、学年順位です。「帰無仮説の世界の生徒全員の中で、上から何%の位置にいるか」がp値です。順位なので、全員を並べれば0%から100%まで均等に散らばります。これを定理にしたものが次の主張です。

定理1：$H_0$ が単純仮説で、$T$ の分布関数 $F$ が連続かつ狭義単調増加なら、$H_0$ のもとで $p(X) \sim U(0, 1)$ である。

証明です。$p(X) = 1 - F(T)$ です。前回の確率積分変換より $F(T) \sim U(0, 1)$ なので、$1 - F(T)$ も $U(0, 1)$ に従います。

定理2：離散型の場合や複合仮説の場合でも、$\theta \in \Theta_0$ なら、$0 < u < 1$ に対して $P_\theta(p(X) \le u) \le u$ である。

証明です。複合仮説のp値は $p(x) = \sup_{\theta \in \Theta_0} P_\theta(T \ge t)$ と定めます。固定した $\theta \in \Theta_0$ について $G(t) = P_\theta(T \ge t)$ とおくと、$p(X) \ge G(T)$ です。よって、$P_\theta(p(X) \le u) \le P_\theta(G(T) \le u)$ です。$G(t) \le u$ を満たす最小の $t$ を $t^*$ とすると、$G$ は単調なので $G(T) \le u$ は $T \ge t^*$ と同じで、その確率は $G(t^*) \le u$ です。

ここがポイントです。定理2の不等式こそ、「$p \le \alpha$ なら棄却」という判定で第一種の過誤が $\alpha$ 以下に収まる理由です。

具体的に見てみましょう。$X \sim B(4, 0.5)$ を $H_0$ として、右片側のp値を計算します。

$x$	0	1	2	3	4
確率	0.0625	0.2500	0.3750	0.2500	0.0625
p値	1	0.9375	0.6875	0.3125	0.0625

$P(p \le 0.1) = P(X = 4) = 0.0625$ で、0.1以下です。$P(p \le 0.5) = 0.3125$ も0.5以下です。離散型のp値は一様分布より大きい側に寄ります。だから検定は保守的になります。

せっかくなので、$H_1$ のもとでのp値も見てみましょう。$p \le u$ は有意水準 $u$ で棄却することと同じなので、$P_\theta(p \le u)$ は有意水準 $u$ の検出力そのものです。右片側の $z$ 検定なら、次の式です。

$$P_\theta(p \le u) = \Phi(\delta - z_u)$$

$\delta = 2$ のとき、$P(p \le 0.05) = 0.639$、$P(p \le 0.01) = 0.372$ です。$H_0$ のもとでは平らだったp値の分布が、$H_1$ のもとでは0の近くに集まります。検出力曲線とp値は、同じものを別の角度から見ていたわけです。

例題：p値の統合

3つの独立な研究で、同じ単純仮説 $H_0$ を連続型の統計量で検定すると、p値は0.08、0.10、0.20だった。(1) $H_0$ のもとで $-2\log p \sim \chi^2(2)$ を示せ。(2) $W = -2\sum_{i=1}^{3} \log p_i$ の $H_0$ のもとでの分布を求めよ。(3) 上の結果から、$W$ が大きいとき棄却する検定を、有意水準5%で行え。$\chi^2_{0.05}(6) = 12.59$ とする。

【解答】

(1) 定理1より $p \sim U(0, 1)$ である。$w > 0$ に対して、$P(-2\log p > w) = P(p < e^{-w/2}) = e^{-w/2}$ である。これは自由度2のカイ二乗分布の生存関数である。

(2) 3つのp値は独立なので、再生性より $W \sim \chi^2(6)$ である。

(3) $W = -2(\log 0.08 + \log 0.10 + \log 0.20) = 12.88$ である。$12.88 > 12.59$ なので、$H_0$ を棄却する。

1つずつでは5%で有意でない結果が、3つ合わせると有意になりました。弱い証拠も、独立に積み重なれば強い証拠になるのです。この統合法をフィッシャーの方法と呼びます。

試験のポイント：$H_0$ のもとで $p \sim U(0, 1)$ は、連続型かつ単純仮説のときの結論です。論述では、この条件を書いたうえで確率積分変換に帰着させます。

以上が、p値の性質についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「検定は関数で、よさは検出力関数で測る」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は検定を検定関数として定義し直し、検出力関数とp値の性質を導きました。2種類の過誤も、有意水準も、検出力も、すべて $\pi(\theta)$ という1本の曲線の読み方の違いです。p値も、この曲線と裏表の関係にあります。

今回のポイントを振り返りましょう。

振り返り

• 検定はデータを棄却確率に写す関数。確率化検定を使えば、大きさをちょうど $\alpha$ にできる。
• 検出力関数 $\pi(\theta)$ は、$\Theta_0$ で第一種の過誤の確率、$\Theta_1$ で検出力を表す。
• 片側検定の大きさは、検出力関数の単調性により、境目の $\theta_0$ で決まる。
• 両側 $z$ 検定は不偏で、右片側検定は両側の対立仮説に対して不偏ではない。
• p値は確率変数。連続型の単純仮説では $U(0, 1)$ に従い、一般には $P(p \le u) \le u$ が成り立つ。

キーワードのおさらい

• 仮説: 母数についての主張。$\Theta_0$ と $\Theta_1$ で表す
• 検定統計量: 判断に使う、データから計算する量
• 棄却域: $H_0$ を棄却するデータの範囲
• 有意水準: 検定の大きさの上限として決める値
• 第一種の過誤: $H_0$ が真なのに棄却する誤り
• 第二種の過誤: $H_1$ が真なのに棄却しない誤り
• 検出力（検定力）: $H_1$ が真のときに棄却する確率
• 検出力曲線: 検出力を $\theta$ の関数として描いた曲線
• p値: そのデータを棄却できる最小の有意水準
• 検定関数: データに棄却する確率を対応させる関数

さて、検定のよさを測る物差しが手に入りました。すると、次の問いが自然に浮かびます。同じ大きさの検定の中で、検出力がいちばん高い検定はどれでしょうか？ そして、それを式で作ることはできるのでしょうか？

次回は、「ネイマン・ピアソンの基本定理」から尤度比検定、ワルド型検定、スコア型検定までを導く「検定法の導出」について紹介します。

それでは、次の記事へ進んでいきましょう。