統計学 学習ノート

はじめに

報知器が鳴らなくても、火事がないとは言い切れない

「検定で有意差なし。じゃあ、差はないってこと？」

例えば、新しい教材の効果を調べるために、10人に試してもらったとしましょう。点数は平均で3点上がりましたが、検定の結果は「有意差なし」でした。この教材に効果はない、と結論してよいでしょうか？

実は、そうとは言えません。人数が少なければ、効果が本当にあっても、検定はそれを見逃しやすいからです。感度の低い火災報知器が鳴らなかったからといって、火事がないとは言い切れませんよね。

そこで登場するのが、今回の主役 検出力 です。検出力とは、差が本当にあるときに、検定がそれを見つける確率です。

前回の記事では、信頼区間の作り方と、検定との表裏の関係を学びました。今回の記事では、検定の枠組みを整理し直したうえで、検出力の計算、サンプルサイズの決定、たくさんの検定を同時に行うときの多重比較について解説します。

検定の枠組みと2種類の過誤

線を動かすと、誤報と見逃しはシーソーのように動く

はじめに、検定の枠組みを記号で整理します。

統計的な 仮説 とは、母数についての主張のことです。母数全体を2つに分けて、次のように書きます。

$$H_0: \theta \in \Theta_0 \qquad \text{対} \qquad H_1: \theta \in \Theta_1$$

$H_0$ が帰無仮説、$H_1$ が対立仮説です。$\theta = \theta_0$ のように1点を指す仮説を単純仮説、$\theta > \theta_0$ のように幅のある仮説を複合仮説と呼びます。

データから計算して判断に使う統計量を 検定統計量 と呼びます。そして、検定統計量の値のうち、$H_0$ を棄却する範囲が 棄却域 です。検定を決めることは、棄却域を決めることと同じです。

判断の誤りには、2種類あります。2級でも学びましたが、準1級の記号で表にしておきましょう。

	$H_0$ を棄却しない	$H_0$ を棄却する
$H_0$ が真	正しい判断	第一種の過誤（確率 $\alpha$）
$H_1$ が真	第二種の過誤（確率 $\beta$）	正しい判断（確率 $1 - \beta$）

火災報知器に例えると、第一種の過誤は「火事がないのに鳴る誤報」で、第二種の過誤は「火事なのに鳴らない見逃し」です。感度を上げれば見逃しは減りますが、誤報が増えます。2つの確率は、シーソーの両端のような関係です。

そこで、検定では誤報の確率に上限を決めます。$\Theta_0$ の中で棄却する確率の最大値を、検定の大きさと呼び、これが有意水準 $\alpha$ 以下になるように棄却域を選びます。

$$\sup_{\theta \in \Theta_0} P_\theta(T \in R) \le \alpha$$

$T$ は検定統計量、$R$ は棄却域です。そのうえで、見逃しをできるだけ小さくするのが、検定の設計の方針です。

次に p値 です。p値は、$H_0$ が正しいとしたときに、実際に観測された値か、それより極端な値が得られる確率です。$p \le \alpha$ なら棄却、というのは棄却域を使う判定と同じです。例えば、$z = 1.8$ なら、片側のp値は約0.036、両側のp値は約0.072です。同じデータでも、片側5%では棄却され、両側5%では棄却されません。

p値について、押さえておきたい点が3つあります。

【p値の注意点】

1. p値は「$H_0$ が正しい確率」ではない。$H_0$ を仮定して計算した、データの珍しさである
2. $H_0$ が単純仮説で統計量が連続型なら、$H_0$ のもとでp値は $U(0, 1)$ に従う。だから $P(p \le \alpha) = \alpha$ となる
3. p値の大きさは効果の大きさではない。$n$ が大きければ、ごく小さい差でもp値は小さくなる

統計量が離散型のときは、有意水準をちょうど5%にできないこともあります。例えば、$X \sim B(10, 0.5)$ で $H_0: p = 0.5$ を右片側で調べるとします。棄却域を $X \ge 8$ とすると、第一種の過誤の確率は0.0547で5%を超えます。$X \ge 9$ なら0.0107です。したがって、5%を超えないのは $X \ge 9$ のほうです。

試験のポイント：第一種の過誤は「$H_0$ が真なのに棄却」、第二種の過誤は「$H_0$ が偽なのに棄却しない」です。検出力は $1 - \beta$ で、$\beta$ そのものではありません。

以上が、検定の枠組みについての解説です。

検出力と検出力曲線：差を見つける確率

検出力曲線は α から始まり、ズレとともに1へ近づく

次に、検定の性能を計算する方法を説明します。

検出力（検定力）とは、$H_1$ が真のときに $H_0$ を正しく棄却する確率、つまり $1 - \beta$ です。検出力は真の母数の値によって変わるので、$\theta$ の関数として見ます。

$$\gamma(\theta) = P_\theta(T \in R)$$

この関数のグラフが 検出力曲線 です。横軸に真の母数、縦軸に棄却する確率をとります。

正規母集団で $\sigma$ が既知の片側検定で、式を導いてみましょう。$H_0: \mu = \mu_0$ 対 $H_1: \mu > \mu_0$ で、棄却域は $Z = \sqrt{n}(\bar{X} - \mu_0)/\sigma \ge z_\alpha$ です。真の平均が $\mu$ のとき、$Z$ は $d = \sqrt{n}(\mu - \mu_0)/\sigma$ だけ右にズレた標準正規分布に従います。

$$\gamma(\mu) = P(Z \ge z_\alpha) = 1 - \Phi\left(z_\alpha - \frac{\sqrt{n}\,(\mu - \mu_0)}{\sigma}\right)$$

$\Phi$ は標準正規分布の分布関数です。言葉で言うと、「棄却の線が、真のズレの分だけ手前に来る」ということです。両側検定なら、両側の棄却域の確率を足します。

$$\gamma(\mu) = 1 - \Phi(z_{\alpha/2} - d) + \Phi(-z_{\alpha/2} - d)$$

数値で見てみましょう。$\mu_0 = 50$、$\sigma = 10$、$n = 25$、$\alpha = 0.05$ のとき、検出力は次のとおりです。

真の $\mu$	50	52	54	56
$d$	0	1	2	3
片側検定の検出力	0.050	0.259	0.639	0.912
両側検定の検出力	0.050	0.170	0.516	0.851

この表から、検出力曲線の読み方が分かります。

【検出力曲線の読み方】

1. $\mu = \mu_0$ の点では高さは $\alpha$。ここが出発点
2. $\mu$ が $\mu_0$ から離れるほど上がり、1に近づく
3. 片側検定はS字形で、両側検定は $\mu_0$ を谷底とする左右対称の形
4. 対立仮説の方向が当たっていれば、片側検定のほうが検出力は高い

検出力を決めるのは、$d = \sqrt{n}(\mu - \mu_0)/\sigma$ と $\alpha$ だけです。つまり、次の4つが検出力を上げます。

【検出力が上がる条件】

• 真のズレ $|\mu - \mu_0|$ が大きい
• 標本の大きさ $n$ が大きい
• ばらつき $\sigma$ が小さい
• 有意水準 $\alpha$ が大きい

冒頭の「有意差なし」を、この表で考えましょう。真の平均が54でも、片側の検出力は0.639です。つまり、差が本当にあっても、36%の確率で見逃すのです。「有意差なし」は「差がない」ことの証明ではなく、「この検出力では差を確認できなかった」という意味です。

例題：検出力を計算する

$H_0: \mu = 50$ 対 $H_1: \mu > 50$ を、$\sigma = 10$、$n = 100$、有意水準5%で検定します。真の平均が54のときの検出力を求めましょう。

【解き方】

1. ズレを標準誤差で測る： $d = \sqrt{100} \times 4 \div 10 = 4$
2. 棄却の線を動かす： $z_{0.05} - d = 1.645 - 4 = -2.355$
3. 確率を求める： $1 - \Phi(-2.355) = \Phi(2.355) \approx 0.991$

答えは約0.991です。$n = 25$ の0.639から、4倍の標本で大きく上がりました。

$\sigma$ が未知の $t$ 検定では、検定統計量は非心t分布に従います。標本分布の記事で学んだように、非心度は同じ $d$ です。例えば、$n = 25$、$d = 2$ の片側5%では検出力は約0.617で、$z$ 検定の0.639より少し低くなります。

以上が、検出力と検出力曲線についての説明です。

サンプルサイズの決定：必要な人数を先に計算する

見つけたい差を半分にすると、必要な人数は4倍になる

続いて、検出力を逆から使う方法を解説します。

サンプルサイズの決定 とは、「これだけの差を、これだけの確率で見つけたい」という要求から、必要な標本の大きさを計算することです。実験の前に行います。

なぜ先に計算するのでしょうか？ 顕微鏡を思い浮かべてください。見たいものの大きさに合った倍率がなければ、何も見えません。実験を終えてから「人数が足りなかった」と分かっても、手遅れです。

必要な情報は、次の4つです。

【サンプルサイズの決定に必要な情報】

1. 有意水準 $\alpha$
2. 目標の検出力 $1 - \beta$
3. 見つけたい最小の差 $\Delta = \mu_1 - \mu_0$
4. 標準偏差 $\sigma$（過去のデータや予備実験から決める）

片側検定で式を導きましょう。検出力が $1 - \beta$ になるのは、$z_\alpha - d = -z_\beta$ のときです。$d = \sqrt{n}\,\Delta/\sigma$ を入れて $n$ について解くと、次の式が得られます。

$$n = \left\{\frac{(z_\alpha + z_\beta)\,\sigma}{\Delta}\right\}^2$$

両側検定では、$z_\alpha$ を $z_{\alpha/2}$ に変えます（反対側の棄却域の確率は無視できるほど小さいとします）。

例題：必要な人数を求める

$\sigma = 10$ の正規母集団で、$\Delta = 4$ の差を有意水準5%、検出力0.9で見つけたいとします。片側検定と両側検定で、必要な $n$ を求めましょう。$z_{0.05} = 1.645$、$z_{0.025} = 1.96$、$z_{0.1} = 1.282$ とします。

【解き方】

1. 片側検定： $\{(1.645 + 1.282) \times 10 \div 4\}^2 \approx 53.5$
2. 切り上げて $n = 54$
3. 両側検定： $\{(1.96 + 1.282) \times 10 \div 4\}^2 \approx 65.7$
4. 切り上げて $n = 66$

答えは片側54、両側66です。式の値は小数になるので、必ず切り上げます。

式の形から、大切なことが分かります。$n$ は $\Delta$ の2乗に反比例します。見つけたい差を半分にすると、必要な人数は4倍です。顕微鏡の倍率を2倍にするには、4倍の費用がかかるようなものです。

他の場面の式も、同じ考え方で作れます。

【その他のサンプルサイズの式】

• 2群の平均の比較（各群 $n$ 人、両側）： $n = 2\{(z_{\alpha/2} + z_\beta)\sigma/\Delta\}^2$
• 母比率（$p_0$ 対 $p_1$、片側）： $n = \left\{\dfrac{z_\alpha\sqrt{p_0(1-p_0)} + z_\beta\sqrt{p_1(1-p_1)}}{p_1 - p_0}\right\}^2$

2群の比較の式に2が付くのは、差の分散が $2\sigma^2/n$ だからです。例えば、$\sigma = 10$、$\Delta = 4$、両側5%、検出力0.8（$z_{0.2} = 0.842$）なら、$2 \times \{(1.96 + 0.842) \times 10 \div 4\}^2 \approx 98.1$ で、各群99人です。

母比率の例として、$p_0 = 0.5$ を $p_1 = 0.6$ と区別したいとします。片側5%、検出力0.9なら、$\{(1.645 \times 0.5 + 1.282 \times \sqrt{0.24}) \div 0.1\}^2 \approx 210.4$ で、211人です。比率の場合は、$H_0$ の分散と $H_1$ の分散が違うので、2つの標準偏差を使い分ける点に注意します。

試験のポイント：$n$ の式は覚えるより導けるようにしましょう。「$z_\alpha - d = -z_\beta$」の1行から出ます。

以上が、サンプルサイズの決定についての解説です。

多重比較：検定を繰り返す落とし穴

20回検定すれば、差がなくても64%で何かが有意になる

最後に、検定を何度も行うときの問題を見ていきましょう。

くじを1回だけ引いて当たる確率が5%でも、20回引けば、どれかが当たる確率はぐっと上がりますよね。検定も同じです。差のない項目を20個検定すれば、どれかが偶然「有意」になるのは、ふしぎなことではありません。

複数の検定を同時に行うことを 多重比較 と呼びます。互いに独立な $m$ 個の検定をすべて有意水準 $\alpha$ で行うとき、1つ以上で第一種の過誤が起きる確率は、次のようになります。

$$\text{FWER} = 1 - (1 - \alpha)^m$$

この確率を ファミリーワイズエラー率（FWER）と呼びます。$\alpha = 0.05$ で計算すると、次のとおりです。

検定の数 $m$	1	5	10	20
FWER	0.05	0.226	0.401	0.642

20回検定すれば、差がなくても64%の確率で何かが「発見」されます。多重比較の手法は、このFWERを $\alpha$ 以下に抑えるためのものです。

1つずつ見ていきましょう。

1. ボンフェローニ法

最も単純な方法です。$m$ 個の検定の有意水準を、それぞれ $\alpha/m$ にします。

なぜ大丈夫なのでしょうか？ 確率の不等式 $P(A_1 \cup \dots \cup A_m) \le \sum_i P(A_i)$ より、FWERは $m \times \alpha/m = \alpha$ 以下になるからです。検定どうしの独立性は要りません。ただし、$m$ が大きいと基準が厳しすぎて、検出力が下がります。

2. ホルム法

ボンフェローニ法を改良した方法です。p値を小さい順に $p_{(1)} \le \dots \le p_{(m)}$ と並べます。

【ホルム法の手順】

1. $p_{(1)}$ を $\alpha/m$ と比べる
2. 棄却できたら、$p_{(2)}$ を $\alpha/(m-1)$ と比べる
3. 同じように、基準をゆるめながら続ける
4. 棄却できなかった時点で止め、残りはすべて棄却しない

FWERは同じく $\alpha$ 以下で、ボンフェローニ法で棄却できるものは、すべて棄却できます。つまり、ホルム法のほうが検出力は高いです。

3. 分散分析のあとの多重比較

3群以上の平均の比較には、目的に応じた専用の方法があります。

方法	比べるもの	使う分布
テューキー法	すべての2群の組	スチューデント化された範囲の分布
ダネット法	対照群と他の各群	多変量t分布
シェフェ法	あらゆる対比	F分布

例題：ボンフェローニ法とホルム法

5つの検定のp値が、小さい順に 0.002, 0.011, 0.020, 0.040, 0.300 でした。$\alpha = 0.05$ で、それぞれの方法で棄却される検定はいくつでしょうか？

【解き方】

1. ボンフェローニ法： 基準は $0.05 \div 5 = 0.01$。0.002だけが下回るので1個
2. ホルム法： 0.002 ≤ 0.01 で棄却
3. 次に 0.011 ≤ 0.0125 で棄却
4. 次に 0.020 と $0.05 \div 3 \approx 0.0167$ を比べると上回るので、ここで止める

答えは、ボンフェローニ法が1個、ホルム法が2個です。補正をしなければ4個が「有意」になるところでした。

補足（ここは読み飛ばしてOK）： 遺伝子解析のように検定が数千もある場面では、FWERでは厳しすぎます。そこで、棄却したものの中の誤りの割合の期待値（FDR）を抑える、ベンジャミニ・ホッホベルク法などが使われます。上の例題の $\alpha = 0.05$ なら、この方法で4個が棄却されます。

以上が、多重比較についての解説です。

細かい手順を忘れてしまっても問題ありません。ここでは、「有意差なしは差なしではない」「人数は実験の前に計算する」「検定を繰り返すなら基準を厳しくする」という点だけ押さえておきましょう。

今回のまとめ

誤報率を決め、人数を用意し、繰り返すなら厳しくする

それでは、今回の内容を振り返ります。

今回は、検定の性能をどう測り、どう設計するかについて紹介しました。検定は「有意か、有意でないか」を読むだけの道具ではありません。誤報の率と見逃しの率を先に決めて、それに見合う人数を用意するところから始まります。

今回のポイントを振り返りましょう。

振り返り

• 第一種の過誤は火災報知器の誤報、第二種の過誤は見逃し。検定は誤報の率を $\alpha$ に抑える。
• p値は $H_0$ のもとでのデータの珍しさで、$H_0$ が正しい確率ではない。
• 検出力は差を見つける確率で、$d = \sqrt{n}(\mu - \mu_0)/\sigma$ で決まる。検出力曲線は $\alpha$ から始まる。
• 必要な標本の大きさは $n = \{(z_\alpha + z_\beta)\sigma/\Delta\}^2$ で、差を半分にすると4倍になる。
• 検定を繰り返すとFWERが膨らむ。ボンフェローニ法やホルム法で基準を厳しくする。

キーワードのおさらい

• 仮説: 母数についての主張。帰無仮説と対立仮説を立てる
• 検定統計量: 判断に使う統計量
• p値: $H_0$ のもとで、観測値かそれより極端な値が出る確率
• 棄却域: $H_0$ を棄却する検定統計量の値の範囲
• 第一種の過誤: $H_0$ が真なのに棄却する誤り
• 第二種の過誤: $H_0$ が偽なのに棄却しない誤り
• 検出力（検定力）: $H_1$ が真のときに $H_0$ を棄却する確率
• 検出力曲線: 真の母数と棄却する確率の関係を表す曲線
• サンプルサイズの決定: 有意水準、検出力、差、ばらつきから必要な $n$ を求めること
• 多重比較: 複数の検定を同時に行い、全体の第一種の過誤を抑える方法

さて、今回は検定の性能を測りました。では、同じ有意水準の検定の中で、検出力が最も高い検定はどうすれば作れるのでしょうか？

次回は、最も強力な検定の作り方である「ネイマン・ピアソンの基本定理」について紹介します。

それでは、次の記事へ進んでいきましょう。