統計学 学習ノート

はじめに

「$n$ が小さい二項分布で正規近似を使ったら、結論が変わるの？」

例えば、不良率20%とされる工程の製品を15個調べて、7個が不良だったとします。正規近似で $z$ を計算すると、両側のp値は0.01ほどです。一方で、二項分布の確率を直接足すと、0.02から0.04の値が出ます。近似と正確な計算の差が、2倍から4倍もあるのです。

実は、1級で問われるのは、近似の公式ではありません。正確な分布を導く筋道と、近似が成り立つ理由です。局外パラメータがあれば条件付けで消し、カイ二乗の近似はテイラー展開で導き、分布が分からなければ順位に頼る。どれも理屈があります。

そこで登場するのが、今回の主役 二項分布・ポアソン分布など基本的な分布に関する検定、適合度の検定、ノンパラメトリック検定 です。正規分布の外に広がる検定を、3つの視点で整理します。

前回の記事では、正規分布の検定を尤度比から導きました。今回の記事では、正規分布を離れたときの検定の作り方を、導出を中心に解説します。

二項分布・ポアソン分布など基本的な分布に関する検定

はじめに、基本的な分布の正確な検定について解説します。

結論を一言で言うと、十分統計量の正確な分布で判定し、片側なら単調尤度比で最適性が保証される ということです。指数型分布族なら、標本の情報は十分統計量にすべて集まります。例えるなら、クラス全員の答案を見なくても、合計点の記録だけ見れば判定できる、という状況です。

分布	十分統計量 $T$	$H_0$ のもとの分布
ベルヌーイ分布 $(p_0)$	$\sum_i X_i$	$B(n, p_0)$
ポアソン分布 $(\lambda_0)$	$\sum_i X_i$	$Po(n\lambda_0)$
指数分布（率 $\lambda_0$）	$2\lambda_0\sum_i X_i$	$\chi^2(2n)$
幾何分布 $(p_0)$	$\sum_i X_i$	負の二項分布

これらはすべて単調尤度比を持つので、片側検定はカーリン・ルービンの定理により一様最強力です。離散型なら、大きさをちょうど $\alpha$ にするには確率化が要ります。実務では、$\alpha$ 以下で最大の棄却域を使います。

1つずつ見ていきましょう。

1. 二項分布の検定とベータ分布

$X \sim B(n, p)$ のp値は確率の足し算です。ただし、$n$ が大きいと項が増えます。そこで便利なのが、ベータ分布との次の関係です。

$$P(X \ge k) = P\big(Y \le p\big), \qquad Y \sim Be(k,\ n - k + 1)$$

証明は順序統計量で一言です。独立な一様乱数 $U_1, \ldots, U_n$ のうち $p$ 以下の個数が $X$ です。「$p$ 以下が $k$ 個以上ある」ことと、「小さいほうから $k$ 番目の $U_{(k)}$ が $p$ 以下である」ことは同じです。そして、$U_{(k)}$ は $Be(k, n - k + 1)$ に従います。

ポアソン分布の $P(X \ge x) = P(\chi^2(2x) \le 2\lambda)$ と同じ発想です。「回数の分布」と「待ち時間の分布」は、裏表の関係にあります。

2. 両側のp値の定義

離散型の両側検定には、p値の決め方が2通りあります。分布が非対称なので、左右の裾を「同じ極端さ」でそろえられないからです。

【両側のp値の2つの定義】

1. 2倍法： 観測された側の裾の確率を2倍する（1を超えたら1とする）
2. 確率順法： 観測値の確率 $P(X = x)$ 以下の確率を持つ値について、確率をすべて足す

例題：二項分布の両側検定

$X \sim B(15, p)$ で $x = 7$ を観測した。$H_0: p = 0.2$ 対 $H_1: p \ne 0.2$ のp値を、(1) 2倍法、(2) 確率順法、(3) 連続修正なしの正規近似で求めよ。$p = 0.2$ のとき、$P(X = 0) = 0.0352$、$P(X = 7) = 0.0138$、$P(X \ge 7) = 0.0181$ である。

【解答】

(1) $x = 7$ は平均 $np = 3$ より右なので、$2 \times 0.0181 = 0.0361$ である。

(2) $P(X = x) \le 0.0138$ を満たす値を探す。右側では $x = 7$ と、$x$ が8以上の値がこれを満たす。左側では最も小さい確率が $P(X = 0) = 0.0352 > 0.0138$ なので、左側に該当する値はない。よってp値は $P(X \ge 7) = 0.0181$ である。

(3) $z = (7 - 3) \div \sqrt{15 \times 0.2 \times 0.8} = 2.58$ で、両側のp値は0.0098である。

正規近似は、右に裾の長い分布の裾の確率を、小さく見積もっています。$np = 3$ は、近似が使える目安の外です。連続修正を入れて $(6.5 - 3) \div 1.55 = 2.26$ とすると、p値は0.024となり、正確な値に近づきます。

3. ポアソン分布の検定

ポアソン分布も同様です。$X_1, \ldots, X_5$ が $Po(\lambda)$ に従うとき、$H_0: \lambda = 2$ 対 $H_1: \lambda > 2$ を考えます。合計が17なら、$T \sim Po(10)$ より $P(T \ge 17) = 0.027$ です。区間推定の記事の関係を使えば、$P(\chi^2(34) \le 20) = 0.027$ と計算しても同じです。5%で棄却します。

以上が、基本的な分布の検定についての解説です。

局外パラメータを条件付けで消す

次に、2つのポアソン分布を比べる場面について説明します。

$X_1 \sim Po(\lambda_1 t_1)$、$X_2 \sim Po(\lambda_2 t_2)$ が独立で、$t_1, t_2$ は観測期間です。$H_0: \lambda_1 = \lambda_2$ を検定します。問題は、共通の値 $\lambda$ が未知で、局外パラメータとして残ることです。

正規分布では、比をとって局外パラメータを消しました。ここでは別の手を使います。十分統計量で条件付ける のです。

例えるなら、2つのチームの得点を比べるとき、試合全体の総得点はいったん脇に置いて、「総得点のうち、どちらのチームが何点取ったか」という配分だけを見るようなものです。試合の点の入りやすさ（局外パラメータ）は、総得点に吸収されます。

例題：ポアソン分布の条件付き検定

上の設定で、$S = X_1 + X_2$ とする。(1) $S = s$ のもとでの $X_1$ の条件付き分布を導け。(2) $H_0$ のもとで、この分布が $\lambda$ によらないことを確かめよ。(3) A工場は2年間で事故12件、B工場は1年間で事故13件だった。$H_1: \lambda_A < \lambda_B$ の検定を、有意水準5%で行え。$X \sim B(25, 2/3)$ のとき $P(X \le 12) = 0.0415$ である。

【解答】

(1) $\mu_i = \lambda_i t_i$ とおく。再生性より $S \sim Po(\mu_1 + \mu_2)$ である。$0 \le x \le s$ に対して、次の式を得る。

$$P(X_1 = x \mid S = s) = \frac{\dfrac{e^{-\mu_1}\mu_1^{x}}{x!} \cdot \dfrac{e^{-\mu_2}\mu_2^{s-x}}{(s-x)!}}{\dfrac{e^{-(\mu_1 + \mu_2)}(\mu_1 + \mu_2)^s}{s!}} = \binom{s}{x}\left(\frac{\mu_1}{\mu_1 + \mu_2}\right)^{x}\left(\frac{\mu_2}{\mu_1 + \mu_2}\right)^{s-x}$$

よって、$X_1 \mid S = s$ は $B(s, \mu_1/(\mu_1 + \mu_2))$ に従う。

(2) $H_0$ のもとで成功確率は $\lambda t_1/(\lambda t_1 + \lambda t_2) = t_1/(t_1 + t_2)$ であり、$\lambda$ が消える。

(3) $s = 25$、$q = 2/(2 + 1) = 2/3$ である。$X_A$ が小さいときに棄却する。条件付きのp値は $P(X \le 12) = 0.0415$ で、0.05以下なので $H_0$ を棄却する。

答案で一言足すと、よい点があります。どの $s$ についても条件付きの有意水準が $\alpha$ なら、$S$ の分布で平均しても有意水準は $\alpha$ です。つまり、$E[\varphi \mid S] \le \alpha$ なら $E[\varphi] \le \alpha$ です。条件付けは、局外パラメータの値によらず第一種の過誤を守ります。

ここがポイントです。同じ発想は2×2の分割表にも使えます。周辺度数で条件付けると超幾何分布が現れます。これがフィッシャーの正確検定で、後の分割表の記事で扱います。

試験のポイント：「局外パラメータを消す」手は3つです。比をとる（$t$、$F$）、最大化する（尤度比）、十分統計量で条件付ける（ポアソン、分割表）。問題の分布を見て選びます。

以上が、条件付き検定についての説明です。

適合度の検定：カイ二乗を導く

続いて、分布そのものを検定する方法を解説します。

$n$ 個の観測を $k$ 個のセルに分類し、度数を $N_1, \ldots, N_k$ とします。$(N_1, \ldots, N_k)$ は確率 $(p_1, \ldots, p_k)$ の多項分布に従います。$H_0: p_j = p_{j0}$ を調べるのが 適合度の検定 です。天気予報の「晴れ60%、雨40%」が、実際の出現の割合と合っているか確かめるようなものです。

期待度数を $e_j = np_{j0}$ とします。統計量は2つあります。

$$X^2 = \sum_{j=1}^{k}\frac{(N_j - e_j)^2}{e_j}, \qquad G^2 = 2\sum_{j=1}^{k} N_j\log\frac{N_j}{e_j}$$

$X^2$ はピアソンのカイ二乗統計量です。$G^2$ は尤度比検定の $-2\log\lambda$ です。多項分布の最尤推定値が $\hat{p}_j = N_j/n$ であることから、すぐに導けます。

1つずつ見ていきましょう。

1. 2つの統計量が同じ分布に近づく理由

$d_j = N_j - e_j$ とおくと $\sum_j d_j = 0$ です。$N_j\log(N_j/e_j)$ を $d_j/e_j$ についてテイラー展開します。

$$(e_j + d_j)\log\left(1 + \frac{d_j}{e_j}\right) = (e_j + d_j)\left(\frac{d_j}{e_j} - \frac{d_j^2}{2e_j^2} + \cdots\right) = d_j + \frac{d_j^2}{2e_j} + \cdots$$

$j$ について足すと、1次の項は $\sum_j d_j = 0$ で消えます。2倍すると、$G^2 \approx \sum_j d_j^2/e_j = X^2$ です。ピアソンの統計量は、尤度比の2次近似だったのです。

2. 自由度が k − 1 になる理由

$Z_j = (N_j - e_j)/\sqrt{e_j}$ とおくと、$X^2 = \sum_j Z_j^2$ です。多項分布の分散と共分散は $\mathrm{Var}(N_j) = np_j(1 - p_j)$、$\mathrm{Cov}(N_i, N_j) = -np_ip_j$ です。ベクトル $u = (\sqrt{p_1}, \ldots, \sqrt{p_k})^\top$ を使うと、$Z$ の共分散行列は次の形です。

$$\Sigma = I - uu^\top$$

$|u|^2 = \sum_j p_j = 1$ なので、$\Sigma$ は $u$ に直交する $k - 1$ 次元の空間への正射影です。多次元の中心極限定理より、$Z$ は、標準正規ベクトルをこの空間に射影したものに分布収束します。その長さの2乗は $\chi^2(k - 1)$ に従います。

言葉で言うと、合計が $n$ に固定されているので、$k$ 個の度数のうち自由に動けるのは $k - 1$ 個です。席替えで最後の1人は座る席が決まっている、というイメージです。$u$ の方向の成分は、制約 $\sum_j N_j = n$ によって消えるのです。

$k = 2$ で確かめましょう。$N_1 = X$、$N_2 = n - X$ なら、次のようになります。

$$X^2 = \frac{(X - np)^2}{np} + \frac{(X - np)^2}{n(1 - p)} = \frac{(X - np)^2}{np(1 - p)} = z^2$$

3. 母数を推定するとき

$p_j = p_j(\theta)$ で、$\theta$ が $q$ 次元の未知の母数なら、セルの度数から最尤推定した $\hat{\theta}$ を代入して $e_j = np_j(\hat{\theta})$ とします。このとき、自由度は $k - 1 - q$ です。推定が $Z$ の動ける方向をさらに $q$ 次元減らすからです。尤度比検定の言葉で言うと、全体の次元 $k - 1$ から $H_0$ の次元 $q$ を引いた値です。

補足（ここは読み飛ばしてOK）： セルに分ける前の個々のデータから最尤推定すると、極限の分布は $\chi^2(k - 1 - q)$ からずれ、$\chi^2(k - 1 - q)$ と $\chi^2(k - 1)$ の間になることが知られています。自由度の公式は、セルの度数による推定が前提です。

例題：遺伝型の適合度

ある遺伝子の3つの型 AA、Aa、aa の度数が、200人で 70、80、50 だった。ハーディ・ワインベルクの仮説 $p_{AA} = \theta^2$、$p_{Aa} = 2\theta(1 - \theta)$、$p_{aa} = (1 - \theta)^2$ を検定する。(1) $\theta$ の最尤推定量を導け。(2) $X^2$ の値と自由度を求め、有意水準5%で検定せよ。$\chi^2_{0.05}(1) = 3.84$ とする。

【解答】

(1) 度数を $a, b, c$ とすると、対数尤度は定数を除いて次の式である。

$$\ell(\theta) = (2a + b)\log\theta + (b + 2c)\log(1 - \theta)$$

$\ell'(\theta) = 0$ を解いて、$\hat{\theta} = (2a + b)/(2n)$ である。これはAの遺伝子の割合である。

(2) $\hat{\theta} = 220 \div 400 = 0.55$ である。期待度数は $200 \times 0.3025 = 60.5$、$200 \times 0.495 = 99$、$200 \times 0.2025 = 40.5$ である。

$$X^2 = \frac{9.5^2}{60.5} + \frac{19^2}{99} + \frac{9.5^2}{40.5} = 7.37$$

自由度は $3 - 1 - 1 = 1$ である。$7.37 > 3.84$ なので、$H_0$ を棄却する。

同じデータで $G^2$ を計算すると7.40で、$X^2$ とほぼ同じ値です。

以上が、適合度の検定についての解説です。

ノンパラメトリック検定：分布によらない仕組み

最後に、分布の形を仮定しない検定を見ていきましょう。

ノンパラメトリック検定 の核心は、$H_0$ のもとで統計量の分布が、母集団の分布 $F$ によらないことです。これを分布によらない（distribution-free）性質と呼びます。証明の型は3つあります。

【分布によらない3つの仕組み】

1. 符号にする： 中央値より上か下かだけを見る。分布は二項分布に帰着する
2. 順位にする： 値を順位に置き換える。分布は順列の一様分布に帰着する
3. 分布関数を通す： 確率積分変換で一様分布に帰着する

運動会の順位に例えると分かりやすいです。タイムの測り方がどんな単位でも、測定器が歪んでいても、「何番目か」は変わりません。分布の形という厄介者が、順位にすると消えるのです。

1つずつ見ていきましょう。

1. 符号検定

連続型の分布で $H_0$：中央値 $= m_0$ とします。$X_i > m_0$ となる個数 $B$ は、$F$ の形によらず $B(n, 1/2)$ に従います。例えば、10人中8人で測定値が基準を上回れば、片側のp値は $P(B \ge 8) = 0.0547$ です。これが 符号検定 です。

2. 順位和の検定

$X_1, \ldots, X_m$ と $Y_1, \ldots, Y_n$ が独立で、$H_0$：2つの分布は同じ連続型の分布 $F$ であるとします。$N = m + n$ 個の値は同じ分布からの独立な標本なので、交換可能です。よって、$X$ たちが占める順位の組は、$\binom{N}{m}$ 通りのどれも等確率です。$F$ は式に現れません。

$X$ の順位の和を $W$ とします。$W$ は、$\{1, \ldots, N\}$ から $m$ 個を非復元抽出した和です。有限母集団の平均は $(N + 1)/2$、分散は $(N^2 - 1)/12$ です。非復元抽出の公式より、次の結果を得ます。

$$E[W] = \frac{m(N + 1)}{2}, \qquad \mathrm{Var}(W) = m \cdot \frac{N^2 - 1}{12} \cdot \frac{N - m}{N - 1} = \frac{mn(N + 1)}{12}$$

具体的に見てみましょう。$m = 3$、$n = 4$ なら、組は35通りで、$E[W] = 12$、$\mathrm{Var}(W) = 8$ です。最小の $W = 6$ は1通り（順位1、2、3）、$W = 7$ も1通り（1、2、4）なので、$P(W \le 7) = 2/35 = 0.057$ です。分布は整数の組み合わせの数え上げだけで決まります。

順位検定の詳しい性質は、後のノンパラメトリック法の記事で扱います。

3. コルモゴロフ・スミルノフ検定

適合度の検定は、連続型のデータでもセルに分ければ使えます。しかし、分け方で結果が変わります。連続型のまま調べるのが、次の統計量です。

$$D_n = \sup_{x}\,\big|F_n(x) - F_0(x)\big|$$

$F_n$ は経験分布関数、$F_0$ は $H_0$ の分布関数です。$F_0$ が連続なら、$D_n$ の分布は $F_0$ によりません。証明です。$U_i = F_0(X_i)$ は確率積分変換により $U(0, 1)$ に従います。$u = F_0(x)$ と置き換えると、$F_n(x)$ は $U_i$ の経験分布関数 $G_n(u)$ に等しいので、次の式になります。

$$D_n = \sup_{0 \le u \le 1}\,\big|G_n(u) - u\big|$$

右辺に $F_0$ は残っていません。これで分布の表は1つで済みます。

例題：一様分布への適合

次の10個の値が $U(0, 1)$ に従うかを、コルモゴロフ・スミルノフ検定で調べよ。有意水準5%の棄却の境目は0.409とする。

0.08, 0.17, 0.21, 0.28, 0.33, 0.45, 0.52, 0.56, 0.60, 0.64

【解答】

$F_n$ は階段関数なので、$\sup$ は各点の跳びの前後で達成される。$i$ 番目の値 $x_{(i)}$ について、$i/10 - x_{(i)}$ と $x_{(i)} - (i - 1)/10$ の最大を調べればよい。最大は $i = 10$ のときの $1 - 0.64 = 0.36$ である。よって $D_{10} = 0.36$ である。$0.36 < 0.409$ なので、$H_0$ を棄却しない。

値は全部0.64以下で、右側がすっぽり空いています。それでも10個では棄却されません。$\sqrt{n} D_n$ の極限分布の5%点は約1.36なので、境目はおよそ $1.36/\sqrt{n}$ です。$n$ が小さいと、この検定はかなり鈍いのです。

試験のポイント：検定統計量の分布が $F$ によらないことを示すには、「符号」「順位」「確率積分変換」のどれに帰着するかを書きます。計算より、この1文が答案の中心です。

以上が、ノンパラメトリック検定についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「正確な分布、条件付け、順位という3つの逃げ道がある」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は正規分布の外の検定を、導出の視点で整理しました。分布が分かるなら十分統計量の正確な分布を使い、局外パラメータがあるなら条件付けで消します。多項分布ではテイラー展開でカイ二乗を導き、分布の形が分からないなら順位に置き換えます。場面は違っても、「$H_0$ のもとの分布を確定させる」という目的は同じです。

今回のポイントを振り返りましょう。

振り返り

• 指数型分布族の片側検定は、十分統計量の正確な分布で作れて、一様最強力になる。
• 離散型の両側のp値には、2倍法と確率順法がある。$np$ が小さいと、正規近似は大きくずれる。
• ポアソン分布の比較は、合計で条件付けると二項分布に帰着する。
• ピアソンの $X^2$ は尤度比 $G^2$ の2次近似。自由度は $k - 1 - q$ で、射影の次元から導ける。
• 分布によらない検定は、符号、順位、確率積分変換のどれかに帰着する。

キーワードのおさらい

• 二項分布・ポアソン分布など基本的な分布に関する検定: 十分統計量の正確な分布による検定
• 条件付き検定: 十分統計量で条件付けて、局外パラメータを消す検定
• 適合度の検定: 度数が想定した確率に合うかを調べる検定
• ノンパラメトリック検定: 分布の形を仮定しない検定
• 符号検定: 基準より上の個数を二項分布で調べる検定
• コルモゴロフ・スミルノフ検定: 経験分布関数と想定の分布関数の最大の差で調べる検定

さて、検定の基本の道具はすべてそろいました。前回の $k$ 群の $F$ 検定に戻りましょう。因子が2つになったら、どう分解すればよいでしょうか？ 差があると分かったら、どの群とどの群の差かを、どう判定すればよいでしょうか？

次回は、交互作用、共分散分析、多重比較までを導く「分散分析」について紹介します。

それでは、次の記事へ進んでいきましょう。