統計学 学習ノート

はじめに

「度数が2のマスがある表に、カイ二乗検定を使ってもいいの？」

分割表の検定は、2級からおなじみです。期待度数を求めて、$(O - E)^2/E$ を足すだけなので、手順で迷うことはありません。ところが、実際のデータでは事情が変わります。患者が16人しかいない。あるいは、同じ人の前後を比べている。こうなると、いつもの公式をそのまま使ってよいのか、判断が必要になります。

例えば、体重計を思い浮かべてください。大人の体重は問題なく量れても、1グラム単位の香辛料は量れませんし、同じ人の前後の差を見たいなら、別の人どうしを比べても意味がありません。道具には、それぞれ使える場面があります。

実は、分割表の検定は、すべて「何を固定して、どの分布で確率を計算するか」という1つの問いの答えとして導けます。この問いに答えられれば、公式を暗記しなくても、自分で統計量を作れるようになります。

そこで登場するのが、今回の主役 フィッシャー検定 と マクネマー検定 です。

前回の記事では、量的な変数の回帰分析を導きました。今回の記事では、カイ二乗検定の尤度からの導出、イェーツの補正の理由、周辺度数を固定するフィッシャー検定、対応のある表のマクネマー検定、そしてそれらの使い分けについて解説します。

カイ二乗検定を尤度から導く

はじめに、カイ二乗検定の導出について解説します。

$I \times J$ の分割表で、セルの度数を $n_{ij}$、総度数を $N$ とします。$N$ を固定すると、度数の全体は確率 $p_{ij}$ の多項分布に従います。独立性の帰無仮説は、$H_0: p_{ij} = p_{i+}\,p_{+j}$ です。$p_{i+}$ は行の周辺確率、$p_{+j}$ は列の周辺確率です。

$H_0$ のもとで対数尤度を書くと、行の部分と列の部分に分かれます。

$$\ell = \sum_{i} n_{i+} \log p_{i+} + \sum_{j} n_{+j} \log p_{+j} + \text{定数}$$

それぞれを最大化すると、$\hat{p}_{i+} = n_{i+}/N$、$\hat{p}_{+j} = n_{+j}/N$ です。ここから、おなじみの期待度数が出てきます。

$$E_{ij} = N\hat{p}_{i+}\hat{p}_{+j} = \frac{n_{i+}\, n_{+j}}{N}$$

つまり、期待度数は「勘で作った値」ではなく、$H_0$ のもとでの最尤推定値なのです。

対立仮説のもとでは $\hat{p}_{ij} = n_{ij}/N$ なので、尤度比検定の統計量は次のようになります。$O_{ij} = n_{ij}$ と書きます。

$$G^2 = 2\sum_{i,j} O_{ij} \log\frac{O_{ij}}{E_{ij}}$$

自由度は、推定する母数の個数の差です。対立仮説の母数は $IJ - 1$ 個、$H_0$ の母数は $(I - 1) + (J - 1)$ 個なので、差は $(I - 1)(J - 1)$ です。

では、カイ二乗検定 の統計量とはどう関係するのでしょうか？ $\delta_{ij} = O_{ij} - E_{ij}$ とおいて、対数をテイラー展開します。$\log(1 + u) = u - u^2/2 + \cdots$ を使うと、次のとおりです。

$$O\log\frac{O}{E} = (E + \delta)\left(\frac{\delta}{E} - \frac{\delta^2}{2E^2} + \cdots\right) = \delta + \frac{\delta^2}{2E} + \cdots$$

全セルの和をとると、$\sum \delta_{ij} = 0$ なので1次の項が消えます。残るのは次の式です。

$$G^2 \approx \sum_{i,j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}} = \chi^2$$

要するに、ピアソンのカイ二乗統計量は、尤度比統計量の2次の近似です。同じ山の高さを、頂上の近くで放物線に置き換えて測っているイメージです。どちらも $H_0$ のもとで、漸近的に自由度 $(I-1)(J-1)$ の $\chi^2$ 分布に従います。

ここで、データの取り方の違いも確認しましょう。行の合計を前もって決める場合（新教材40人、従来の教材40人など）は、全体で1つの多項分布ではなく、行ごとに独立な多項分布になります。このときの $H_0$ は「各行の分布が同じ」という同質性です。母数の差は $I(J - 1) - (J - 1) = (I - 1)(J - 1)$ で、同じ統計量、同じ自由度になります。問いは違っても、計算は同じなのです。

2×2の表では、短い公式が使えます。度数を $a, b, c, d$、行の合計を $r_1, r_2$、列の合計を $c_1, c_2$ とします。$a$ のセルで計算すると、$O - E$ は次のとおりです。

$$a - \frac{r_1 c_1}{N} = \frac{a(a + b + c + d) - (a + b)(a + c)}{N} = \frac{ad - bc}{N}$$

周辺度数が決まっているので、4つのセルの $|O - E|$ はすべて同じです。また、$\sum 1/E = N^3/(r_1 r_2 c_1 c_2)$ です。この2つから、次の公式が導けます。

$$\chi^2 = \frac{N(ad - bc)^2}{r_1 r_2 c_1 c_2}$$

例題：2×2の表の独立性を検定する

2種類の教材で学んだ生徒の合否が次のとおりだった。

	合格	不合格	計
新教材	30	10	40
従来の教材	18	22	40
計	48	32	80

〔1〕$\chi^2$ の値を求め、有意水準5%で検定せよ。ただし $\chi^2_{0.05}(1) = 3.84$ とする。〔2〕2つの比率の差の検定の統計量 $z$ について、$z^2 = \chi^2$ であることを、この数値で確かめよ。

【解答】

〔1〕$ad - bc = 660 - 180 = 480$ である。公式に代入して、次を得る。

$$\chi^2 = \frac{80 \times 480^2}{40 \times 40 \times 48 \times 32} = 7.5$$

$7.5 > 3.84$ なので、$H_0$ を棄却する。教材と合否は独立とは言えない。

〔2〕比率は $0.75$ と $0.45$、併合した比率は $48/80 = 0.6$ である。

$$z = \frac{0.75 - 0.45}{\sqrt{0.6 \times 0.4 \times (1/40 + 1/40)}} = 2.739, \qquad z^2 = 7.5$$

したがって、$z^2 = \chi^2$ である。

なお、同じ表で $G^2$ を計算すると7.64で、$\chi^2$ とほぼ同じです。

せっかくなので、2×2より大きな例も見てみましょう。朝食を毎日とる50人ととらない50人の部活動が、順に運動部24人・16人、文化部16人・14人、無所属10人・20人だったとします。列の合計は40、30、30人なので、期待度数は20、15、15です。$\chi^2 = 5.07$ で、自由度 $(2-1)(3-1) = 2$ の5%点の5.99を下回るので、$H_0$ は棄却できません。

試験のポイント：期待度数が最尤推定値であること、自由度が「母数の個数の差」であることを、答案で説明できるようにします。

以上が、カイ二乗検定の導出についての解説です。

イェーツの補正：階段を坂道で近似する調整

次に、イェーツの補正について説明します。

イェーツの補正 は、2×2の表で、離散の分布を連続の分布で近似するときのズレを直す調整です。準1級で公式は学びました。ここでは、補正の量がなぜ $N/2$ なのかを導きます。

周辺度数を固定すると、表の自由に動ける部分は $a$ だけです。$a$ が1増えると、$b$ と $c$ が1ずつ減り、$d$ が1増えます。このとき、$ad - bc$ はどれだけ動くでしょうか？

$$(a + 1)(d + 1) - (b - 1)(c - 1) = (ad - bc) + (a + b + c + d) = (ad - bc) + N$$

つまり、$ad - bc$ の目盛りは $N$ きざみです。階段の1段の高さが $N$ だと考えてください。階段を滑らかな坂道で近似するときは、段の真ん中を通すのが正しいやり方です。そこで、1段の半分の $N/2$ を $|ad - bc|$ から引きます。

$$\chi^2_{\text{補正}} = \frac{N\left(|ad - bc| - N/2\right)^2}{r_1 r_2 c_1 c_2}$$

$O - E$ で言えば、$a$ の目盛りは1なので、$|O - E|$ から $1/2$ を引くことと同じです。二項分布の正規近似で学んだ連続修正を、分割表に持ち込んだものです。$|ad - bc| < N/2$ のときは引きすぎになるので、$\chi^2 = 0$ として扱います。

先ほどの教材の例で計算すると、次のようになります。

$$\chi^2_{\text{補正}} = \frac{80 \times (480 - 40)^2}{40 \times 40 \times 48 \times 32} = 6.30$$

補正なしのp値は0.0062で、補正ありのp値は0.0121です。次の節で学ぶフィッシャー検定でこの表の両側p値を計算すると0.0115なので、補正ありのほうが、確率を正確に計算した値に近いことが分かります。

なお、補正は2×2の表、つまり自由度1の場合に使うものです。

補足（ここは読み飛ばしてOK）： 補正は検定を保守的にします。そのため、周辺度数を固定しない標本のとり方では、補正をしないほうが第一種の過誤の確率が名目の値に近いという議論もあります。ソフトの出力を読むときは、補正の有無を確かめましょう。

試験のポイント：「$a$ を1動かすと $ad - bc$ が $N$ 動く」から $N/2$ が出てきます。公式を忘れても、この1行から再現できます。

以上が、イェーツの補正についての説明です。

フィッシャー検定：周辺度数を固定して正確に数える

続いて、フィッシャー検定について解説します。

度数が小さいと、$\chi^2$ 分布の近似そのものが信用できません。そこで、近似をやめて確率を正確に計算します。これが フィッシャー検定（フィッシャーの正確検定）です。

問題は、確率を計算したくても、未知の $p_1, p_2$ が邪魔をすることです。これを解決する鍵が「周辺度数を固定する」という操作です。導きましょう。

2つの群が独立で、$X \sim B(r_1, p_1)$、$Y \sim B(r_2, p_2)$ とします。$q_k = 1 - p_k$ とします。同時確率は次の形です。

$$P(X = x, Y = y) = \binom{r_1}{x}\binom{r_2}{y}\left(\frac{p_1}{q_1}\right)^{x}\left(\frac{p_2}{q_2}\right)^{y} q_1^{r_1} q_2^{r_2}$$

ここで、$X + Y = t$ という条件をつけます。$y = t - x$ を代入して、$x$ に依存しない因子を消すと、オッズ比 $\psi = (p_1/q_1)/(p_2/q_2)$ だけが残ります。

$$P(X = x \mid X + Y = t) = \frac{\binom{r_1}{x}\binom{r_2}{t - x}\psi^{x}}{\sum_{u}\binom{r_1}{u}\binom{r_2}{t - u}\psi^{u}}$$

母数が2つから1つに減りました。$H_0: p_1 = p_2$ は $\psi = 1$ と同じです。このとき、分母はヴァンデルモンドの等式で $\binom{N}{t}$ となり、超幾何分布 が得られます。

$$P(X = x \mid X + Y = t) = \frac{\binom{r_1}{x}\binom{r_2}{t - x}}{\binom{N}{t}}$$

未知の共通の確率 $p$ が、きれいに消えました。$H_0$ のもとで $T = X + Y$ は $p$ の十分統計量なので、$T$ で条件をつけた分布は $p$ を含みません。十分統計量の定義そのものです。これがフィッシャー検定の理論的な根拠です。

袋の中のくじに例えられます。$N$ 本のくじのうち、当たりは $t$ 本と決まっています。$H_0$ が正しいなら、当たりはくじの持ち主とは無関係に、$r_1$ 本と $r_2$ 本に振り分けられたはずです。その振り分け方を全部数えるのです。

具体的に見てみましょう。紅茶とミルクの注ぐ順番を飲み分けられるという人に、8杯を渡します。4杯ずつと伝えて、どちらかを当ててもらいます。全問正解の確率は、当て推量なら $1/\binom{8}{4} = 1/70 \approx 0.014$ です。3杯だけ正解のパターンは $\binom{4}{3}\binom{4}{1} = 16$ 通りなので、「3杯以上の正解」の確率は $17/70 \approx 0.243$ です。

例題：小さな表の正確検定

新しい治療を受けた8人と従来の治療を受けた8人の結果が次のとおりだった。

	改善	改善せず	計
新しい治療	7	1	8
従来の治療	2	6	8
計	9	7	16

〔1〕周辺度数を固定したとき、$H_0$ のもとで左上の度数 $X$ の分布を求めよ。〔2〕片側と両側のp値を求めよ。〔3〕$\chi^2$ 検定の結果と比べよ。

【解答】

〔1〕$X$ は超幾何分布に従い、$P(X = x) = \binom{8}{x}\binom{8}{9 - x}/\binom{16}{9}$、$x = 1, \dots, 8$ である。分母は11,440である。

$x$	1	2	3	4	5	6	7	8
組合せの数	8	224	1,568	3,920	3,920	1,568	224	8

〔2〕片側のp値は $P(X \ge 7) = (224 + 8)/11440 = 0.0203$ である。両側のp値は、観測された表の確率以下の確率をもつ表の確率をすべて足して、$(8 + 224 + 224 + 8)/11440 = 0.0406$ である。

〔3〕$\chi^2 = 16 \times 40^2/(8 \times 8 \times 9 \times 7) = 6.35$ でp値は0.0117、補正をすると $\chi^2 = 4.06$ でp値は0.0438である。補正なしの $\chi^2$ 検定はp値を小さく見積もりすぎ、補正ありは正確な値に近い。

ここがポイントです。両側のp値の定め方は1通りではありません。上の「確率が観測値以下の表を足す」方法のほかに、「片側のp値を2倍する」方法もあります。今回は分布が左右対称なので、どちらも同じ値になりました。

一方で、フィッシャー検定には弱点もあります。統計量が離散なので、棄却域の確率を5%ちょうどに合わせられません。例えば、各群10人で両群の成功確率がともに0.5のとき、有意水準5%のはずの検定の実際の第一種の過誤の確率は、約0.013です。安全側ですが、そのぶん検出力は下がります。これを 保守的 と言います。

試験のポイント：答案では「$T$ が局外母数の十分統計量なので、$T$ で条件をつけると母数が消える」と書きます。両側のp値の定義も明記します。

以上が、フィッシャー検定についての解説です。

マクネマー検定：対応のある表は変わった人だけを見る

さらに、マクネマー検定について説明します。

同じ $n$ 人の、講習の前と後の合否を調べたとします。データは次の形にまとめられます。

	後：合格	後：不合格
前：合格	$a$	$b$
前：不合格	$c$	$d$

このとき、知りたいのは「合格率が変わったか」です。つまり、$H_0: p_{1+} = p_{+1}$ です。これを 周辺等質性 と呼びます。ここで $p_{1+} = p_{11} + p_{12}$、$p_{+1} = p_{11} + p_{21}$ なので、$p_{11}$ が両辺から消えて、$H_0$ は $p_{12} = p_{21}$ と同じになります。

ここが マクネマー検定 の核心です。前後で変わらなかった $a$ と $d$ は、合格率の差に全く影響しません。同じ席替えの前後を比べるとき、席が動かなかった人を見ても、何も分からないのと同じです。

統計量の導き方は2通りあります。1つずつ見ていきましょう。

1. 分散を計算する方法

合格率の差の推定量は $(b - c)/n$ です。多項分布の分散と共分散から、次が得られます。

$$V(b - c) = n\{p_{12} + p_{21} - (p_{12} - p_{21})^2\}$$

$H_0$ のもとで右辺は $n(p_{12} + p_{21})$ で、その推定値は $b + c$ です。標準化すると、$z = (b - c)/\sqrt{b + c}$ が得られ、2乗したものが検定統計量になります。

$$\chi^2 = \frac{(b - c)^2}{b + c}$$

大標本のとき、これは自由度1の $\chi^2$ 分布に従います。

2. 条件付き分布を使う方法

$m = b + c$ を固定すると、変わった人のうち「合格 → 不合格」の人数 $b$ は、$B(m, p_{12}/(p_{12} + p_{21}))$ に従います。$H_0$ のもとで成功確率は $1/2$ です。これは正確な検定を与えます。

$$P(b \mid b + c = m) = \binom{m}{b}\left(\frac{1}{2}\right)^{m}$$

中身は、次の記事で導く符号検定そのものです。$m$ が大きいときに二項分布を正規近似すると、$z = (b - m/2)/\sqrt{m/4} = (b - c)/\sqrt{m}$ となり、1番の式と一致します。

連続修正も同じ理屈です。$b$ が1増えると、$m$ を固定しているので $c$ が1減り、$b - c$ は2動きます。半目盛りは1なので、補正した統計量は $(|b - c| - 1)^2/(b + c)$ です。

例題：講習の効果を検定する

100人の前後の合否は、$a = 45$、$b = 8$、$c = 22$、$d = 25$ だった。〔1〕前と後の合格率を求めよ。〔2〕マクネマー検定の統計量を、補正なしと補正ありの両方で求め、有意水準5%で検定せよ。〔3〕正確なp値を $B(30, 1/2)$ から求めよ。

【解答】

〔1〕前の合格率は $(45 + 8)/100 = 0.53$、後の合格率は $(45 + 22)/100 = 0.67$ である。

〔2〕補正なしは $(8 - 22)^2/30 = 6.53$、補正ありは $(14 - 1)^2/30 = 5.63$ である。どちらも3.84を超えるので、$H_0$ を棄却する。講習の前後で合格率は変わったと判断する。

〔3〕$2P(B(30, 1/2) \le 8) = 0.0161$ である。

ここで、対応を無視して前と後を別の群として普通のカイ二乗検定にかけると、どうなるでしょうか？ 表は (53, 47) と (67, 33) で、$\chi^2 = 4.08$ です。同じ人の前後には正の相関があるので、その情報を捨てると検定の力が落ちます。そのうえ、独立な2群という前提も破れています。

せっかくなので、変わった人が少ない例も見てみましょう。$b = 2$、$c = 9$ なら、補正なしは $49/11 = 4.45$ で有意になりますが、補正ありは $36/11 = 3.27$、正確なp値は0.065で有意になりません。$b + c$ が小さいときは、二項分布の正確なp値を使います。

試験のポイント：統計量には $a$ と $d$ が入らず、$n$ ではなく $b + c$ で割ります。大事なのは総人数ではなく、変わった人の数です。

以上が、マクネマー検定についての説明です。

4つの検定を使い分ける

最後に、ここまでの検定の使い分けを見ていきましょう。

実際の問題では、「データはどう取られたか」「度数は十分か」の順に判断します。病院の受付で、まず症状を聞いて、それから検査の種類を決めるようなものです。

場面	検定	統計量または確率	分布
独立な群、度数が十分	カイ二乗検定	$\sum (O - E)^2/E$	$\chi^2$（漸近）
2×2、度数がやや少ない	イェーツの補正	$N(\lvert ad - bc \rvert - N/2)^2/(r_1 r_2 c_1 c_2)$	$\chi^2$（漸近）
2×2、度数が少ない	フィッシャー検定	表の確率を足す	超幾何（正確）
対応がある2×2	マクネマー検定	$(b - c)^2/(b + c)$	$\chi^2$ または二項

度数が十分かどうかの目安としては、「期待度数がすべて5以上」がよく使われます。実測の度数ではなく、期待度数で判断する点に注意しましょう。

具体的に見てみましょう。次の3つの場面では、それぞれどの検定を選ぶでしょうか？

【検定の選択の例】

• 500人の居住地域（4区分）と支持政党（5区分）の関連： カイ二乗検定で、自由度は12
• 副作用の有無を2群12人ずつで比べ、期待度数の1つが2.5： フィッシャー検定
• 2種類の検査を同じ患者200人に行い、陽性率を比べる： マクネマー検定

3番目で「検査が2種類だから2群」と考えないことが大切です。同じ人に2回測っていれば、対応があります。

試験のポイント：検定の名前を答えるときは、選んだ理由をデータの取り方から説明します。

以上が、検定の使い分けについての解説です。

細かい公式を忘れてしまっても問題ありません。ここでは、「何を固定するかで、使う分布が決まる」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は分割表の検定を、導出から紹介しました。カイ二乗検定は尤度比の2次近似で、イェーツの補正は階段の半目盛りで、フィッシャー検定は十分統計量での条件付けで、マクネマー検定は変わった人だけの二項分布でした。名前は違っても、「何を固定して、どの分布で数えるか」という問いの答えです。

今回のポイントを振り返りましょう。

振り返り

• 期待度数は $H_0$ のもとでの最尤推定値で、カイ二乗統計量は尤度比統計量の2次の近似である。
• $a$ を1動かすと $ad - bc$ は $N$ 動くので、イェーツの補正は半目盛りの $N/2$ を引く。
• 周辺度数を固定すると局外母数が消え、$H_0$ のもとで超幾何分布になる。
• 対応のある表では、変わった人の $b$ と $c$ だけが情報をもつ。

キーワードのおさらい

• カイ二乗検定: 実測と期待度数のズレ $\sum (O - E)^2/E$ を $\chi^2$ 分布と比べる検定
• イェーツの補正: 2×2の表で、離散を連続で近似するズレを直す調整。$|ad - bc|$ から $N/2$ を引く
• フィッシャー検定: 周辺度数を固定し、超幾何分布で確率を正確に計算する検定
• マクネマー検定: 対応のある2×2の表で、不一致の度数 $b, c$ だけを使う検定

さて、マクネマー検定は、「変わった人のうち、どちらの向きが多いか」を数えるだけの検定でした。分布の形を何も仮定しなくても、検定が作れたのです。この考えを広げると、順位だけを使う検定の世界が開けます。

次回は、ノンパラメトリック法の理論について紹介します。

それでは、次の記事へ進んでいきましょう。