統計学 学習ノート

はじめに

「分散分析表は埋められる。でも、なぜ $F$ の分母はいつも誤差の平均平方なの？」

準1級では、分散分析表を作って $F$ 比を計算しました。ところが1級の論述では、平均平方の期待値を導いたり、同時信頼区間の幅がなぜその式になるのかを説明したりする問題が出ます。表の作り方を覚えるだけでは、手が止まってしまいます。

実は、分散分析の理論は2つの計算で動いています。1つは「平方和の期待値を、2乗の期待値の公式で計算する」こと。もう1つは「余った交差項が、平均の性質で0になる」ことです。どちらも高校の展開公式の延長です。

そこで登場するのが、今回の主役 一元配置分散分析、二元配置分散分析、交互作用、共分散分析、多重比較 です。

前回までの記事で、$k$ 群の $F$ 検定を尤度比から導き、$S_B$ と $S_W$ の独立性を証明しました。今回の記事では、平均平方の期待値の導出から始めて、因子を増やし、共変量を入れ、最後に同時に比較する方法までを解説します。

一元配置分散分析：平均平方の期待値を導く

はじめに、基本のモデルで平均平方の期待値を導きます。

$k$ 個の水準があり、$i$ 水準の大きさが $n_i$、全体が $n = \sum_i n_i$ の 一元配置分散分析 のモデルは、次の形です。

$$y_{ij} = \mu + \alpha_i + \varepsilon_{ij}, \qquad \sum_{i=1}^{k} n_i\alpha_i = 0, \qquad \varepsilon_{ij} \sim N(0, \sigma^2)$$

$\mu_i = \mu + \alpha_i$ の最小二乗推定量は、$\sum_{i,j}(y_{ij} - \mu_i)^2$ を $\mu_i$ で微分して、水準平均 $\bar{y}_i$ です。全平方和の分解は、次の交差項が0になることから出ます。

$$\sum_{i}\sum_{j}(y_{ij} - \bar{y}_i)(\bar{y}_i - \bar{y}) = \sum_{i}(\bar{y}_i - \bar{y})\sum_{j}(y_{ij} - \bar{y}_i) = 0$$

内側の和は、平均からの偏差の和なので0です。これで $S_T = S_B + S_W$ が証明できました。

では、なぜ $F$ の分母が $V_W = S_W/(n - k)$ なのでしょうか？ 答えは平均平方の期待値にあります。使う道具は、$E[Y^2] = (E[Y])^2 + \mathrm{Var}(Y)$ の1本だけです。

$S_B = \sum_i n_i\bar{y}_i^2 - n\bar{y}^2$ と展開します。$\bar{y}_i$ の平均は $\mu_i$、分散は $\sigma^2/n_i$ で、$\bar{y}$ の平均は $\mu$、分散は $\sigma^2/n$ です。したがって、次のように計算できます。

$$E[S_B] = \sum_{i} n_i\left(\mu_i^2 + \frac{\sigma^2}{n_i}\right) - n\left(\mu^2 + \frac{\sigma^2}{n}\right) = \sum_{i} n_i\alpha_i^2 + (k - 1)\sigma^2$$

最後の等号では、$\sum_i n_i\mu_i^2 - n\mu^2 = \sum_i n_i(\mu_i - \mu)^2$ を使いました。$E[S_W] = (n - k)\sigma^2$ は不偏分散の性質からすぐ分かります。自由度で割ると、次の結果を得ます。

$$E[V_B] = \sigma^2 + \frac{\sum_i n_i\alpha_i^2}{k - 1}, \qquad E[V_W] = \sigma^2$$

言葉で言うと、$V_W$ は効果があってもなくても $\sigma^2$ を見積もる、ぶれない物差しです。$V_B$ は物差しの長さに効果を足したものです。$F$ の分母は、「$H_0$ のもとで分子と同じ期待値を持ち、効果に動かされないもの」として選ばれているのです。体重計の風袋引きと同じで、容器の重さ（誤差）を基準に中身（効果）を測ります。$F$ 比が $H_0$ のもとで $F(k - 1, n - k)$ に従うことは、正規分布に関する検定の記事で、直交する部分空間への射影から導いたとおりです。

例題：変量模型と分散成分

ある製品のロットを無作為に4つ選び、各ロットから5個を測定する。モデルを $y_{ij} = \mu + a_i + \varepsilon_{ij}$ とし、$a_i \sim N(0, \sigma_A^2)$ と $\varepsilon_{ij} \sim N(0, \sigma^2)$ はすべて独立とする。(1) $E[V_B]$ を求めよ。(2) $V_B = 30$、$V_W = 5$ のとき、$\sigma_A^2$ を推定せよ。(3) $H_0: \sigma_A^2 = 0$ を有意水準5%で検定せよ。$F_{0.05}(3, 16) = 3.24$ とする。

【解答】

(1) $r = 5$ とする。$\bar{y}_i = \mu + a_i + \bar{\varepsilon}_i$ は互いに独立で、分散は $\tau^2 = \sigma_A^2 + \sigma^2/r$ である。$S_B = r\sum_i(\bar{y}_i - \bar{y})^2$ で、$\sum_i(\bar{y}_i - \bar{y})^2$ は大きさ $k$ の標本の偏差平方和なので、期待値は $(k - 1)\tau^2$ である。よって、$E[V_B] = r\tau^2 = \sigma^2 + r\sigma_A^2$ である。

(2) $E[V_W] = \sigma^2$ と合わせて、$\hat{\sigma}^2 = 5$、$\hat{\sigma}_A^2 = (V_B - V_W)/r = 25 \div 5 = 5$ である。

(3) $H_0$ のもとで $F = V_B/V_W = 6 \sim F(3, 16)$ である。$6 > 3.24$ なので、$H_0$ を棄却する。

ロットの効果そのものでなく、ロット間のばらつき $\sigma_A^2$ を推定している点が、変量模型の特徴です。製品全体の分散の半分がロット間の違いから来ている、という結論になります。

以上が、一元配置分散分析の導出についての解説です。

二元配置分散分析と交互作用

次に、因子を2つに増やします。

因子Aが $a$ 水準、因子Bが $b$ 水準で、各組み合わせを $r$ 回ずつ繰り返す 二元配置分散分析 のモデルは、次の形です。

$$y_{ijk} = \mu + \alpha_i + \beta_j + \gamma_{ij} + \varepsilon_{ijk}$$

制約は $\sum_i\alpha_i = \sum_j\beta_j = 0$ と、すべての $i, j$ について $\sum_i\gamma_{ij} = \sum_j\gamma_{ij} = 0$ です。

$\gamma_{ij}$ が 交互作用 です。Aの効果がBの水準によって変わる度合いを表します。薬の飲み合わせに例えると分かりやすいです。薬Aと薬Bの効果が、単純な足し算にならないときの「足し算からのずれ」が交互作用です。

平均の記号を決めましょう。$\bar{y}_{ij}$ をセルの平均、$\bar{y}_{i\cdot}$ を $A_i$ の平均、$\bar{y}_{\cdot j}$ を $B_j$ の平均、$\bar{y}$ を全体の平均とします。偏差を4つの部分に切り分けます。

$$y_{ijk} - \bar{y} = (\bar{y}_{i\cdot} - \bar{y}) + (\bar{y}_{\cdot j} - \bar{y}) + (\bar{y}_{ij} - \bar{y}_{i\cdot} - \bar{y}_{\cdot j} + \bar{y}) + (y_{ijk} - \bar{y}_{ij})$$

右辺の項を合計すると左辺に戻るのは、見て確かめられます。2乗して全部足すと、4つの平方和に分解できます。

$$S_T = S_A + S_B + S_{AB} + S_E$$

ここでの $S_B$ は、因子Bの平方和です。なぜ交差項が消えるのでしょうか？ 例えば、第1項と第3項の交差項を $j$ について先に足します。第3項は、$j$ で足すと0になります。

$$\sum_{j}(\bar{y}_{ij} - \bar{y}_{i\cdot} - \bar{y}_{\cdot j} + \bar{y}) = b\bar{y}_{i\cdot} - b\bar{y}_{i\cdot} - b\bar{y} + b\bar{y} = 0$$

他の組み合わせも同じです。各項は、どれかの添字で足すと0になるように作られています。各セルの大きさがそろっていることが、この直交性の条件です。

自由度と平均平方の期待値は、次のとおりです。導出は一元配置と同じ手順です。

要因	自由度	平均平方の期待値
A	$a - 1$	$\sigma^2 + br\sum_i\alpha_i^2/(a - 1)$
B	$b - 1$	$\sigma^2 + ar\sum_j\beta_j^2/(b - 1)$
A×B	$(a - 1)(b - 1)$	$\sigma^2 + r\sum_{i,j}\gamma_{ij}^2/\{(a - 1)(b - 1)\}$
誤差	$ab(r - 1)$	$\sigma^2$

どの効果も、誤差の平均平方を分母にして $F$ 比を作ります。

ここがポイントです。$r = 1$ だと誤差の自由度は0です。繰り返しがないと、$\gamma_{ij}$ と $\varepsilon_{ij}$ を区別できません。1つの測定値に、組み合わせの効果とたまたまのぶれが混ざっているからです。そこで、交互作用がないと仮定して、$S_{AB}$ を誤差として使います。この仮定が崩れると、誤差が過大になって検出力が落ちます。

例題：主効果が消えて見える場合

温度A（2水準）と触媒B（3水準）の組み合わせで、2回ずつ収量を測った。分散分析表を作り、有意水準5%で検定せよ。$F_{0.05}(1, 6) = 5.99$、$F_{0.05}(2, 6) = 5.14$ とする。

	$B_1$	$B_2$	$B_3$
$A_1$	10, 12	14, 16	18, 20
$A_2$	16, 18	14, 16	12, 14

【解答】

セルの平均は、$A_1$ が 11、15、19、$A_2$ が 17、15、13 である。Aの平均はどちらも15、Bの平均は 14、15、16、全体の平均は15である。

$S_A = 0$ である。$S_B = 2 \times 2 \times (1 + 0 + 1) = 8$ である。

交互作用の偏差 $\bar{y}_{ij} - \bar{y}_{i\cdot} - \bar{y}_{\cdot j} + \bar{y}$ は、$A_1$ で $-3, 0, 3$、$A_2$ で $3, 0, -3$ である。$S_{AB} = 2 \times 36 = 72$ である。

セル内の偏差はすべて $\pm 1$ なので、$S_E = 12$ である。

要因	平方和	自由度	平均平方	$F$ 比
A	0	1	0	0
B	8	2	4	2
A×B	72	2	36	18
誤差	12	6	2
全体	92	11

交互作用は $18 > 5.14$ で有意である。主効果はA、Bとも有意でない。

ここで「温度の効果はない」と結論したら、大きな間違いです。$B_1$ では $A_2$ が6高く、$B_3$ では $A_1$ が6高いのです。効果が逆向きで、平均すると打ち消されただけです。交互作用が有意なときは、主効果だけを読まず、セルごとの比較に進みます。

試験のポイント：分散分析表は「交互作用から先に見る」が鉄則です。交互作用が有意なら、主効果の検定結果だけで結論を書いてはいけません。

以上が、二元配置分散分析と交互作用についての説明です。

共分散分析：スタート地点のずれを調整する

続いて、量的な変数を一緒に扱う方法を解説します。

例えば、2つの教材の効果を事後テストで比べるとします。ところが、教材Bの生徒はもともと事前テストの点が高かったとします。そのまま比べるのは、スタート地点の違う徒競走の着順を比べるようなものです。ゴールのタイムから、スタートのずれを差し引く必要があります。

共分散分析 は、共変量 $x$ の影響を回帰で調整してから、水準の差を調べます。モデルは次の形です。

$$y_{ij} = \mu + \alpha_i + \beta(x_{ij} - \bar{x}) + \varepsilon_{ij}$$

傾き $\beta$ はすべての水準で共通と仮定します。

最小二乗法を実行しましょう。$\beta$ を固定すると、水準の定数項は $y_{ij} - \beta x_{ij}$ の水準平均で決まります。これを代入すると、残りは $\sum_{i,j}\{(y_{ij} - \bar{y}_i) - \beta(x_{ij} - \bar{x}_i)\}^2$ の最小化で、水準の中の偏差だけの回帰になります。

水準内の平方和と積和を、$W_{xx} = \sum_{i,j}(x_{ij} - \bar{x}_i)^2$、$W_{xy}$、$W_{yy}$ と書きます。全体の平方和と積和を、$T_{xx}$、$T_{xy}$、$T_{yy}$ と書きます。

【共分散分析の手順】

1. 水準内の傾き： $b = W_{xy}/W_{xx}$
2. フルモデルの残差平方和： $R_1 = W_{yy} - W_{xy}^2/W_{xx}$。自由度 $n - k - 1$
3. $H_0: \alpha_1 = \cdots = \alpha_k = 0$ のもとの残差平方和： $R_0 = T_{yy} - T_{xy}^2/T_{xx}$。自由度 $n - 2$
4. 検定統計量： 次の $F$ を $F(k - 1, n - k - 1)$ と比べる

$$F = \frac{(R_0 - R_1)/(k - 1)}{R_1/(n - k - 1)}$$

これは、前回までの尤度比の考え方そのものです。制約を入れたときに残差がどれだけ増えるかを、誤差の大きさで測っています。

水準の比較には、次の調整平均を使います。

$$\tilde{y}_i = \bar{y}_i - b(\bar{x}_i - \bar{x})$$

言葉で言うと、「全員の事前の点が同じ $\bar{x}$ だったら、この水準の平均はいくらだったか」という予測値です。

例題：調整で結論が逆転する

2つの教材で、事前テスト $x$ と事後テスト $y$ を測った。共分散分析を行え。$F_{0.05}(1, 5) = 6.61$ とする。

教材	$x$	$y$
A	40, 50, 60, 70	55, 61, 71, 77
B	60, 70, 80, 90	61, 71, 77, 87

【解答】

平均は、$\bar{x}_A = 55$、$\bar{y}_A = 66$、$\bar{x}_B = 75$、$\bar{y}_B = 74$、全体の $\bar{x} = 65$ である。

水準内で計算すると、$W_{xx} = 1000$、$W_{xy} = 800$、$W_{yy} = 648$ である。全体では、$T_{xx} = 1800$、$T_{xy} = 1120$、$T_{yy} = 776$ である。

傾きは $b = 800 \div 1000 = 0.8$ である。$R_1 = 648 - 800^2 \div 1000 = 8$ である。$R_0 = 776 - 1120^2 \div 1800 = 79.11$ である。

$F = (79.11 - 8) \div (8 \div 5) = 44.4$ である。$44.4 > 6.61$ なので、$H_0$ を棄却する。

調整平均は、$\tilde{y}_A = 66 + 0.8 \times 10 = 74$、$\tilde{y}_B = 74 - 0.8 \times 10 = 66$ である。

驚くべき結果です。生の平均はBが8点高いのに、調整するとAが8点高くなりました。生の平均だけの分散分析では、$F = 128 \div (648 \div 6) = 1.19$ で有意ではありません。事前の点の差が、教材の差を隠していたのです。さらに、誤差も $W_{yy}$ の648から $R_1$ の8へと大きく減っています。共変量には、偏りを直す役割と、ノイズを減らす役割の2つがあります。

前提の確認も忘れないでください。傾きが水準で共通であることの検定は、水準ごとに別の傾きを許したモデルの残差平方和を $R_2$ として、$(R_1 - R_2)$ を比べます。この例では傾きが0.76と0.84で、$R_2 = 6.4$ です。$F = 1.6 \div (6.4 \div 4) = 1.0$ で、$F_{0.05}(1, 4) = 7.71$ を下回るので、平行性は否定されません。

補足（ここは読み飛ばしてOK）： 共分散分析は、水準を表すダミー変数と $x$ を説明変数にした重回帰そのものです。次回の回帰分析の枠組みで見ると、分散分析も同じ線形モデルの1つと分かります。

以上が、共分散分析についての解説です。

多重比較：すべての比較に同時に保証をつける

最後に、どの水準とどの水準が違うのかを調べる方法を見ていきましょう。

$F$ 検定で「どこかに差がある」と分かっても、どこかは教えてくれません。そこで $k$ 水準の組をすべて比べたくなります。ところが、5%の検定を6回繰り返すと、独立なら全体で1回以上誤る確率は $1 - 0.95^6 = 0.265$ です。宝くじも、たくさん買えば何か当たります。

そこで 多重比較 では、検定の族全体で1回でも誤る確率を制御します。

$$\text{FWER} = P(\text{族の中の真の帰無仮説を1つ以上棄却する}) \le \alpha$$

FWER はファミリーワイズの誤り率です。多重比較の手法は、同時信頼区間の幅の決め方の違いとして見ると、きれいに整理できます。$k$ 水準、各 $r$ 個、誤差の平均平方 $V_E$、誤差の自由度 $\nu$ とします。1つずつ見ていきましょう。

1. ボンフェローニ法

$m$ 個の比較をします。比較ごとの有意水準を $\alpha/m$ にします。根拠は合併事象の不等式です。

$$P\left(\bigcup_{i=1}^{m} A_i\right) \le \sum_{i=1}^{m} P(A_i) \le m \cdot \frac{\alpha}{m} = \alpha$$

独立性も分布の形も使いません。そのぶん、比較の数が増えると保守的です。

2. テューキー法

すべての対の比較専用の方法です。発想は、「対の差の最大値の分布を直接求める」ことです。

$D_i = \bar{y}_i - \mu_i$ は独立に $N(0, \sigma^2/r)$ に従います。すべての対の差 $|D_i - D_j|$ の最大値は、$D_i$ の範囲 $\max_i D_i - \min_i D_i$ です。範囲を $\sqrt{V_E/r}$ で割った量を、スチューデント化された範囲 と呼びます。分布は $k$ と $\nu$ だけで決まり、上側 $\alpha$ 点を $q_\alpha(k, \nu)$ と書きます。したがって、次の同時信頼区間の被覆確率はちょうど $1 - \alpha$ です。

$$(\mu_i - \mu_j) \in (\bar{y}_i - \bar{y}_j) \pm q_\alpha(k, \nu)\sqrt{\frac{V_E}{r}} \qquad (\text{すべての } i < j)$$

ここがポイントです。$\sqrt{2V_E/r}$ ではなく $\sqrt{V_E/r}$ を掛けます。$q$ は差の標準誤差ではなく、1つの平均の標準誤差を単位に定義されているからです。

3. シェッフェ法

対だけでなく、$\sum_i c_i\mu_i$（$\sum_i c_i = 0$）の形の 対比 のすべてに、同時に保証をつける方法です。無限個の比較を保証できる理由は、コーシー・シュワルツの不等式です。

$\sum_i c_i = 0$ なので、$\bar{D} = \sum_i D_i / k$ を引いても値は変わりません。

$$\Big(\sum_{i} c_i D_i\Big)^2 = \Big(\sum_{i} c_i (D_i - \bar{D})\Big)^2 \le \sum_{i} c_i^2 \cdot \sum_{i} (D_i - \bar{D})^2$$

右辺の $r\sum_i(D_i - \bar{D})^2$ は、データから $\mu_i$ を引いて作った群間平方和です。これは $\mu_i$ によらず $\sigma^2\chi^2(k - 1)$ に従い、$V_E$ と独立です。したがって、$r\sum_i(D_i - \bar{D})^2 / \{(k - 1)V_E\}$ は $F(k - 1, \nu)$ に従います。

これを上の不等式に入れると、確率 $1 - \alpha$ で、すべての対比について同時に次が成り立ちます。

$$\Big|\sum_{i} c_i\bar{y}_i - \sum_{i} c_i\mu_i\Big| \le \sqrt{(k - 1)F_\alpha(k - 1, \nu)}\,\sqrt{\frac{V_E}{r}\sum_{i} c_i^2}$$

不等式1本で、無限個の対比を一度に押さえ込んだわけです。全方向を一度に守るので、対だけを調べるならテューキー法より幅が広くなります。

なお、対照群と各群だけを比べるときは、ダネット法がこの目的に特化した方法です。比較の数が $k - 1$ に減るぶん、幅が狭くなります。

例題：3つの方法の比較

4水準、各6個の実験で、$\bar{y} = 20, 23, 27, 28$、$V_E = 9$、$\nu = 20$ だった。対の差の95%同時信頼区間の半幅を、ボンフェローニ法、テューキー法、シェッフェ法で求めよ。また、それぞれの方法で有意になる対を答えよ。$t_{0.05/12}(20) = 2.927$、$q_{0.05}(4, 20) = 3.958$、$F_{0.05}(3, 20) = 3.098$ とする。

【解答】

差の標準誤差は $\sqrt{2 \times 9 \div 6} = 1.732$ である。

方法	計算	半幅
ボンフェローニ法	$2.927 \times 1.732$	5.07
テューキー法	$3.958 \times \sqrt{9/6}$	4.85
シェッフェ法	$\sqrt{3 \times 3.098} \times 1.732$	5.28

対の差の大きさは、$(1, 4)$ が8、$(1, 3)$ が7、$(2, 4)$ が5、$(2, 3)$ が4、$(1, 2)$ が3、$(3, 4)$ が1である。

差8と7はどの方法でも有意である。差5はテューキー法だけ有意で、ボンフェローニ法とシェッフェ法では有意でない。

対の比較だけなら、テューキー法が最も鋭いことが分かります。一方で、シェッフェ法は事後に思いついた比較にも使えます。例えば「水準1、2の平均と水準3、4の平均の差」は6で、$c = (\frac{1}{2}, \frac{1}{2}, -\frac{1}{2}, -\frac{1}{2})$ の半幅は $3.049 \times \sqrt{9/6 \times 1} = 3.73$ です。これは有意です。

試験のポイント：比較の対象を先に決めた少数の比較ならボンフェローニ法、対をすべて比べるならテューキー法、データを見てから対比を選ぶならシェッフェ法です。選択の理由まで書けると、答案の完成度が上がります。

以上が、多重比較についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「期待値は2乗の公式、分解は交差項の消滅、同時保証は不等式」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は分散分析の理論を、平均平方の期待値の導出から順に組み立てました。分母に誤差を置く理由は期待値の式にあり、平方和が分解できる理由は交差項の消滅にあります。共分散分析は回帰で土台をそろえ、多重比較は不等式と最大値の分布で全体の誤りを抑えます。

今回のポイントを振り返りましょう。

振り返り

• $E[V_B] = \sigma^2 + \sum_i n_i\alpha_i^2/(k - 1)$ は、$E[Y^2] = (E[Y])^2 + \mathrm{Var}(Y)$ から導ける。
• 変量模型では $E[V_B] = \sigma^2 + r\sigma_A^2$ で、分散成分を推定できる。
• 交互作用は足し算からのずれ。繰り返しがないと、誤差と区別できない。
• 共分散分析は、水準内の傾きで調整する。偏りの修正と誤差の縮小の両方の効果がある。
• 多重比較の手法は、合併事象の不等式、範囲の分布、コーシー・シュワルツの不等式という根拠の違いで整理できる。

キーワードのおさらい

• 一元配置分散分析: 1つの因子の水準間の平均の差を調べる方法
• 二元配置分散分析: 2つの因子の主効果と交互作用を調べる方法
• 交互作用: ある因子の効果が、別の因子の水準によって変わること
• 共分散分析: 共変量の影響を回帰で調整してから、水準の差を調べる方法
• 調整平均: 共変量を全体の平均にそろえたときの水準の平均
• 多重比較: 複数の比較で、全体の誤り率を制御する方法
• 対比: 係数の和が0の、平均の線形結合

さて、共分散分析の補足で、分散分析と回帰が同じ線形モデルであることに触れました。では、説明変数を一般に $p$ 個に増やしたとき、最小二乗推定量はどんな性質を持つのでしょうか？ 分散分析表は、回帰ではどう読むのでしょうか？

次回は、最小二乗推定の理論から回帰効果までを扱う「回帰分析」について紹介します。

それでは、次の記事へ進んでいきましょう。