統計学 学習ノート

はじめに

「順位和の分散の $mn(N+1)/12$ って、分母の12はどこから来たの？」

準1級では、順位を使う検定の手順と公式を学びました。データが正規分布に従わなくても、$E(W)$ と $V(W)$ を公式に入れれば検定できます。便利ですが、公式の由来は説明されていませんでした。

例えば、くじ引きを思い浮かべてください。箱に1番から $N$ 番までの札が入っていて、順番に $m$ 枚を引くとします。引いた札の番号の合計は、どのくらいばらつくでしょうか？ これは、データの中身とは何の関係もない、純粋な数え上げの問題です。

実は、順位の検定の公式は、すべてこの「札を引く問題」に帰着します。$H_0$ のもとでは、順位はただの並べ替えになるからです。だから、もとの分布が何であっても、同じ公式が使えます。

そこで登場するのが、今回の主役 順位の分布 です。これが分かれば、符号検定もウィルコクソン検定も順位相関係数も、同じ1枚の地図の上に並びます。

前回の記事のマクネマー検定は、変わった人の向きを数えるだけの検定でした。今回の記事では、順位の平均と分散の導出、符号検定、ウィルコクソン順位和検定、ウィルコクソン符号付き順位和検定、順位相関係数 の理論について解説します。

順位の分布：すべての土台になる補題

はじめに、すべての検定の土台である順位の分布について解説します。

$X_1, \dots, X_N$ が同じ連続分布から独立に得られたとします。連続分布なので、同じ値が出る確率は0です。$X_i$ の順位を $R_i$ とします。このとき、次が成り立ちます。

$$P(R_1 = r_1, \dots, R_N = r_N) = \frac{1}{N!}$$

証明は1行です。独立で同じ分布なので、$X_i$ の番号をどう入れ替えても、同時分布は変わりません。$N!$ 通りの順番はどれも同じ確率で、合計が1だからです。

ここがポイントです。右辺に、もとの分布 $F$ が入っていません。この性質を 分布に依存しない（distribution-free）と言います。ノンパラメトリック法の力の源は、この1行にあります。

$R_i$ の周辺分布は $1, \dots, N$ の上の一様分布です。平均と分散は、次のとおりです。

$$E(R_i) = \frac{N+1}{2}, \qquad V(R_i) = \frac{(N+1)(2N+1)}{6} - \frac{(N+1)^2}{4} = \frac{N^2 - 1}{12}$$

分母の12の正体は、一様分布の分散でした。

次に、2つの順位の共分散です。直接計算もできますが、次の工夫をすると一瞬です。順位の合計 $\sum_i R_i = N(N+1)/2$ は定数なので、分散は0です。

$$0 = V\left(\sum_i R_i\right) = N\, V(R_1) + N(N-1)\operatorname{Cov}(R_1, R_2)$$

ここから、$\operatorname{Cov}(R_1, R_2) = -(N+1)/12$ が出ます。負になるのは、くじを引いて大きな番号が出ると、残りの札は小さくなるからです。

以上をまとめると、順位の1次結合 $T = \sum_i c_i R_i$ の平均と分散の公式が得られます。これを 線形順位統計量 と呼びます。

$$E(T) = \frac{N+1}{2}\sum_i c_i, \qquad V(T) = \frac{N+1}{12}\left\{N\sum_i c_i^2 - \left(\sum_i c_i\right)^2\right\}$$

分散の式は、$V(T) = \sum_i c_i^2 V(R_i) + \sum_{i \ne j} c_i c_j \operatorname{Cov}(R_i, R_j)$ に代入して、$\sum_{i \ne j} c_i c_j = (\sum_i c_i)^2 - \sum_i c_i^2$ を使えば出ます。この後の検定の平均と分散は、ほとんどこの2本の式だけで導けます。

試験のポイント：共分散は「順位の和が定数」から導きます。この補題を答案の冒頭に書いておくと、以降の計算が短くなります。

以上が、順位の分布についての解説です。

符号検定：向きだけを数える

次に、最も単純な符号検定について説明します。

符号検定 は、差の符号だけを使って、分布の中央値を検定する方法です。連続分布の中央値を $\theta$ として、$H_0: \theta = \theta_0$ を考えます。$H_0$ のもとで、各データが $\theta_0$ を上回る確率は定義から $1/2$ です。したがって、$\theta_0$ を上回る個数 $S$ の分布は次のとおりです。

$$S \sim B(n, 1/2)$$

もとの分布は、中央値が $\theta_0$ であること以外、何の仮定もありません。左右対称でなくてもかまいません。コイン投げの回数を数えるだけなので、仮定がいらないのです。$\theta_0$ にちょうど一致するデータは、取り除いて $n$ を減らします。

符号検定は、中央値の信頼区間も作れます。順序統計量を $X_{(1)} \le \cdots \le X_{(n)}$ とすると、区間 $(X_{(k)}, X_{(n-k+1)})$ が中央値を含まないのは、$k-1$ 個以下しか $\theta$ を下回らないか、$k-1$ 個以下しか $\theta$ を上回らないときです。この2つは排反なので、被覆確率は次のように分布に依存しない値になります。

$$P(X_{(k)} < \theta < X_{(n-k+1)}) = 1 - 2P(B(n, 1/2) \le k - 1)$$

例えば、$n = 10$、$k = 2$ なら、$1 - 2 \times 11/1024 = 0.979$ です。$k = 3$ なら $1 - 2 \times 56/1024 = 0.891$ です。離散の分布なので、95%ちょうどの区間は作れません。

例題：符号検定の正確なp値

10人が新しいイスを試し、座り心地の点の差（新 − 旧）を調べると、8人が正、2人が負だった。〔1〕帰無仮説と $S$ の分布を述べよ。〔2〕片側と両側のp値を求め、有意水準5%で判断せよ。

【解答】

〔1〕$H_0$ は差の中央値が0であることで、このとき $S \sim B(10, 1/2)$ である。

〔2〕片側のp値は $P(S \ge 8) = (45 + 10 + 1)/1024 = 0.0547$ である。分布が左右対称なので、両側のp値は $0.109$ である。片側でも有意水準5%には届かず、$H_0$ は棄却できない。

では、大きさの情報を捨てると、どれだけ損をするのでしょうか？ 平均が $\theta$ だけ0からずれた小さなずれを考えます。$S/n$ の平均は約 $1/2 + \theta f(0)$、分散は約 $1/(4n)$ です。$f$ は $\theta = 0$ のときの密度です。一方で、$\bar{X}$ の平均は $\theta$、分散は $\sigma^2/n$ です。ずれの検出のしやすさを比べると、次の 漸近相対効率 が得られます。

$$\text{ARE} = \left(\frac{2\sqrt{n}\, f(0)\, \theta}{\sqrt{n}\, \theta/\sigma}\right)^2 = 4\sigma^2 f(0)^2$$

正規分布では $f(0)^2 = 1/(2\pi\sigma^2)$ なので、$2/\pi \approx 0.64$ です。$t$ 検定の64個分の働きをするのに、符号検定は100個のデータが必要です。

せっかくなので、別の分布も見てみましょう。裾の重いラプラス分布では、$f(0) = 1/(2b)$、$\sigma^2 = 2b^2$ なので、効率は2です。この場合は、符号検定のほうが半分のデータで済みます。方法の優劣は、分布によって入れ替わるのです。

以上が、符号検定についての説明です。

ウィルコクソン順位和検定：札を m 枚引く

続いて、2群を比べる検定について解説します。

大きさ $m$ の群 $X$ と大きさ $n$ の群 $Y$ をまとめて順位を付けます。$N = m + n$ です。$X$ の順位の和を $W$ として検定するのが、ウィルコクソン順位和検定 でした。$H_0$ は2群の分布が等しいことで、このとき $N$ 個は同じ分布からの標本です。

$W$ は、$c_i$ を $X$ の $m$ 個で1、$Y$ の $n$ 個で0とした線形順位統計量です。補題に代入すると、すぐに出ます。

$$E(W) = \frac{m(N+1)}{2}, \qquad V(W) = \frac{N+1}{12}(Nm - m^2) = \frac{mn(N+1)}{12}$$

冒頭のくじ引きそのものです。$W$ は箱から $m$ 枚を戻さずに引いた札の合計なので、標本調査の有限修正 $(N-m)/(N-1)$ を $m(N^2-1)/12$ に掛けても同じ結果になります。

次に、マン・ホイットニーU検定 との関係を証明します。$U$ を、$X_i > Y_j$ となるペア $(i, j)$ の個数とします。$X$ を小さい順に並べると、$k$ 番目の $X_{(k)}$ の全体の順位は、自分以下の $X$ の $k$ 個と、自分より小さい $Y$ の個数を足したものです。

$$R(X_{(k)}) = k + \#\{j : Y_j < X_{(k)}\}$$

$k$ について足すと、$W = m(m+1)/2 + U$ が得られます。2つの検定は同じものです。$E(1\{X > Y\}) = P(X > Y)$ なので、$U/(mn)$ は $P(X > Y)$ の不偏推定量です。

$H_0$ のもとで $P(X > Y) = 1/2$ なので、検定の中身は「片方の群がもう片方に勝つ確率は五分五分か」という問いになります。

では、小標本の正確な分布はどう求めるのでしょうか？ $U = u$ となる並べ方の数を $c_{m,n}(u)$ とします。全体で最も大きな値に注目すると、次の漸化式が成り立ちます。

$$c_{m,n}(u) = c_{m-1,n}(u - n) + c_{m,n-1}(u)$$

最大の値が $X$ なら、その1つが $Y$ の $n$ 個すべてに勝ちます。最大の値が $Y$ なら、その1つは誰にも負けないだけで、$U$ を増やしません。階段を1段ずつ上がるように、小さな表から大きな表を作れます。

$m = 2$、$n = 3$ の結果は次のとおりで、合計は $\binom{5}{2} = 10$ です。

$u$	0	1	2	3	4	5	6
$c_{2,3}(u)$	1	1	2	2	2	1	1

例題：順位和の正確な検定

接客を変えた3店の売上の伸びは 14, 19, 22、変えていない4店の伸びは 8, 11, 13, 17 だった。〔1〕$W$ と $U$ を求めよ。〔2〕$U$ の帰無分布を使って片側のp値を求めよ。〔3〕連続修正つきの正規近似のp値と比べよ。

【解答】

〔1〕全体の順位は、3店のほうが 4, 6, 7 だから $W = 17$ である。$U = 17 - 3 \times 4 \div 2 = 11$ である。

〔2〕$m = 3$、$n = 4$ の分布は次のとおりで、合計は $\binom{7}{3} = 35$ である。

$u$	0	1	2	3	4	5	6	7	8	9	10	11	12
個数	1	1	2	3	4	4	5	4	4	3	2	1	1

$P(U \ge 11) = 2/35 = 0.057$ である。

〔3〕$E(W) = 12$、$V(W) = 8$ より、$z = (17 - 0.5 - 12)/\sqrt{8} = 1.59$ で、p値は0.056である。

小標本でも、正規近似はかなりよいことが分かります。

順位にして効率はどれだけ落ちるでしょうか？ 符号検定と同じ考え方で計算すると、$t$ 検定に対する漸近相対効率は $12\sigma^2(\int f^2)^2$ です。正規分布なら $\int f^2 = 1/(2\sigma\sqrt{\pi})$ を代入して、$3/\pi \approx 0.955$ となります。

補足（ここは読み飛ばしてOK）： どんな分布でも、この効率は0.864を下回らないことが知られています。一方で、裾の重い分布では1を大きく超えます。これが「迷ったら順位検定」と言われる理由です。

試験のポイント：$W$ と $U$ の関係は順序統計量で証明します。$U/(mn)$ が $P(X > Y)$ の不偏推定量であることも、問われやすい性質です。

以上が、ウィルコクソン順位和検定についての解説です。

ウィルコクソン符号付き順位和検定：コインを順位の分だけ賭ける

さらに、対応のあるデータの検定について説明します。

ウィルコクソン符号付き順位和検定 では、差 $D_1, \dots, D_n$ の絶対値に順位を付け、正の差の順位の和 $W^{+}$ を使います。$H_0$ は、差の分布が0を中心に左右対称であることです。符号検定との違いは、この対称性の仮定が必要な点です。

なぜ対称性が必要なのでしょうか？ 分布が0について対称なら、$D_i$ の符号と絶対値 $|D_i|$ は独立です。例えば、$|D_i| = 3$ と分かっても、$+3$ と $-3$ の確率は等しいままです。したがって、絶対値の順位を決めたあとでも、符号は公平なコイン投げのままです。

絶対値の順位が $k$ の差が正なら1、負なら0をとる変数を $I_k$ とします。$I_1, \dots, I_n$ は独立に確率 $1/2$ で1をとります。

$$W^{+} = \sum_{k=1}^{n} k I_k$$

$k$ 円を賭けたコイン投げを $n$ 回行う、というイメージです。独立なので、平均も分散もそのまま足せます。

$$E(W^{+}) = \sum_k \frac{k}{2} = \frac{n(n+1)}{4}, \qquad V(W^{+}) = \sum_k \frac{k^2}{4} = \frac{n(n+1)(2n+1)}{24}$$

正確な分布も、この表現から得られます。$W^{+}$ の確率母関数は、独立な和なので積になります。

$$E(t^{W^{+}}) = \prod_{k=1}^{n} \frac{1 + t^k}{2}$$

例えば、$n = 3$ なら $(1 + t)(1 + t^2)(1 + t^3) = 1 + t + t^2 + 2t^3 + t^4 + t^5 + t^6$ です。$t^w$ の係数を8で割ると $P(W^{+} = w)$ なので、$W^{+} = 3$ の確率は $2/8$ です。

補足（ここは読み飛ばしてOK）： $W^{+}$ は、$i \le j$ のすべての組について $(D_i + D_j)/2 > 0$ となる個数にも等しくなります。この2個の平均をウォルシュ平均と呼び、その中央値が対称の中心のホッジス・レーマン推定量です。

例題：符号付き順位の正確な検定

7人の睡眠時間（分）の、習慣を始めた後と前の差が 6, 3, −1, 8, 4, −2, 7 だった。〔1〕$W^{+}$ を求めよ。〔2〕片側の正確なp値を求めよ。〔3〕符号検定の片側のp値と比べよ。

【解答】

〔1〕絶対値の順位は、順に 5, 3, 1, 7, 4, 2, 6 である。負の差の順位は1と2だから、$W^{-} = 3$ で、全体の和は28なので $W^{+} = 25$ である。

〔2〕$P(W^{+} \ge 25) = P(W^{-} \le 3)$ である。$\{1, \dots, 7\}$ の部分集合で和が3以下のものは、空集合、$\{1\}$、$\{2\}$、$\{3\}$、$\{1, 2\}$ の5個である。$2^7 = 128$ 通りのうち5通りなので、p値は $5/128 = 0.039$ である。

〔3〕正の差は7人中5人なので、$P(S \ge 5) = (21 + 7 + 1)/128 = 0.227$ である。

同じデータで、結論が大きく変わりました。負の差が2つとも小さいことが、順位の情報として効いたのです。

試験のポイント：$W^{+}$ の分布は、$\{1, \dots, n\}$ の部分集合の和の個数を数えて求めます。答案では、絶対値の順位と符号が独立であることを、対称性から一言述べます。

以上が、ウィルコクソン符号付き順位和検定についての説明です。

順位相関係数：並べ替えの乱れを測る

最後に、順位相関係数を見ていきましょう。

順位相関係数 は、2つの順位の一致の度合いを $-1$ から $1$ の値で表す指標です。ここでも、$H_0$（無関連）のもとでの分布を導くことが、1級の目標です。代表は次の2つです。1つずつ見ていきましょう。

1. スピアマンの順位相関係数

スピアマンの順位相関係数 $r_s$ は、順位 $R_i, S_i$ のピアソンの相関係数です。順位の平均は $(n+1)/2$、偏差の平方和は $n(n^2-1)/12$ で、どちらの順位でも同じです。$d_i = R_i - S_i$ とすると、$\sum d_i^2$ は次のように展開できます。

$$\sum_i d_i^2 = \frac{n(n^2 - 1)}{6} - 2\sum_i \left(R_i - \frac{n+1}{2}\right)\left(S_i - \frac{n+1}{2}\right)$$

これを整理すると、おなじみの公式が導けます。

$$r_s = 1 - \frac{6\sum_i d_i^2}{n(n^2 - 1)}$$

$H_0$ のもとで、$R_i = i$ と並べ直しても一般性を失いません。$S_i$ はランダムな並べ替えです。$c_i = i - (n+1)/2$ とすれば、分子は線形順位統計量です。$\sum c_i = 0$、$\sum c_i^2 = n(n^2-1)/12$ を補題に入れると、$E(r_s) = 0$ で、分散は次のとおりです。

$$V(r_s) = \frac{1}{\{n(n^2-1)/12\}^2} \cdot \frac{n+1}{12} \cdot n \cdot \frac{n(n^2-1)}{12} = \frac{1}{n - 1}$$

こんなに複雑な統計量の分散が、きれいな形になりました。$n$ が大きいときは、$z = r_s\sqrt{n-1}$ を標準正規分布と比べます。

2. ケンドールの順位相関係数

ケンドールの順位相関係数 $\tau$ は、$\binom{n}{2}$ 組のペアのうち、順番が一致する組の数 $C$ と、逆転する組の数 $D$ の差で定義します。

$$\tau = \frac{C - D}{n(n-1)/2} = 1 - \frac{4D}{n(n-1)}$$

$D$ は、並べ替えの 転倒数 です。人の列に例えましょう。背の低い人から順に、1人ずつ列に割り込ませると、ランダムな並べ替えが1つできます。$k$ 番目の人は、それまでの $k-1$ 人の間の $k$ か所に、等しい確率で入ります。その人より後ろに回った $J_k$ 人とは、背の順が逆転します。$J_k$ は $0, \dots, k-1$ の一様分布で、$J_1, \dots, J_n$ は独立です。そして、$D = \sum_k J_k$ です。

$V(J_k) = (k^2 - 1)/12$ を足し合わせて、次が得られます。

$$V(D) = \sum_{k=1}^{n} \frac{k^2 - 1}{12} = \frac{n(n-1)(2n+5)}{72}, \qquad V(\tau) = \frac{2(2n+5)}{9n(n-1)}$$

ここでも、一様分布の分散の12が顔を出しました。

例題：2人の審査員の順位

5つの作品に、審査員Aが 1, 2, 3, 4, 5 位、審査員Bが 2, 1, 4, 3, 5 位を付けた。〔1〕$r_s$ と $\tau$ を求めよ。〔2〕$H_0$ のもとでの分散を、それぞれ求めよ。〔3〕$5! = 120$ 通りの並べ替えのうち、$r_s \ge 0.8$ は8通りである。片側のp値を述べよ。

【解答】

〔1〕$\sum d_i^2 = 1 + 1 + 1 + 1 + 0 = 4$ だから、$r_s = 1 - 24/120 = 0.8$ である。順番が逆転する組は、Aの1位と2位の作品、Aの3位と4位の作品の2組なので、$D = 2$ で、$\tau = 1 - 8/20 = 0.6$ である。

〔2〕$V(r_s) = 1/4$、$V(\tau) = 2 \times 15/(9 \times 20) = 1/6$ である。

〔3〕p値は $8/120 = 0.067$ である。

試験のポイント：$V(r_s) = 1/(n-1)$ と $V(\tau)$ は、公式だけでなく導出の筋道まで書けるようにします。前者は線形順位統計量、後者は転倒数の独立な和です。

以上が、順位相関係数についての解説です。

細かい計算を忘れてしまっても問題ありません。ここでは、「$H_0$ のもとで順位はただの並べ替えになり、数え上げの問題に変わる」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回はノンパラメトリック法の公式を、順位の分布から導きました。$H_0$ のもとで順位は等確率の並べ替えになるので、もとの分布は計算から消えます。残るのは、札を引く問題、コインを投げる問題、列に割り込む問題という、数え上げの問題でした。

今回のポイントを振り返りましょう。

振り返り

• 順位ベクトルは $H_0$ のもとで $N!$ 通りが等確率で、分布に依存しない。
• 順位の分散 $(N^2-1)/12$ と共分散 $-(N+1)/12$ から、線形順位統計量の公式が出る。
• 符号検定は中央値だけを仮定し、$S \sim B(n, 1/2)$ で正確に計算できる。
• $W = U + m(m+1)/2$ であり、$U/(mn)$ は $P(X > Y)$ の不偏推定量である。
• 符号付き順位和は $\sum k I_k$ で、対称性から符号と順位が独立になる。
• $V(r_s) = 1/(n-1)$ は補題から、$V(\tau)$ は転倒数の分解から導ける。

キーワードのおさらい

• 符号検定: 差の符号の個数が $B(n, 1/2)$ に従うことを使う検定
• ウィルコクソン順位和検定（マン・ホイットニーU検定）: 2群の順位の和、または勝ち数 $U$ を使う検定
• ウィルコクソン符号付き順位和検定: 差の絶対値の順位に符号を付けて足す検定
• 順位相関係数: 順位の一致の度合い。スピアマンの $r_s$ とケンドールの $\tau$

さて、ここまでの検定は、データがすべて手に入っていることが前提でした。しかし、実際のデータには、空欄があります。途中で観察が終わった人もいます。そもそも記録に現れない人もいるかもしれません。

次回は、不完全データの分析について紹介します。

それでは、次の記事へ進んでいきましょう。