統計学 学習ノート

はじめに

「『十分統計量である』って、答案にはどう書けばいいの？」

準1級では、分解定理を使って十分統計量を見つけました。同時密度を2つの因数に分ければ終わりなので、手順は難しくありません。でも、1級の論述ではもう一歩先まで問われます。「分解定理を証明せよ」「この統計量は十分でないことを示せ」という問題です。

引っ越しの荷造りを想像してください。段ボールに入れた荷物だけを運び、残りは処分します。処分してよいと言い切るには、「残った物の中に大事な物が1つもない」と確かめなければいけませんよね。統計量も同じで、データを要約して捨てる以上、捨てた部分に母数の情報がないことを証明する必要があります。

実は、この証明の核心はたった1つです。条件つき確率の中で、母数が約分されて消えるかどうかを見るだけなのです。定理の証明も、十分でないことの証明も、同じ計算でできています。

そこで登場するのが、今回の主役 ネイマンの分解定理 です。もう1つ、標本を並べ替えて見る 順序統計量 も主役です。

前回の記事では、統計量の分布を導きました。今回の記事では、十分統計量の立証の仕方、分解定理の証明、そして順序統計量の分布の導出について解説します。

十分統計量：定義から立証する

はじめに、定義を使って十分性を確かめる手順について解説します。

十分統計量 とは、$T = t$ を与えたときの標本の条件つき分布が、母数 $\theta$ によらない統計量 $T$ のことでした。準1級では、ベルヌーイ分布とポアソン分布の離散型で確かめました。1級では、2つの場面に踏み込みます。連続型の場合と、十分でないことを示す場合です。1つずつ見ていきましょう。

1. 連続型の場合

連続型では $P(T = t) = 0$ なので、条件つき確率ではなく条件つき密度で考えます。具体的に見てみましょう。$X_1, X_2$ が独立に率 $\lambda$ の指数分布に従うとき、$T = X_1 + X_2$ は十分統計量です。

$(x_1, x_2)$ を $(x_1, t)$（$t = x_1 + x_2$）に変換すると、ヤコビアンは1です。また、$T$ はガンマ分布に従います。

$$f_{X_1, T}(x_1, t) = \lambda^2 e^{-\lambda t} \quad (0 < x_1 < t), \qquad f_T(t) = \lambda^2 t\, e^{-\lambda t}$$

割り算をすると、$\lambda^2 e^{-\lambda t}$ が約分されて消えます。

$$f_{X_1 \mid T}(x_1 \mid t) = \frac{1}{t} \qquad (0 < x_1 < t)$$

$T = t$ を与えると、$X_1$ は $(0, t)$ の一様分布です。$\lambda$ はどこにもありません。

これは大切な意味をもちます。2日分の売上の合計だけを聞いて、内訳は忘れてしまったとしましょう。それでも、合計 $t$ を一様乱数で切り分ければ、もとのデータと同じ分布の内訳を作り直せます。つまり、内訳は「$\lambda$ を知らなくても再現できるもの」なので、捨てても何も失いません。

2. 十分でないことを示す場合

逆に、十分でないことを示すには、条件つき確率が $\theta$ に依存する点を1つ見つければ足ります。全部を調べる必要はありません。

例題：十分統計量でないことを示す

$X_1, X_2$ は独立に平均 $\lambda$ のポアソン分布に従う。$T = X_1 + 2X_2$ は $\lambda$ の十分統計量でないことを示せ。

【答案】

1. $T = 2$ となる $(x_1, x_2)$ は、$(2, 0)$ と $(0, 1)$ の2通りである
2. それぞれの確率は、$P(2, 0) = e^{-2\lambda}\lambda^2/2$、$P(0, 1) = e^{-2\lambda}\lambda$ である
3. したがって、次の式を得る

$$P\big((X_1, X_2) = (0, 1) \mid T = 2\big) = \frac{\lambda}{\lambda^2/2 + \lambda} = \frac{2}{\lambda + 2}$$

4. これは $\lambda$ に依存する（$\lambda = 1$ なら $2/3$、$\lambda = 2$ なら $1/2$）。よって $T$ は十分統計量でない

$T = 2$ と聞いただけでは、「0回と1回」なのか「2回と0回」なのかが分からず、その見分けに $\lambda$ の情報が残っているのです。

以上が、十分統計量の立証についての解説です。

ネイマンの分解定理：証明と使い方

次に、ネイマンの分解定理 を証明します。フィッシャー・ネイマンの分解定理とも呼ばれます。

【ネイマンの分解定理】 $T(\boldsymbol{x})$ が $\theta$ の十分統計量であるための必要十分条件は、同時確率関数（密度）が次の形に書けることである。

$$f(\boldsymbol{x};\theta) = g\big(T(\boldsymbol{x});\theta\big)\, h(\boldsymbol{x})$$

イメージは関所です。$\theta$ がデータに会いに行くには、必ず $T$ という関所を通らなければいけません。関所の外の $h$ には $\theta$ が入ってこないので、$T$ を押さえれば $\theta$ の動きはすべて分かります。

1. 離散型の証明

離散型と連続型に分けて、1つずつ見ていきましょう。まずは離散型です。必要性と十分性を分けて書きます。

【証明】

1. （必要性）$T$ が十分統計量とする。$t = T(\boldsymbol{x})$ とおくと、$f(\boldsymbol{x};\theta) = P_\theta(T = t)\, P(\boldsymbol{X} = \boldsymbol{x} \mid T = t)$ である
2. 第1因数を $g(t;\theta)$ とする。第2因数は十分性より $\theta$ によらないので、$h(\boldsymbol{x})$ とおける
3. （十分性）分解を仮定する。$P_\theta(T = t) = \sum_{\boldsymbol{y}: T(\boldsymbol{y}) = t} g(t;\theta)\, h(\boldsymbol{y}) = g(t;\theta) \sum_{\boldsymbol{y}: T(\boldsymbol{y}) = t} h(\boldsymbol{y})$ である
4. $T(\boldsymbol{x}) = t$ かつ $P_\theta(T = t) > 0$ のとき、次の式が成り立つ

$$P(\boldsymbol{X} = \boldsymbol{x} \mid T = t) = \frac{g(t;\theta)\, h(\boldsymbol{x})}{g(t;\theta) \sum_{\boldsymbol{y}: T(\boldsymbol{y}) = t} h(\boldsymbol{y})} = \frac{h(\boldsymbol{x})}{\sum_{\boldsymbol{y}: T(\boldsymbol{y}) = t} h(\boldsymbol{y})}$$

5. 右辺は $\theta$ を含まない。$T(\boldsymbol{x}) \ne t$ のときの条件つき確率は0なので、やはり $\theta$ によらない

ここがポイントです。手順3で、$T(\boldsymbol{y}) = t$ の範囲では $g$ が定数になるので、和の外に出せます。これが約分の正体です。

2. 連続型の証明

連続型では、前回の記事の補助変数さんに再び来てもらいます。$\boldsymbol{x}$ と $(t, \boldsymbol{v})$ が1対1に対応するように補助変数 $\boldsymbol{V}$ を足し、ヤコビアンを $J(t, \boldsymbol{v})$ とします。分解を仮定すると、次のようになります。

$$f_{T, \boldsymbol{V}}(t, \boldsymbol{v};\theta) = g(t;\theta)\, h\big(\boldsymbol{x}(t, \boldsymbol{v})\big)\, |J(t, \boldsymbol{v})|$$

$\boldsymbol{v}$ で積分すれば $f_T(t;\theta) = g(t;\theta)\int h|J|\,d\boldsymbol{v}$ です。割り算をすると $g$ が約分され、$\boldsymbol{V}$ の条件つき密度は $h|J|/\int h|J|\,d\boldsymbol{v}$ となって、$\theta$ が消えます。逆向きは、$f_{T,\boldsymbol{V}} = f_T \cdot f_{\boldsymbol{V} \mid T}$ の右辺を $|J|$ で割り、もとの変数に戻すだけです。

補足（ここは読み飛ばしてOK）： 上の証明は、1対1の滑らかな変換がとれる場合のものです。完全に一般の場合は測度論の道具を使います。試験では、離散型の証明と連続型の考え方を書ければ十分です。

3. 分解定理の使い方

具体例を3つ見てみましょう。どれも準1級より一歩進んだ例です。

【分解定理の適用例】

1. $U(\theta_1, \theta_2)$： 同時密度は $(\theta_2 - \theta_1)^{-n}\,\mathbf{1}\{\theta_1 \le x_{(1)}\}\,\mathbf{1}\{x_{(n)} \le \theta_2\}$ なので、$(X_{(1)}, X_{(n)})$ が十分統計量
2. 形状 $\alpha$、率 $\beta$ のガンマ分布： 同時密度は $\{\beta^\alpha/\Gamma(\alpha)\}^n (\prod_i x_i)^{\alpha-1} e^{-\beta\sum_i x_i}$ なので、$(\prod_i X_i, \sum_i X_i)$ が十分統計量
3. $U(\theta, \theta + 1)$： 同時密度は $\mathbf{1}\{\theta \le x_{(1)}\}\,\mathbf{1}\{x_{(n)} \le \theta + 1\}$ なので、$(X_{(1)}, X_{(n)})$ が十分統計量

3つ目に注目してください。母数は1つなのに、十分統計量は2次元です。母数の数と十分統計量の次元は、一致するとは限りません。

一般に、$f(x;\theta) = h(x)\,c(\theta)\exp\{\sum_{j=1}^{m} \eta_j(\theta)\, t_j(x)\}$ の形の 指数型分布族 では、同時密度が $\{\prod_i h(x_i)\}\, c(\theta)^n \exp\{\sum_j \eta_j(\theta) \sum_i t_j(x_i)\}$ となります。したがって、$(\sum_i t_1(X_i), \dots, \sum_i t_m(X_i))$ が十分統計量です。密度をこの形に書き直せたら、分解は終わったも同然です。

では、どこまで小さく要約できるのでしょうか？ 任意の十分統計量の関数として書ける十分統計量を、最小十分統計量 と呼びます。判定には、次の基準が便利です。

$$\frac{f(\boldsymbol{x};\theta)}{f(\boldsymbol{y};\theta)} \text{ が } \theta \text{ によらない} \iff T(\boldsymbol{x}) = T(\boldsymbol{y})$$

これが成り立つ $T$ は、最小十分統計量です。例えば、ベルヌーイ分布では比が $\{p/(1-p)\}^{\sum_i x_i - \sum_i y_i}$ なので、$p$ によらないのは $\sum_i x_i = \sum_i y_i$ のときだけです。したがって、当たりの回数が最小十分統計量です。

例題：2母数の指数分布の十分統計量

密度 $f(x;a,b) = \frac{1}{b}e^{-(x-a)/b}$（$x \ge a$、$b > 0$）からの大きさ $n$ の標本について、$(a, b)$ の十分統計量を求めよ。$a$ が既知のとき、$b$ が既知のときはどうなるかも述べよ。

【答案】

1. 同時密度は、指示関数を使って次のように書ける

$$\prod_{i=1}^{n} f(x_i;a,b) = b^{-n} \exp\left\{-\frac{\sum_i x_i - na}{b}\right\} \mathbf{1}\{x_{(1)} \ge a\}$$

2. 右辺全体が $x_{(1)}$ と $\sum_i x_i$ と母数の関数である。$h(\boldsymbol{x}) = 1$ として、分解定理より $(X_{(1)}, \sum_i X_i)$ が十分統計量である
3. $a$ が既知なら、指示関数は未知の $b$ を含まないので $h$ に入り、$\sum_i X_i$ が十分統計量である
4. $b$ が既知なら、$e^{-\sum_i x_i/b}$ が $h$ に入り、$X_{(1)}$ が十分統計量である

答えは順に $(X_{(1)}, \sum_i X_i)$、$\sum_i X_i$、$X_{(1)}$ です。何が未知かで、関所の場所が変わります。

試験のポイント：どの因数が $g$ でどの因数が $h$ かを、答案に明示しましょう。範囲が母数で決まるときは、指示関数を必ず書きます。

以上が、ネイマンの分解定理についての解説です。

順序統計量：分布を導く

最後に、順序統計量の分布の導出を見ていきましょう。

順序統計量 とは、標本を小さい順に並べ替えた $X_{(1)} \le \dots \le X_{(n)}$ でした。運動会の徒競走で、ゴールした順に並び直した列だと思ってください。以下、母集団は連続型で、分布関数を $F$、密度を $f$ とします。1つずつ見ていきましょう。

1. 同時密度

標本空間は、$x_{\pi(1)} < \dots < x_{\pi(n)}$ となる $n!$ 個の領域に分かれます。どの領域も、並べ替えによって $y_1 < \dots < y_n$ に1対1で写り、ヤコビアンの絶対値は1です。$n!$ 個の領域からの寄与はすべて同じなので、次の式が成り立ちます。

$$f_{(1, \dots, n)}(y_1, \dots, y_n) = n! \prod_{i=1}^{n} f(y_i) \qquad (y_1 < \dots < y_n)$$

2. k番目の密度を導く

準1級では、組分けの読み方で密度を覚えました。答案では、分布関数から導きます。$\{X_{(k)} \le x\}$ は「$x$ 以下の値が $k$ 個以上ある」という事象で、$x$ 以下の個数は二項分布 $B(n, F(x))$ に従います。

$$P(X_{(k)} \le x) = \sum_{j=k}^{n} \binom{n}{j} F(x)^j \{1 - F(x)\}^{n-j}$$

これを $x$ で微分します。$a_j = j\binom{n}{j}F^{j-1}(1-F)^{n-j}$ とおくと、$(n-j)\binom{n}{j} = (j+1)\binom{n}{j+1}$ より、第 $j$ 項の微分は $(a_j - a_{j+1})f$ です。和をとると隣どうしが打ち消し合い、$a_k f$ だけが残ります（$a_{n+1} = 0$）。

$$f_{(k)}(x) = \frac{n!}{(k-1)!\,(n-k)!}\, F(x)^{k-1} \{1 - F(x)\}^{n-k} f(x)$$

ドミノ倒しのように、途中の項がすべて消えるのが、この計算のおもしろいところです。

さらに、$U = F(X)$ は $U(0, 1)$ に従います（確率積分変換）。$F$ は増加関数で順序を保つので、どんな連続分布でも $F(X_{(k)}) \sim \text{Beta}(k, n-k+1)$ です。

3. 2つの順序統計量の同時密度

$j < k$、$x < y$ のとき、$n$ 人を5組に分ける形で次の式が得られます。

$$f_{(j,k)}(x, y) = \frac{n!\; F(x)^{j-1} \{F(y) - F(x)\}^{k-j-1} \{1 - F(y)\}^{n-k} f(x) f(y)}{(j-1)!\,(k-j-1)!\,(n-k)!}$$

5組とは、$x$ より下、ちょうど $x$、$x$ と $y$ の間、ちょうど $y$、$y$ より上です。

例題：範囲の分布を導く

$U(0, 1)$ からの大きさ $n$ の標本の範囲 $R = X_{(n)} - X_{(1)}$ について、(1) 密度を導け。(2) $n = 4$ のとき $P(R > 0.5)$ を求めよ。

【答案】

1. $j = 1$、$k = n$ とすると、$(X_{(1)}, X_{(n)})$ の同時密度は $n(n-1)(y - x)^{n-2}$（$0 < x < y < 1$）である
2. $r = y - x$、$s = x$ と変換する。ヤコビアンは1で、範囲は $0 < s < 1 - r$ である
3. $s$ を積分して、$f_R(r) = \int_0^{1-r} n(n-1) r^{n-2}\,ds = n(n-1)\, r^{n-2}(1 - r)$（$0 < r < 1$）を得る。これは $\text{Beta}(n-1, 2)$ である
4. $n = 4$ なら $f_R(r) = 12 r^2 (1 - r)$ である。$P(R > 0.5) = \int_{0.5}^{1} (12r^2 - 12r^3)\,dr = [4r^3 - 3r^4]_{0.5}^{1} = 1 - 0.3125 = 0.6875$ となる

答えは $n(n-1)r^{n-2}(1-r)$ と0.6875です。ここでも補助変数 $s$ が活躍しました。

4. 指数分布の間隔

指数分布では、順序統計量の間隔にきれいな性質があります。率 $\lambda$ の指数分布の標本で、$X_{(0)} = 0$ として次の量を考えます。

$$D_i = (n - i + 1)\big(X_{(i)} - X_{(i-1)}\big) \qquad (i = 1, \dots, n)$$

すると、$D_1, \dots, D_n$ は独立に率 $\lambda$ の指数分布に従います。証明は次の3行です。

【証明】

1. $(X_{(1)}, \dots, X_{(n)})$ の同時密度は $n!\,\lambda^n e^{-\lambda\sum_i x_{(i)}}$ である
2. $\sum_i x_{(i)} = \sum_i (n - i + 1)(x_{(i)} - x_{(i-1)}) = \sum_i d_i$ である
3. $x \mapsto d$ の変換は三角行列で、対角成分の積は $n!$ である。よって $\boldsymbol{D}$ の同時密度は $\lambda^n e^{-\lambda\sum_i d_i}$ となる

これは指数分布の無記憶性を式にしたものです。1個が壊れた瞬間、残りの部品は新品に戻ったのと同じです。

例えば、平均12か月で壊れる部品を4個同時に使い始めたとしましょう。$X_{(i)} = \sum_{l \le i} D_l/(n - l + 1)$ なので、最後の1個が壊れるまでの期待値は $12 \times (1/4 + 1/3 + 1/2 + 1) = 25$ か月です。最初の1個は $12 \div 4 = 3$ か月で壊れます。

試験のポイント：順序統計量の問題は、「分布関数から攻める」「組分けで書く」「指数分布なら間隔に分ける」の3つの型で解けます。

以上が、順序統計量の分布についての解説です。

細かい証明を忘れてしまっても問題ありません。ここでは、「十分性とは母数が約分で消えること」「順序統計量は分布関数から導くこと」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は、十分統計量の立証、ネイマンの分解定理の証明、順序統計量の分布の導出を紹介しました。段ボールに入れた荷物だけで足りると言い切れるのは、条件つき分布から母数が消えるからです。分解定理は、その計算を一般化したものでした。

今回のポイントを振り返りましょう。

振り返り

• 十分性の立証は、条件つき分布から母数が消えるかを見る。否定するなら、依存する点を1つ見つければよい。
• ネイマンの分解定理の証明の核心は、$T = t$ の範囲で $g$ が定数になり、約分されること。
• 指数型分布族では $\sum_i t_j(X_i)$ が十分統計量。母数の数と十分統計量の次元は一致するとは限らない。
• 順序統計量の分布関数は二項分布の和で書け、微分すると途中の項が消えて密度が出る。
• 指数分布の順序統計量の間隔は、重みをつけると独立な指数分布になる。

キーワードのおさらい

• 十分統計量: 与えたときの標本の条件つき分布が母数によらない統計量
• ネイマンの分解定理: $f = g(T;\theta)\,h(\boldsymbol{x})$ と分解できることが十分性の必要十分条件だという定理
• 指数型分布族: 密度が $h(x)\,c(\theta)\exp\{\sum_j \eta_j(\theta)\, t_j(x)\}$ の形をした分布の族
• 最小十分統計量: 任意の十分統計量の関数として書ける十分統計量
• 順序統計量: 標本を小さい順に並べ替えた $X_{(1)}, \dots, X_{(n)}$
• 確率積分変換: $F(X)$ が $U(0, 1)$ に従うという性質

さて、情報を失わない要約が分かりました。では、その要約から母数の値をどう決めればよいのでしょうか？

次回は、尤度関数からスコア関数を導き、最尤推定を答案として書き切る方法を紹介します。

それでは、次の記事へ進んでいきましょう。