統計学 学習ノート

はじめに

当たりの回数の中に、p の情報はすべて入っている

「1万件のデータ、全部とっておかないとダメなの？」

例えば、くじを1万回引いて、当たりとはずれを順番に記録したとしましょう。知りたいのは、くじの当たる確率 $p$ です。このとき、何回目に当たったかという記録まで必要でしょうか？ 当たりが2,500回だったと分かれば、それで十分な気がしますよね。

実は、この直感は数学的に正しく言い表せます。「何回当たったか」という1つの数の中に、$p$ についての情報はすべて入っていて、順番の記録には $p$ の情報がまったく残っていないのです。

そこで登場するのが、今回の主役 十分統計量 です。十分統計量とは、母数についての情報を失わないデータの要約です。もう1つ、データを小さい順に並べて見る 順序統計量 も扱います。

前回の記事では、t分布や非心分布など、標本から作った量の分布を学びました。今回の記事では、どんな要約なら情報を失わないのかを見分ける方法と、順序統計量の分布について解説します。

十分統計量：情報を失わない要約

回数が分かれば、順番はどれも同じ確率で p と無関係

はじめに、十分統計量の定義について解説します。

まず言葉を確認しましょう。統計量 とは、標本 $X_1, \dots, X_n$ の関数で、未知の母数を含まないものです。例えば、$\bar{X}$ や $S^2$ や最大値は統計量です。一方で、$\mu$ が未知のとき、$\bar{X} - \mu$ は統計量ではありません。データだけでは値を計算できないからです。

統計量は、データの要約です。要約すれば、ふつうは情報が減ります。健康診断の検査記録を、結果票の1枚にまとめる場面を想像してください。結果票だけで医師が同じ判断をできるなら、その結果票は「十分な要約」です。

これを式で書いたものが、次の定義です。十分統計量 とは、$T = t$ を与えたときの標本の条件つき分布が、母数 $\theta$ を含まない統計量 $T$ のことです。

$$P(X_1 = x_1, \dots, X_n = x_n \mid T = t) \ \text{が} \ \theta \ \text{によらない}$$

なぜこれで「情報を失わない」と言えるのでしょうか？ $T$ を知ったあとの残りの部分は、$\theta$ と無関係な乱数と同じだからです。$T$ さえあれば、$\theta$ を知らなくても、元のデータと同じ分布の偽データを作り直せます。つまり、元のデータが $T$ に付け足している部分は、$\theta$ についての手がかりにはなりません。

具体的に見てみましょう。ベルヌーイ試行を3回行って、当たりの回数を $T = X_1 + X_2 + X_3$ とします。$T = 1$ のとき、ありうる並びは (1,0,0)、(0,1,0)、(0,0,1) の3通りです。どの並びの確率も $p(1-p)^2$ で等しいので、条件つき確率は次のようになります。

$$P\big((1,0,0) \mid T = 1\big) = \frac{p(1-p)^2}{3p(1-p)^2} = \frac{1}{3}$$

$p$ が約分されて消えました。当たりの回数が分かれば、順番は $p$ に関係なく、どれも同じ確率で起きているのです。一般に $T = t$ なら、並びの確率は $1/\binom{n}{t}$ です。

せっかくなので、別の例も見てみましょう。独立な $X_1, X_2 \sim \text{Po}(\lambda)$ で、$T = X_1 + X_2$ とします。ポアソン分布の再生性から $T \sim \text{Po}(2\lambda)$ なので、次の式が成り立ちます。

$$P(X_1 = a \mid T = t) = \frac{\dfrac{e^{-\lambda}\lambda^{a}}{a!} \cdot \dfrac{e^{-\lambda}\lambda^{t-a}}{(t-a)!}}{\dfrac{e^{-2\lambda}(2\lambda)^{t}}{t!}} = \binom{t}{a}\left(\frac{1}{2}\right)^{t}$$

ここでも $\lambda$ が消えて、二項分布 $B(t, 1/2)$ になりました。例えば、$t = 4$、$a = 1$ なら、$\lambda$ がいくつでも確率は0.25です。

一方で、3回のベルヌーイ試行の $X_1$ だけを残した要約は、十分統計量ではありません。$X_2, X_3$ の分布に $p$ が残るからです。

以上が、十分統計量の定義についての解説です。

フィッシャー・ネイマンの分解定理：式の形で見分ける

θ に関わる荷物を箱 T に全部詰められたら十分統計量

次に、十分統計量を見つける便利な道具を説明します。

定義どおりに条件つき分布を計算するのは手間がかかります。しかも、どの統計量を試せばよいのかも分かりません。そこで使うのが、フィッシャー・ネイマンの分解定理 です。

$$f(x_1, \dots, x_n; \theta) = g\big(T(x_1, \dots, x_n);\, \theta\big) \cdot h(x_1, \dots, x_n)$$

$f$ は標本の同時確率関数または同時確率密度関数です。$T$ が十分統計量であることは、このように2つの因数に分解できることと同じです。

言葉で言うと、$\theta$ を含む因数 $g$ には、データが $T$ の形でしか入らず、残りの因数 $h$ は $\theta$ を含まない、ということです。荷物の仕分けに例えるなら、$\theta$ に関わる荷物を $T$ という箱に全部詰められたら、箱の外には $\theta$ に関係のないものしか残らない、というイメージです。

なぜ成り立つのかも、離散型で確かめておきましょう。$T(x) = t$ のとき、条件つき確率は次のように計算できます。

$$P(X = x \mid T = t) = \frac{g(t;\theta)\, h(x)}{\sum_{y:\, T(y) = t} g(t;\theta)\, h(y)} = \frac{h(x)}{\sum_{y:\, T(y) = t} h(y)}$$

$g(t;\theta)$ が分母と分子で約分されて、$\theta$ が消えます。逆に、十分統計量なら $f = P(T = t) \cdot P(X = x \mid T = t)$ と分ければ、分解の形になります。

3つの分布で使ってみます。1つずつ見ていきましょう。

1. ポアソン分布

同時確率関数を書き、$\lambda$ を含む部分と含まない部分に分けます。

$$\prod_{i=1}^{n} \frac{e^{-\lambda}\lambda^{x_i}}{x_i!} = \underbrace{e^{-n\lambda}\lambda^{\sum_i x_i}}_{g} \cdot \underbrace{\frac{1}{\prod_i x_i!}}_{h}$$

データは $g$ の中に $\sum_i x_i$ の形でしか現れません。したがって、$T = \sum_i X_i$ が十分統計量です。

2. 正規分布

$\mu$ と $\sigma^2$ がともに未知なら、指数の中を展開します。

$$\prod_{i=1}^{n} f(x_i) = (2\pi\sigma^2)^{-n/2} \exp\left\{-\frac{\sum_i x_i^2 - 2\mu \sum_i x_i + n\mu^2}{2\sigma^2}\right\}$$

データは $\sum_i x_i$ と $\sum_i x_i^2$ の2つの形でしか入っていません。したがって、組 $(\sum_i X_i,\ \sum_i X_i^2)$ が十分統計量です。これを1対1に変換した $(\bar{X}, S^2)$ も十分統計量です。正規母集団の問題で $\bar{x}$ と $s^2$ だけ与えられても解けるのは、このためです。

3. 一様分布

$U(0, \theta)$ の密度は $1/\theta$ で、$0 \le x \le \theta$ の外では0です。範囲を式に入れるには、条件が成り立つとき1、成り立たないとき0となる指示関数 $\mathbf{1}\{\cdot\}$ を使います。

$$\prod_{i=1}^{n} \frac{1}{\theta}\mathbf{1}\{0 \le x_i \le \theta\} = \underbrace{\theta^{-n}\, \mathbf{1}\{\max_i x_i \le \theta\}}_{g} \cdot \underbrace{\mathbf{1}\{\min_i x_i \ge 0\}}_{h}$$

全員が $\theta$ 以下という条件は、最大値が $\theta$ 以下という条件と同じです。したがって、$T = \max_i X_i$ が十分統計量です。平均ではなく最大値が要約になるのが、一様分布のおもしろいところです。

試験のポイント：範囲が母数で決まる分布では、指示関数を忘れずに書きます。十分統計量が最大値や最小値になるのは、たいていこの形です。

例題：分解定理で十分統計量を見つける

$f(x;\theta) = \theta x^{\theta - 1}$（$0 < x < 1$、$\theta > 0$）からの標本について、$\theta$ の十分統計量を求めましょう。

【解き方】

1. 同時密度を書く： $\prod_i \theta x_i^{\theta - 1} = \theta^n \left(\prod_i x_i\right)^{\theta - 1}$
2. データは $\prod_i x_i$ の形でしか入っていない。$h(x) = 1$ とする
3. したがって $T = \prod_i X_i$ が十分統計量

答えは $T = \prod_i X_i$ です。1対1の変換をした $\sum_i \log X_i$ でもかまいません。

補足（ここは読み飛ばしてOK）： 十分統計量は1つではありません。データ全体も、自明な十分統計量です。これ以上小さく要約できない十分統計量を、最小十分統計量と呼びます。また、$f(x;\theta) = h(x)\,c(\theta)\exp\{\eta(\theta)\,t(x)\}$ の形の指数型分布族では、$\sum_i t(X_i)$ がいつも十分統計量になります。

以上が、分解定理についての説明です。

順序統計量：並べ替えて見る

n 個の点は、区間を平均して n+1 等分する

最後に、順序統計量を見ていきましょう。

順序統計量 とは、標本を小さい順に並べ替えた $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$ のことです。背の順に並び直した列だと思ってください。$X_{(1)}$ が最小値、$X_{(n)}$ が最大値で、中央値も範囲 $X_{(n)} - X_{(1)}$ も、ここから計算できます。

独立に同じ分布に従う標本では、順序統計量全体はいつでも十分統計量です。同時密度 $\prod_i f(x_i;\theta)$ は掛ける順番を変えても同じなので、並べ替える前の順番には $\theta$ の情報がないからです。

では、順序統計量の分布を求めてみましょう。以下、母集団の分布関数を $F$、密度を $f$ とします。

1. 最大値と最小値

最大値が $x$ 以下であるのは、全員が $x$ 以下のときです。最小値が $x$ より大きいのは、全員が $x$ より大きいときです。独立性から、次の式が得られます。

$$P(X_{(n)} \le x) = F(x)^n, \qquad P(X_{(1)} > x) = \{1 - F(x)\}^n$$

例えば、寿命が平均1,000時間の指数分布に従う電球を3個同時につけたとします。最初の1個が切れるまでの時間 $X_{(1)}$ は、次の生存関数をもちます。

$$P(X_{(1)} > x) = \left(e^{-x/1000}\right)^3 = e^{-3x/1000}$$

つまり、平均 $1000/3 \approx 333$ 時間の指数分布です。3個あると、誰かが切れるまでの時間は3分の1になります。100時間以上1個も切れない確率は $e^{-0.3} \approx 0.741$ です。

2. k番目の値

$k$ 番目の値 $X_{(k)}$ の密度は、次のとおりです。

$$f_{(k)}(x) = \frac{n!}{(k-1)!\,(n-k)!}\, F(x)^{k-1}\, \{1 - F(x)\}^{n-k}\, f(x)$$

式は長いですが、読み方はかんたんです。$n$ 人を「$x$ より下の $k-1$ 人」「ちょうど $x$ にいる1人」「$x$ より上の $n-k$ 人」の3組に分けるだけです。組分けの仕方が多項係数で、それぞれの組の確率が $F(x)$、$f(x)$、$1 - F(x)$ です。

$U(0, 1)$ の標本では $F(x) = x$、$f(x) = 1$ なので、$X_{(k)}$ はベータ分布に従います。

$$X_{(k)} \sim \text{Beta}(k,\ n - k + 1), \qquad E[X_{(k)}] = \frac{k}{n+1}$$

期待値が $k/n$ ではなく $k/(n+1)$ である点が大切です。$n$ 個の点は、区間を平均して $n+1$ 等分すると考えられます。例えば、$n = 5$ の中央値 $X_{(3)}$ は $\text{Beta}(3, 3)$ に従い、密度は $30x^2(1-x)^2$、期待値は $1/2$、分散は $1/28$ です。

また、並べ替えた全体の同時密度は、$x_1 < x_2 < \dots < x_n$ の範囲で $n! \prod_i f(x_i)$ です。もとの標本には $n!$ 通りの順番があり、それらが1つに集まるからです。ここからは、$U(0, 1)$ の範囲の期待値が $E[X_{(n)}] - E[X_{(1)}] = (n-1)/(n+1)$ となることも分かります。

例題：番号の上限を見積もる

ラーメン店の整理券の番号が、0から $\theta$ の間で一様に分布しているとみなします。5枚を無作為に見ると、番号は 12, 34, 51, 66, 80 でした。最大値にもとづく $\theta$ の見積もりを、期待値がちょうど $\theta$ になるように作りましょう。

【解き方】

1. $X_i/\theta$ は $U(0, 1)$ に従うので、$E[X_{(5)}/\theta] = 5/6$
2. したがって $E[X_{(5)}] = \frac{5}{6}\theta$ となり、最大値は平均して $\theta$ より小さい
3. 補正する： $\frac{6}{5}X_{(5)}$ の期待値は $\theta$
4. 代入する： $\frac{6}{5} \times 80 = 96$

答えは96です。最大値は十分統計量なので、$\theta$ の情報はこの1つに集まっています。この推定量がどれほどよいかは、点推定の性質の記事で確かめます。

試験のポイント：最大値は $F(x)^n$、最小値は $1 - \{1 - F(x)\}^n$ と、分布関数から攻めるのが基本です。密度はそれを微分して求めます。

以上が、順序統計量についての解説です。

細かい式を忘れてしまっても問題ありません。ここでは、「分解できれば十分統計量」「並べ替えた値の分布は分布関数から攻める」という点だけ押さえておきましょう。

今回のまとめ

情報を失わない要約を見分け、並べ替えて分布を読む

それでは、今回の内容を振り返ります。

今回は、データの情報を失わない要約である十分統計量と、並べ替えて見る順序統計量について紹介しました。データをたくさん持っていることと、母数の情報をたくさん持っていることは、別の話です。分解定理は、情報のありかを式の形から教えてくれます。

今回のポイントを振り返りましょう。

振り返り

• 統計量はデータだけで計算できる量。未知の母数を含まない。
• 十分統計量は、条件つき分布から母数が消える要約で、健康診断の結果票のようなもの。
• 分解定理により、$\theta$ を含む因数にデータが $T$ の形でしか入らなければ、$T$ は十分統計量になる。
• 正規分布では $(\bar{X}, S^2)$、ポアソン分布では合計、一様分布 $U(0, \theta)$ では最大値が十分統計量になる。
• 順序統計量の分布は分布関数から導ける。$U(0, 1)$ の $X_{(k)}$ は $\text{Beta}(k, n-k+1)$ に従う。

キーワードのおさらい

• 統計量: 標本の関数で、未知の母数を含まないもの
• 十分統計量: 与えたときの標本の条件つき分布が母数によらない統計量
• フィッシャー・ネイマンの分解定理: 同時確率（密度）が $g(T;\theta)\,h(x)$ と分解できることが、$T$ が十分である条件だという定理
• 順序統計量: 標本を小さい順に並べ替えた $X_{(1)}, \dots, X_{(n)}$

さて、要約の仕方が分かったところで、次の疑問が出てきます。その要約から、母数の値を具体的にどう決めればよいのでしょうか？

次回は、推定量の作り方である「最尤法」「モーメント法」「最小二乗法」について紹介します。

それでは、次の記事へ進んでいきましょう。