統計学 学習ノート

はじめに

「この区間に真の値が入る確率は95%です、と答案に書いたら減点？」

準1級までは、公式に数値を入れれば信頼区間が求まりました。ところが1級の論述では、「この統計量の分布を導き、信頼区間を構成せよ」と問われます。「その区間の被覆確率を求めよ」と続くこともあります。つまり、区間の中身を自分で組み立てて、性能まで説明する力が必要です。

実は、信頼区間の作り方の基本は3つです。ピボットを解く、検定を裏返す、漸近正規性を使う。この3つです。そして、それぞれ保証の強さが違います。

そこで登場するのが、今回の主役 信頼区間の構成 の理論です。準1級で学んだ 信頼係数 と 被覆確率 の定義から出発して、3つの作り方を証明つきで整理します。

前回の記事では、クラーメル・ラオの不等式とデルタ法を学びました。今回の記事では、その道具も使いながら、信頼区間がなぜ保証を持つのか、保証はどこで崩れるのかについて解説します。

定義を式で言い切る：被覆確率と信頼係数

はじめに、答案の土台になる定義を整理します。

準1級では、信頼区間を輪投げに例えました。杭が真の母数 $\theta$ で、投げるたびに動く輪がデータから作った区間です。1級ではこれを、写像として書きます。データ $x$ に $\Theta$ の部分集合 $C(x)$ を対応させる規則が、区間推定量です。区間の形なら $C(x) = [L(x), U(x)]$ です。

確率的に動くのは $C(X)$ のほうで、$\theta$ は定数です。そのうえで、被覆確率 と 信頼係数 を次のように定めます。

$$\gamma(\theta) = P_\theta\big(\theta \in C(X)\big), \qquad \text{信頼係数} = \inf_{\theta \in \Theta} \gamma(\theta)$$

$\gamma(\theta)$ は、真の値が $\theta$ のときに区間が $\theta$ を含む確率です。信頼係数は、そのいちばん悪い値です。信頼係数が $1 - \alpha$ 以上の区間を、信頼水準 $1 - \alpha$ の信頼区間と呼びます。

ここがポイントです。冒頭の答案は、減点されます。データを代入した後の区間 [3.1, 5.2] は、$\theta$ を含むか含まないかのどちらかです。確率が語れるのは、代入する前の $C(X)$ についてだけです。工場の保証書が「この製法の製品は95%以上が合格する」と書いているのと同じで、手元の1個に95%の合格があるわけではありません。

では、被覆確率が高ければ、それでよい区間なのでしょうか？ 実は、そうとは言えません。次の意地の悪い区間を考えてみましょう。

【くじ引きの区間】

1. データを見ずに、確率0.95で当たるくじを引く
2. 当たりなら $C = \mathbb{R}$（実数全体）、はずれなら $C = \emptyset$（空集合）とする

この区間の被覆確率は、どの $\theta$ でも0.95です。つまり信頼係数は0.95です。それなのに、何も教えてくれません。だから信頼区間の評価には、もう1つの物差しが要ります。それが区間の長さです。

【信頼区間のよさの2本の物差し】

1. 被覆確率： 保証が守られているか。$\gamma(\theta) \ge 1 - \alpha$ がすべての $\theta$ で成り立つか
2. 区間の長さ： 保証を守ったうえで、どれだけ狭いか

輪投げで言えば、輪を大きくすれば誰でも入ります。腕の見せどころは、小さい輪で同じ成功率を出すことです。

試験のポイント：「信頼水準95%」の説明では、確率の主語を $C(X)$ にします。「同じ手順を繰り返すと、作られる区間のうち95%以上が $\theta$ を含む」と書けば正確です。

以上が、被覆確率と信頼係数の定義についての解説です。

作り方①：ピボットと確率積分変換

次に、最も保証が強い作り方であるピボット法について説明します。

ピボットとは、データと $\theta$ の関数で、分布が $\theta$ によらない量 $Q(X, \theta)$ のことです。準1級で学んだとおり、$P(a \le Q \le b) = 1 - \alpha$ となる $a, b$ を選び、不等式を $\theta$ について解くと、被覆確率がちょうど $1 - \alpha$ の区間ができます。

では、ピボットはいつでも見つかるのでしょうか？ 連続型なら、答えは「はい」です。根拠は 確率積分変換 です。

$T$ が連続型で、分布関数 $F_\theta$ が狭義単調増加なら、次が成り立ちます。

$$F_\theta(T) \sim U(0, 1)$$

証明は1行です。$0 < u < 1$ に対して、次のように計算できます。

$$P_\theta\big(F_\theta(T) \le u\big) = P_\theta\big(T \le F_\theta^{-1}(u)\big) = F_\theta\big(F_\theta^{-1}(u)\big) = u$$

言葉で言うと、自分の分布関数に通せば、どんな連続型の統計量も一様分布に化ける、ということです。身長でも体重でも、「学年で下から何%か」に直せば、同じ物差しになるのと同じです。

したがって、$F_\theta(T)$ は必ずピボットです。さらに、独立な $X_1, \ldots, X_n$ の分布関数を $F_\theta$ とすると、$-\log U$ が指数分布に従うことから、次の万能のピボットが作れます。

$$-2\sum_{i=1}^{n} \log F_\theta(X_i) \sim \chi^2(2n)$$

あとは、不等式が $\theta$ について解ける形かどうかだけが問題です。

例題：ピボットの導出から区間まで

$X_1, \ldots, X_n$ は密度 $f(x; \theta) = \theta x^{\theta - 1}$（$0 < x < 1$、$\theta > 0$）に独立に従う。$T = -\sum_i \log X_i$ とする。(1) $2\theta T$ の分布を導け。(2) $\theta$ の信頼水準 $1 - \alpha$ の信頼区間を構成せよ。(3) $n = 10$、$T = 5$ のとき、95%信頼区間を求めよ。$\chi^2_{0.975}(20) = 9.59$、$\chi^2_{0.025}(20) = 34.17$ とする。

【解答】

(1) $Y_i = -\log X_i$ とおく。$y > 0$ に対して、

$$P(Y_i > y) = P(X_i < e^{-y}) = \int_0^{e^{-y}} \theta x^{\theta - 1}\, dx = e^{-\theta y}$$

よって $Y_i$ は率 $\theta$ の指数分布に従う。$W_i = 2\theta Y_i$ とおくと $P(W_i > w) = e^{-w/2}$ なので、$W_i \sim \chi^2(2)$ である。カイ二乗分布の再生性より、$2\theta T = \sum_i W_i \sim \chi^2(2n)$ である。

(2) 分布が $\theta$ によらないので $2\theta T$ はピボットである。$P(\chi^2_{1 - \alpha/2}(2n) \le 2\theta T \le \chi^2_{\alpha/2}(2n)) = 1 - \alpha$ の不等式を $\theta$ について解いて、次を得る。

$$\frac{\chi^2_{1 - \alpha/2}(2n)}{2T} \le \theta \le \frac{\chi^2_{\alpha/2}(2n)}{2T}$$

(3) 代入すると、$9.59 \div 10 = 0.959$、$34.17 \div 10 = 3.417$ である。答えは [0.959, 3.417] である。

最尤推定値 $n / T = 2$ の左右で、幅が同じでない点に注意しましょう。分布が非対称なら、区間も非対称です。

長さを最短にする条件

さて、$a, b$ の選び方は1通りではありません。等裾（両側に $\alpha/2$ ずつ）は便利な約束ですが、最短とは限りません。そこで、長さを最小にする条件を導きます。

$Q$ の密度を $g$、分布関数を $G$ とします。制約 $G(b) - G(a) = 1 - \alpha$ を微分すると、$g(b)\,db = g(a)\,da$ です。つまり、$db/da = g(a)/g(b)$ が成り立ちます。

【区間の長さと最短の条件】

• 位置型（長さが $b - a$ に比例）： $\dfrac{d(b - a)}{da} = \dfrac{g(a)}{g(b)} - 1 = 0$ より、$g(a) = g(b)$
• 尺度型（長さが $1/a - 1/b$ に比例）： $-\dfrac{1}{a^2} + \dfrac{1}{b^2}\dfrac{g(a)}{g(b)} = 0$ より、$a^2 g(a) = b^2 g(b)$

位置型の条件は、「密度の同じ高さで切る」ということです。$z$ や $t$ は左右対称なので、等裾がそのまま最短になります。

一方で、母分散の区間 $[S/b, S/a]$（$S$ は偏差平方和、ピボットは $S/\sigma^2$）は尺度型です。具体的に見てみましょう。$n = 11$、$S = 40$ とします。自由度10のカイ二乗分布で数値を解くと、次のようになります。

切り方	$a$	$b$	区間	長さ
等裾	3.25	20.48	[1.95, 12.32]	10.37
最短	3.89	27.27	[1.47, 10.29]	8.83

同じ95%でも、長さが15%ほど縮みました。ただし、計算の手間が増えるので、実務と試験の既定は等裾です。「最短にせよ」と指定されたときに、この条件を使います。

せっかくなので、別の例も見てみましょう。$U(0, \theta)$ のピボット $Q = X_{(n)}/\theta$ は、密度 $g(q) = nq^{n-1}$（$0 < q < 1$）を持ちます。尺度型なので長さは $1/a - 1/b$ に比例します。$b^n - a^n = 1 - \alpha$ から $db/da = (a/b)^{n-1}$ なので、次の式を得ます。

$$\frac{d}{da}\left(\frac{1}{a} - \frac{1}{b}\right) = \frac{a^{n+1} - b^{n+1}}{a^2 b^{n+1}} < 0$$

$a$ を増やすほど短くなるので、端の $b = 1$、$a = \alpha^{1/n}$ が最短です。これが準1級で使った区間 $[X_{(n)},\ X_{(n)} \alpha^{-1/n}]$ で、最短性がここで証明できました。

以上が、ピボット法についての説明です。

作り方②：検定を裏返す

続いて、離散型でも使える作り方を解説します。

結論を一言で言うと、信頼区間とは、検定で棄却されなかった $\theta_0$ の集まり です。

例えるなら、面接で候補者を1人ずつ呼ぶようなものです。$\theta_0 = 1$ さん、$\theta_0 = 2$ さん、と順に「このデータと矛盾しませんか」と検定にかけます。不合格にならなかった候補者の名簿が、信頼区間です。

各 $\theta_0$ について、$H_0: \theta = \theta_0$ の有意水準 $\alpha$ の検定があるとします。その受容域（棄却しない範囲）を $A(\theta_0)$ とします。

$$C(x) = \{\theta : x \in A(\theta)\}$$

こう定めると、$C$ は信頼水準 $1 - \alpha$ の信頼区間です。証明は定義を読み替えるだけです。

$$P_\theta\big(\theta \in C(X)\big) = P_\theta\big(X \in A(\theta)\big) \ge 1 - \alpha$$

逆に、信頼区間 $C$ があれば、$A(\theta_0) = \{x : \theta_0 \in C(x)\}$ が有意水準 $\alpha$ の検定を与えます。区間と検定は、同じものを裏表から見ているのです。

補足（ここは読み飛ばしてOK）： 検定が一様最強力なら、裏返した片側信頼限界は、誤った値を含む確率が最も小さくなります。これを一様最精密と呼びます。検定のよさが、区間のよさに移るわけです。

では、離散型に使いましょう。離散型では $F_\theta(T)$ が一様分布になりません。代わりに、次の補題が成り立ちます。

補題：$F$ を離散型の統計量 $T$ の分布関数とすると、$0 < u < 1$ に対して $P(F(T) \le u) \le u$ である。

証明です。$F(t) \le u$ を満たす最大の $t$ を $t^*$ とします。$F$ は単調なので、$F(T) \le u$ は $T \le t^*$ と同じです。よって確率は $F(t^*) \le u$ です。

この補題により、両裾の確率がともに $\alpha/2$ より大きい値だけを受容域にすれば、第一種の過誤の確率は $\alpha$ 以下です。裏返すと、次の区間ができます。$T$ が $\theta$ の増加とともに大きくなりやすい分布なら、$t$ を観測したときの上下限は次の方程式の解です。

$$P_{\theta_L}(T \ge t) = \frac{\alpha}{2}, \qquad P_{\theta_U}(T \le t) = \frac{\alpha}{2}$$

ここがポイントです。補題が不等式なので、被覆確率は $1 - \alpha$ 以上 です。離散型では、保証は守れますが、ぴったりにはできません。

例題：ポアソン分布の正確な信頼区間

$X \sim Po(\lambda)$ を1回観測する。(1) 自然数 $x$ について $P(X \ge x) = P(\chi^2(2x) \le 2\lambda)$ を示せ。(2) $\lambda$ の信頼水準 $1 - \alpha$ の信頼区間を、カイ二乗分布の上側パーセント点で表せ。(3) $x = 7$ のとき95%信頼区間を求めよ。

【解答】

(1) 単位時間あたり1回の率で起こるポアソン過程を考える。時間 $\lambda$ までの発生回数は $Po(\lambda)$ に従う。$x$ 回目の発生時刻を $Y$ とすると、$Y$ はガンマ分布 $Ga(x, 1)$ に従い、$2Y \sim \chi^2(2x)$ である。「時間 $\lambda$ までに $x$ 回以上起こる」ことと「$x$ 回目の発生が時刻 $\lambda$ 以前」は同じ事象なので、$P(X \ge x) = P(Y \le \lambda) = P(\chi^2(2x) \le 2\lambda)$ である。

(2) 下限は $P(\chi^2(2x) \le 2\lambda_L) = \alpha/2$ を解いて、$\lambda_L = \frac{1}{2}\chi^2_{1 - \alpha/2}(2x)$ である。上限は、$P(X \le x) = 1 - P(X \ge x + 1) = P(\chi^2(2x + 2) > 2\lambda_U) = \alpha/2$ を解いて、$\lambda_U = \frac{1}{2}\chi^2_{\alpha/2}(2x + 2)$ である。ただし $x = 0$ のときは $\lambda_L = 0$ とする。

(3) $\chi^2_{0.975}(14) = 5.63$、$\chi^2_{0.025}(16) = 28.85$ より、答えは [2.81, 14.42] である。

この区間の被覆確率を、ポアソン確率を足し上げて計算すると、$\lambda = 1, 3, 5, 10$ で 0.981、0.988、0.980、0.975 です。どれも0.95を上回ります。保証は確実ですが、そのぶん区間は広めです。内容量を割らないように多めに詰めた袋、というイメージです。

以上が、検定を裏返す作り方についての解説です。

作り方③：漸近正規性と保証の崩れ方

最後に、最も手軽な漸近的な区間を見ていきましょう。

前回の記事の漸近正規性を使います。$\sqrt{n}(\hat{\theta} - \theta) \to N(0, \sigma^2(\theta))$ で、$\hat{\sigma}$ が $\sigma(\theta)$ の一致推定量なら、スラツキーの定理より次が成り立ちます。

$$\frac{\sqrt{n}(\hat{\theta} - \theta)}{\hat{\sigma}} \to N(0, 1)$$

したがって、区間 $\hat{\theta} \pm z_{\alpha/2}\,\hat{\sigma}/\sqrt{n}$ の被覆確率は、各 $\theta$ で $1 - \alpha$ に収束します。ここで「各 $\theta$ で」という断りが重要です。

二項分布の Wald 型区間 $\hat{p} \pm z_{\alpha/2}\sqrt{\hat{p}(1 - \hat{p})/n}$ を考えましょう。$X = 0$ のとき、$\hat{p} = 0$ なので区間は1点 $\{0\}$ に潰れます。$p > 0$ を含みません。つまり被覆確率は、次の不等式を満たします。

$$\gamma(p) \le P_p(X \ge 1) = 1 - (1 - p)^n$$

右辺は $p \to 0$ で0に近づきます。したがって、どんなに $n$ が大きくても、信頼係数は0です。各 $p$ で被覆確率が0.95に近づくことと、全体の下限が0であることは、矛盾しません。$n$ を増やしても、収束の遅い $p$ が必ず端に残るからです。

例えるなら、地域ごとに順に開通していく道路工事です。どの家もいつかは開通しますが、ある日を切り取れば、必ずどこかに未開通の家があります。収束が $\theta$ について一様でないとは、こういうことです。

では、近似をよくするには、どうすればよいでしょうか？ 手が2つあります。

【近似を改善する2つの手】

1. スコア型： 分散に $\hat{\theta}$ を代入せず、$\theta$ のまま不等式を解く
2. 分散安定化変換： デルタ法で、分散が $\theta$ によらなくなる関数 $g$ に変換してから区間を作る

分散安定化の条件を導きます。$\sqrt{n}(\hat{\theta} - \theta) \to N(0, \sigma^2(\theta))$ なら、デルタ法より $\sqrt{n}(g(\hat{\theta}) - g(\theta)) \to N(0, g'(\theta)^2 \sigma^2(\theta))$ です。分散を定数にしたいので、$g'(\theta) = c / \sigma(\theta)$ とします。これを積分した関数が $g$ です。

例題：ポアソン分布の分散安定化

$X_1, \ldots, X_n$ は $Po(\lambda)$ に独立に従う。(1) 漸近分散が $\lambda$ によらない変換 $g$ を導け。(2) それを用いた信頼水準 $1 - \alpha$ の近似信頼区間を構成せよ。(3) $n = 20$、$\bar{x} = 2.5$ のとき、95%信頼区間を求めよ。

【解答】

(1) 中心極限定理より $\sqrt{n}(\bar{X} - \lambda) \to N(0, \lambda)$ である。$\sigma(\lambda) = \sqrt{\lambda}$ なので $g'(\lambda) = 1/\sqrt{\lambda}$ とおくと、$g(\lambda) = 2\sqrt{\lambda}$ である。デルタ法より次が成り立つ。

$$\sqrt{n}\big(2\sqrt{\bar{X}} - 2\sqrt{\lambda}\big) \to N(0, 1)$$

(2) 不等式 $|2\sqrt{n}(\sqrt{\bar{X}} - \sqrt{\lambda})| \le z_{\alpha/2}$ を $\sqrt{\lambda}$ について解いて、両辺を2乗する。左端が負にならないとき、次の区間を得る。

$$\left(\sqrt{\bar{X}} - \frac{z_{\alpha/2}}{2\sqrt{n}}\right)^2 \le \lambda \le \left(\sqrt{\bar{X}} + \frac{z_{\alpha/2}}{2\sqrt{n}}\right)^2$$

(3) $\sqrt{2.5} = 1.581$、$1.96 \div (2\sqrt{20}) = 0.219$ より、$1.362^2 = 1.855$、$1.800^2 = 3.241$ である。答えは [1.86, 3.24] である。

同じデータで、4つの区間を並べてみましょう。

区間	下限	上限
Wald 型	1.81	3.19
スコア型	1.90	3.30
分散安定化	1.86	3.24
正確な区間	1.86	3.30

スコア型は、$(\bar{x} - \lambda)^2 \le z_{\alpha/2}^2\,\lambda / n$ を $\lambda$ の2次不等式として解いたものです。正確な区間は、合計が $Po(n\lambda)$ に従うことから、前の節の結果を $n$ で割りました。

$n = 5$ のときの本当の被覆確率は、次のとおりです。

真の $\lambda$	0.2	0.5	1	2
Wald 型	0.632	0.917	0.870	0.926
スコア型	0.920	0.958	0.961	0.963
分散安定化	0.613	0.904	0.946	0.956
正確な区間	0.981	0.986	0.980	0.975

表の見方を説明します。$\lambda$ が小さいと合計が0になりやすく、Wald 型は潰れて外れます。スコア型は、表のどの値でも0.9以上です。分散安定化は、$\lambda$ がある程度大きければよいのですが、小さい側では崩れます。正確な区間だけが、0.95を下回りません。

試験のポイント：漸近的な区間について書けるのは「被覆確率が各 $\theta$ で $1 - \alpha$ に収束する」までです。「信頼係数が $1 - \alpha$ である」とは書けません。

以上が、漸近的な信頼区間についての解説です。

細かい計算を忘れてしまっても問題ありません。ここでは、「ピボットは等号、検定の裏返しは以上、漸近は極限」という保証の違いだけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は信頼区間の3つの構成法と、その保証の強さについて紹介しました。ピボットなら被覆確率はちょうど $1 - \alpha$、離散型で検定を裏返せば $1 - \alpha$ 以上、漸近正規性なら極限で $1 - \alpha$ です。答案では、どの作り方で、どの保証が得られたのかを言葉にすることが大切です。

今回のポイントを振り返りましょう。

振り返り

• 確率的に動くのは区間で、$\theta$ は定数。信頼係数は被覆確率の下限で、最低保証の値。
• 確率積分変換により、連続型なら必ずピボットが作れる。最短の区間は $g(a) = g(b)$ などの条件で決まる。
• 信頼区間は、検定で棄却されなかった値の集まり。離散型の正確な区間はこの方法で作り、被覆確率は $1 - \alpha$ 以上になる。
• 漸近的な区間の収束は各 $\theta$ ごとで、一様とは限らない。Wald 型の信頼係数は、どの $n$ でも0である。
• 分散安定化変換は、$g'(\theta) = c / \sigma(\theta)$ を積分して求める。

キーワードのおさらい

• 被覆確率: 真の値が $\theta$ のとき、区間が $\theta$ を含む確率。$\theta$ の関数
• 信頼係数: 被覆確率の下限。その区間が保証する最低の確率
• 信頼区間の構成: ピボット法、検定の裏返し、漸近正規性の3つが基本
• ピボット: データと $\theta$ の関数で、分布が $\theta$ によらない量
• 確率積分変換: 連続型の統計量を自分の分布関数に通すと $U(0, 1)$ に従うこと
• 分散安定化変換: 漸近分散が $\theta$ によらなくなるようにする変換

さて、信頼区間を裏返すと検定になることが分かりました。では、検定そのものを数学の言葉で書くと、どうなるでしょうか？ 「棄却域」も「p値」も、きちんと定義すると見え方が変わります。

次回は、検定を関数として定義し直す「検定の基礎」について紹介します。

それでは、次の記事へ進んでいきましょう。