統計学 学習ノート

はじめに

「ヤコビアンを掛けるのは覚えた。でも、補助変数はどう選べばいいの？」

準1級では、変換の公式に当てはめて分布を求めました。ところが1級の問題では、変換が単調でなかったり、1つの統計量の分布を求めるために、自分で変数を1つ足さなければならなかったりします。

例えば、引っ越しを想像してください。荷物の総量は、どの部屋に移しても変わりません。しかし、狭い部屋に押し込めば詰まり具合は高くなり、広い部屋に広げれば低くなります。

実は、確率の変換もこれと同じです。確率の総量は変わらず、間取りに合わせて密度だけが変わります。変数変換の公式は、すべて「小さな領域の確率は変換で変わらない」という保存則から出てきます。ここが分かれば、手順は機械的です。

そこで登場するのが、今回の主役 変数変換 の証明と、確率変数の線形結合 の行列による扱いです。

前回の記事では、分布の特性値を学びました。今回の記事では、1変数の公式の証明、補助変数の選び方、和・積・比の分布の導出、そして線形結合の分布について解説します。

1変数の変数変換：公式を証明する

はじめに、1変数の公式を証明します。

$X$ の確率密度関数を $f_X$ とします。$g$ が狭義単調で微分可能なとき、$Y = g(X)$ の確率密度関数は次の式です。

$$f_Y(y) = f_X(g^{-1}(y)) \left|\frac{d}{dy} g^{-1}(y)\right|$$

証明は、累積分布関数を経由します。$g$ が増加なら、次のようになります。

$$F_Y(y) = P(X \le g^{-1}(y)) = F_X(g^{-1}(y))$$

$y$ で微分すると、合成関数の微分で公式が出ます。$g$ が減少なら、不等号の向きが逆になるので $F_Y(y) = 1 - F_X(g^{-1}(y))$ です。微分すると前にマイナスが付きますが、$g^{-1}$ の微分が負なので、全体は正です。2つの場合を1つにまとめたものが、絶対値です。

具体的に見てみましょう。$X$ が標準コーシー分布 $f(x) = 1/\{\pi(1 + x^2)\}$ に従うとき、$Y = 1/X$ は1対1の変換です。$x = 1/y$、$|dx/dy| = 1/y^2$ を入れると、次のようになります。

$$f_Y(y) = \frac{1}{\pi(1 + 1/y^2)} \cdot \frac{1}{y^2} = \frac{1}{\pi(1 + y^2)}$$

標準コーシー分布の逆数は、また標準コーシー分布です。

$g$ が単調でないときは、定義域を単調な区間に切り分けます。1つの $y$ に対応する $x$ を $x_1, x_2, \dots$ とすると、それぞれの枝の寄与を足せばよいのです。

$$f_Y(y) = \sum_i f_X(x_i) \left|\frac{dx_i}{dy}\right|$$

例えば、一定の速さで回る観覧車を考えます。角度 $\Theta$ が $(0, 2\pi)$ の一様分布に従うとき、高さ $Y = \cos\Theta$ の分布はどうなるでしょうか？ $-1 < y < 1$ の1つの値に、$\theta = \arccos y$ と $2\pi - \arccos y$ の2つの枝が対応します。どちらの枝でも $|d\theta/dy| = 1/\sqrt{1 - y^2}$ です。

$$f_Y(y) = 2 \times \frac{1}{2\pi} \times \frac{1}{\sqrt{1 - y^2}} = \frac{1}{\pi\sqrt{1 - y^2}}$$

$y = \pm 1$ の近くで密度が大きくなります。観覧車は、てっぺんと一番下の近くでは高さがほとんど変わらないので、そこに長くとどまって見えるのです。

もう1つ、1級で欠かせない変換があります。確率積分変換 です。$F$ が連続で狭義増加のとき、$X \sim F$ なら $U = F(X)$ は $(0, 1)$ の一様分布に従います。

例題：確率積分変換

$X$ の累積分布関数 $F$ は連続で狭義増加とする。〔1〕$U = F(X)$ が $(0, 1)$ の一様分布に従うことを示せ。〔2〕$T = -\log(1 - F(X))$ の分布を求めよ。〔3〕$X$ の危険率が $h(x) = x$（$x > 0$）のとき、$X^2/2$ の分布を答えよ。

【解答】

〔1〕$0 < u < 1$ について、$P(F(X) \le u) = P(X \le F^{-1}(u)) = F(F^{-1}(u)) = u$ である。これは一様分布の累積分布関数である。

〔2〕$t > 0$ について、$P(T \le t) = P(U \le 1 - e^{-t}) = 1 - e^{-t}$ である。よって $T$ は平均1の指数分布に従う。

〔3〕$S(x) = e^{-x^2/2}$ だから、$-\log(1 - F(X)) = -\log S(X) = X^2/2$ である。〔2〕より、平均1の指数分布に従う。

〔2〕は、「累積の危険率で測った寿命は、どんな分布でも平均1の指数分布になる」という意味です。逆に $X = F^{-1}(U)$ とすれば、一様乱数から $F$ に従う乱数が作れます。後の記事のシミュレーションの土台です。なお、$F$ が階段状の離散型では〔1〕は成り立ちません。

以上が、1変数の公式の証明についての解説です。

多変数の変数変換：補助変数を選ぶ

次に、多変数の場合について説明します。

$(X, Y)$ を $(U, V)$ に1対1に変換するとき、公式は $f_{U,V}(u, v) = f_{X,Y}(x, y)\, |J|$ でした。$J$ は $x, y$ を $u, v$ で偏微分した行列の行列式、ヤコビアンです。

証明の筋道はこうです。$(U, V)$ の領域 $B$ に対応する $(X, Y)$ の領域を $A$ とすると、確率は等しいので次の式が成り立ちます。

$$P((U, V) \in B) = \iint_A f_{X,Y}(x, y)\, dx\, dy = \iint_B f_{X,Y}(x(u, v), y(u, v))\, |J|\, du\, dv$$

右の等号は、重積分の変数変換です。どんな $B$ でも成り立つので、右の積分の中身が $(U, V)$ の確率密度関数です。小さな長方形が小さな平行四辺形に写り、その面積比が $|J|$ なのです。

ほしいのが $U$ だけのときは、もう1つの変数 $V$ を自分で足します。これが補助変数です。

【補助変数の選び方】

1. 変換が1対1になる
2. $x, y$ を $u, v$ で解きやすい
3. できれば $U$ と独立になりそうな形にする（和に対して比、半径に対して角度など）

例題：ガンマ分布の和と比

$X \sim Ga(a, 1)$、$Y \sim Ga(b, 1)$ は独立とする。ただし $Ga(a, 1)$ の確率密度関数は $x^{a-1} e^{-x}/\Gamma(a)$（$x > 0$）である。$U = X + Y$、$V = X/(X + Y)$ とする。〔1〕$(U, V)$ の同時確率密度関数を求めよ。〔2〕$U$ と $V$ は独立で、$U \sim Ga(a + b, 1)$、$V \sim Be(a, b)$ であることを示せ。〔3〕$B(a, b) = \Gamma(a)\Gamma(b)/\Gamma(a + b)$ を示せ。

【解答】

〔1〕逆に解くと $x = uv$、$y = u(1 - v)$ で、範囲は $u > 0$、$0 < v < 1$ である。$J = v \cdot (-u) - u(1 - v) = -u$ より $|J| = u$ である。代入して整理すると、次を得る。

$$f_{U,V}(u, v) = \frac{(uv)^{a-1} \{u(1-v)\}^{b-1} e^{-u}}{\Gamma(a)\Gamma(b)}\, u = \frac{u^{a+b-1} e^{-u}}{\Gamma(a+b)} \cdot \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\, v^{a-1}(1-v)^{b-1}$$

〔2〕〔1〕は $u$ だけの関数と $v$ だけの関数の積で、範囲も長方形だから、$U$ と $V$ は独立である。前の因子は $Ga(a+b, 1)$ の確率密度関数で積分は1だから、後の因子が $V$ の確率密度関数である。これは $Be(a, b)$ である。

〔3〕後の因子を $v$ で積分すると1だから、$\int_0^1 v^{a-1}(1-v)^{b-1}\, dv = \Gamma(a)\Gamma(b)/\Gamma(a+b)$ である。

変数変換だけで、ベータ関数の公式まで証明できました。

せっかくなので、別の例も見てみましょう。$X, Y$ が独立に $N(0, 1)$ に従うとき、極座標 $x = r\cos\theta$、$y = r\sin\theta$ に変換します。$|J| = r$ なので、次のようになります。

$$f_{R,\Theta}(r, \theta) = \frac{1}{2\pi} e^{-(x^2 + y^2)/2}\, r = \frac{1}{2\pi} \cdot r e^{-r^2/2}$$

$\Theta$ は $(0, 2\pi)$ の一様分布、$R$ は $r e^{-r^2/2}$ に従い、独立です。逆向きに読むと、一様乱数2つから正規乱数を作るボックス・ミュラー法になります。

試験のポイント：範囲の変換は省略できません。$(u, v)$ の範囲を答案に書き、範囲が長方形で式が積に分かれるときに限り、独立と結論します。

以上が、多変数の変数変換についての説明です。

和・積・比の分布を同じ型で導く

続いて、よく問われる3つの形について解説します。

和、積、比は、どれも補助変数を $V = X$ とすれば同じ型で解けます。同じ生地から3種類のパンを焼くようなものです。$y$ を $x, z$ で解き、ヤコビアンを掛けて、$x$ で積分します。

【$Z$ の確率密度関数の公式】

• 和 $Z = X + Y$： $y = z - x$、$|J| = 1$ より $f_Z(z) = \int f(x, z - x)\, dx$
• 積 $Z = XY$： $y = z/x$、$|J| = 1/|x|$ より $f_Z(z) = \int f(x, z/x)\, \dfrac{1}{|x|}\, dx$
• 比 $Z = Y/X$： $y = zx$、$|J| = |x|$ より $f_Z(z) = \int f(x, zx)\, |x|\, dx$

和の公式は、準1級の畳み込みです。積と比にも同じ型が使えることが、ポイントです。

具体的に見てみましょう。$X, Y$ が独立に $(0, 1)$ の一様分布に従うとき、$Z = XY$ の分布を求めます。$0 < z/x < 1$ が必要なので、積分の範囲は $z < x < 1$ です。

$$f_Z(z) = \int_z^1 \frac{1}{x}\, dx = -\log z \qquad (0 < z < 1)$$

積分すると $F_Z(z) = z - z\log z$ で、例えば $P(Z \le 1/2) \approx 0.847$ です。積分の範囲を $(0, 1)$ のままにする間違いが、とても多いので注意しましょう。

例題：正規分布の比

$X, Y$ は独立に $N(0, 1)$ に従う。$Z = Y/X$ の確率密度関数を求めよ。

【解答】

比の公式に $f(x, y) = \dfrac{1}{2\pi} e^{-(x^2 + y^2)/2}$ を代入する。被積分関数は $x$ の偶関数だから、次を得る。

$$f_Z(z) = \frac{1}{2\pi} \int_{-\infty}^{\infty} |x|\, e^{-(1 + z^2)x^2/2}\, dx = \frac{1}{\pi} \int_0^\infty x\, e^{-(1 + z^2)x^2/2}\, dx = \frac{1}{\pi(1 + z^2)}$$

よって $Z$ は標準コーシー分布に従う。

前の節の極座標で見ると、$Y/X = \tan\Theta$ です。$\Theta$ は一様分布に従うので、一様な角度の正接がコーシー分布だと分かります。

以上が、和・積・比の分布についての解説です。

確率変数の線形結合を行列で扱う

最後に、確率変数の線形結合を見ていきましょう。

確率ベクトル $\boldsymbol{X}$ の平均を $\boldsymbol{\mu}$、分散共分散行列を $\Sigma$ とします。$\boldsymbol{Y} = A\boldsymbol{X} + \boldsymbol{b}$ について、次が成り立ちます。

$$E[\boldsymbol{Y}] = A\boldsymbol{\mu} + \boldsymbol{b}, \qquad V[\boldsymbol{Y}] = A\Sigma A^\top$$

証明は、$\boldsymbol{Y} - E[\boldsymbol{Y}] = A(\boldsymbol{X} - \boldsymbol{\mu})$ を $(\boldsymbol{Y} - E[\boldsymbol{Y}])(\boldsymbol{Y} - E[\boldsymbol{Y}])^\top$ に入れて、期待値をとるだけです。$A$ を1行のベクトル $\boldsymbol{a}^\top$ にすると $V[\boldsymbol{a}^\top \boldsymbol{X}] = \boldsymbol{a}^\top \Sigma \boldsymbol{a} \ge 0$ で、$\Sigma$ が非負定値であることが分かります。前回の「分散は負にならない」が、ここでも顔を出しました。

例えば、分散 $\sigma^2$ で、どの2つの相関も $\rho$ である $X_1, \dots, X_n$ の平均 $\bar{X}$ を考えます。$\boldsymbol{a} = (1/n, \dots, 1/n)^\top$ を入れると、次のようになります。

$$V[\bar{X}] = \frac{\sigma^2}{n}\{1 + (n - 1)\rho\}$$

$\sigma^2 = 4$、$\rho = 0.2$、$n = 10$ なら1.12で、独立のときの0.4の約3倍です。$n \to \infty$ でも $\sigma^2\rho = 0.8$ が残ります。全員が同じ先生に習ったクラスのように、共通のぶれは、人数を増やしても平均で消えないのです。また、分散が負にならないことから、$\rho \ge -1/(n - 1)$ も分かります。

分布の形については、準1級で見たとおり、独立ならモーメント母関数の積で調べます。特に、独立な正規分布の線形結合は正規分布です。

例題：標本平均と偏差

$X_1, \dots, X_n$ は独立に平均 $\mu$、分散 $\sigma^2$ の分布に従う。〔1〕$\mathrm{Cov}[\bar{X}, X_i - \bar{X}] = 0$ を示せ。〔2〕さらに $X_i \sim N(\mu, \sigma^2)$ のとき、$\bar{X}$ と $\sum_i (X_i - \bar{X})^2$ が独立であることを示せ。

【解答】

〔1〕$\mathrm{Cov}[\bar{X}, X_i] = \dfrac{1}{n} V[X_i] = \dfrac{\sigma^2}{n}$、$V[\bar{X}] = \dfrac{\sigma^2}{n}$ だから、差をとって0である。

〔2〕第1行が $(1, \dots, 1)/\sqrt{n}$ の直交行列 $P$ をとり、$\boldsymbol{Y} = P\boldsymbol{X}$ とする。$\boldsymbol{\nu} = E[\boldsymbol{Y}]$ とおく。直交変換は長さを変えないので $\sum_i (x_i - \mu)^2 = \sum_i (y_i - \nu_i)^2$ で、$|\det P| = 1$ である。したがって変数変換の公式より、$\boldsymbol{Y}$ の同時確率密度関数は積に分かれ、$Y_1, \dots, Y_n$ は独立で、それぞれ分散 $\sigma^2$ の正規分布に従う。ここで $Y_1 = \sqrt{n}\,\bar{X}$ で、次が成り立つ。

$$\sum_{i=2}^{n} Y_i^2 = \sum_{i=1}^{n} X_i^2 - n\bar{X}^2 = \sum_{i=1}^{n} (X_i - \bar{X})^2$$

$\bar{X}$ は $Y_1$ だけの関数で、偏差平方和は $Y_2, \dots, Y_n$ だけの関数だから、両者は独立である。

この結果は、後の標本分布の記事で $t$ 分布を導く鍵になります。

以上が、確率変数の線形結合についての解説です。

細かい部分が分からなかったとしても問題ありません。ここでは、「確率の量は保存され、密度だけが補正される」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回は変数変換の公式の証明と、補助変数を使った導出の手順を紹介しました。引っ越しで荷物が消えないように、確率の総量は変わりません。この保存則さえ押さえれば、和でも比でも、同じ手順で分布が導けます。

今回のポイントを振り返りましょう。

振り返り

• 1変数の公式は累積分布関数の微分から出る。単調でなければ枝ごとに足す。
• $F(X)$ は一様分布に従う。これが確率積分変換である。
• 補助変数は、1対1で解きやすく、独立になりそうな形を選ぶ。範囲の変換を忘れない。
• 和・積・比は、$V = X$ とする同じ型で導ける。
• 線形結合の分散は $A\Sigma A^\top$。直交変換を使うと、正規標本の平均と偏差平方和の独立が示せる。

キーワードのおさらい

• 変数変換: 確率変数を関数で別の確率変数に変え、その分布を求めること
• ヤコビアン: 変換による面積の伸び縮みを表す行列式
• 確率積分変換: $F(X)$ が一様分布に従うという変換
• 補助変数: 1対1の変換にするために足す変数
• 確率変数の線形結合: 確率変数に定数を掛けて足したもの。平均は $\boldsymbol{a}^\top \boldsymbol{\mu}$、分散は $\boldsymbol{a}^\top \Sigma \boldsymbol{a}$

さて、ここまでは分布を厳密に導いてきました。しかし、$n$ 個の和の分布を厳密に求められる場面は限られます。$n$ が大きいとき、和はどんな分布に近づくのでしょうか？

次回は、極限定理と確率分布の近似について紹介します。

それでは、次の記事へ進んでいきましょう。