統計学 学習ノート

はじめに

目盛りの総数は同じで、濃さだけが場所によって変わる

「対数をとったら分布が変わるって、どういうこと？ データは同じなのに」

統計の本を読んでいると、「年収は対数をとって分析する」「比率は平方根をとる」といった話がよく出てきます。同じ人の年収なのに、対数をとっただけで、右に裾を引いていた分布が左右対称の山になります。

例えば、ゴムひもに等間隔で目盛りを打ち、一部分だけ強く引っ張ったところを想像してください。目盛りの間隔が広がったところでは、同じ長さの中にある目盛りの数が減ります。縮んだところでは増えます。目盛りの総数は変わらないのに、密度だけが場所によって変わるのです。

実は、確率変数の変換でも、これと同じことが起きています。確率の合計は1のままで、確率の濃さが場所によって変わります。この伸び縮みを計算する方法さえ分かれば、変換後の分布は機械的に求まります。

そこで登場するのが、今回の主役 変数変換 です。変数変換とは、確率変数 $X$ を関数で別の確率変数 $Y = g(X)$ に変えることです。

前回の記事では、分布を要約する特性値を学びました。今回の記事では、変換後の分布の求め方、線形結合の分布、そしてデータの形を整える Box-Cox 変換について解説します。

1変数の変数変換：伸び縮みを補正する

確率の量は保たれ、幅が縮んだ分だけ密度が高くなる

はじめに、確率変数が1つのときの変数変換について解説します。

変換後の分布を求める方法は2つあります。1つずつ見ていきましょう。

1. 累積分布関数から求める

いちばん確実なのは、累積分布関数を経由する方法です。「$Y \le y$」という事象を「$X$ の事象」に言いかえて、最後に微分します。

例えば、$X$ が $(0, 1)$ の一様分布に従うとき、$Y = X^2$ の分布を求めます。$0 < y < 1$ で、次のようになります。

$$F_Y(y) = P(X^2 \le y) = P(X \le \sqrt{y}) = \sqrt{y}, \qquad f_Y(y) = \frac{1}{2\sqrt{y}}$$

$y$ が0に近いところほど、確率密度が高くなっています。2乗すると0.1は0.01に、0.5は0.25になり、小さい値が0の近くに押し込められるからです。ゴムひもの縮んだところで、目盛りが密になるのと同じです。

2. 変数変換の公式を使う

$g$ が単調で微分できるなら、毎回この手順を踏まなくても、次の公式が使えます。

$$f_Y(y) = f_X(x)\left|\frac{dx}{dy}\right|, \qquad x = g^{-1}(y)$$

記号の意味は、$x = g^{-1}(y)$ が「$y$ に対応する元の $x$」で、$|dx/dy|$ が伸び縮みの補正です。言葉で言うと、「元の密度を $y$ の式に書きかえて、ゴムひもの伸び率で割り戻す」ということです。

なぜこの形になるのでしょうか？ 小さな区間の確率は、変換しても変わりません。つまり $f_Y(y)\,|dy| = f_X(x)\,|dx|$ です。この式の両辺を $|dy|$ で割ると、公式が出ます。

具体的に見てみましょう。$U$ が $(0, 1)$ の一様分布に従うとき、$Y = -\log(U)/\lambda$ の分布を求めます。

【公式の使い方】

1. $u$ について解く： $u = e^{-\lambda y}$
2. 微分する： $|du/dy| = \lambda e^{-\lambda y}$
3. 代入する： $f_U(u) = 1$ なので $f_Y(y) = \lambda e^{-\lambda y}$（$y > 0$）

一様分布から指数分布が生まれました。一様乱数から指数分布の乱数を作るときに使う変換です。

せっかくなので、別の例も見てみましょう。$X \sim N(\mu, \sigma^2)$ に対して $Y = e^X$ とします。$x = \log y$、$|dx/dy| = 1/y$ なので、次のようになります。

$$f_Y(y) = \frac{1}{y\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(\log y - \mu)^2}{2\sigma^2}\right) \qquad (y > 0)$$

これが対数正規分布で、後の記事で詳しく学びます。

例題：単調でない変換

$Z \sim N(0, 1)$ のとき、$Y = Z^2$ の確率密度関数を求めましょう。

【解き方】

1. $g(z) = z^2$ は単調ではなく、1つの $y > 0$ に $z = \sqrt{y}$ と $z = -\sqrt{y}$ の2つが対応する
2. どちらの枝でも $|dz/dy| = 1/(2\sqrt{y})$
3. 2つの枝を足す。$\phi$ は左右対称なので、$f_Y(y) = 2\phi(\sqrt{y}) \times \dfrac{1}{2\sqrt{y}}$
4. 整理する： $f_Y(y) = \dfrac{1}{\sqrt{2\pi y}}\, e^{-y/2}$（$y > 0$）

これが自由度1のカイ二乗分布の確率密度関数です。2級で「標準正規分布の2乗の和」として学んだ分布を、式から導いたことになります。

試験のポイント：公式の絶対値を忘れないこと、$y$ のとる範囲を書くこと、単調でなければ枝ごとに足すことの3点を確認します。

以上が、1変数の変数変換についての解説です。

多変数の変数変換：ヤコビアンで面積を補正する

小さなマスの面積の伸び率がヤコビアン

次に、確率変数が2つのときの変数変換について説明します。

$(X, Y)$ を $(U, V)$ に1対1に変換するときも、考え方は同じです。補正の対象が、ゴムひもの長さから、ゴムシートの面積に変わります。この面積の伸び率が ヤコビアン $J$ です。

$$f_{U,V}(u, v) = f_{X,Y}(x(u, v),\ y(u, v))\, |J|, \qquad J = \det\begin{pmatrix} \partial x / \partial u & \partial x / \partial v \\ \partial y / \partial u & \partial y / \partial v \end{pmatrix}$$

$x(u, v)$ と $y(u, v)$ は、変換を逆に解いた式です。$J$ は偏微分を並べた行列の行列式です。

【多変数の変数変換の手順】

1. $x, y$ を $u, v$ で表す
2. ヤコビアンを計算する
3. 同時確率密度関数に代入して $|J|$ を掛ける
4. $(u, v)$ のとる範囲を確認する
5. 1つの変数の分布がほしいなら、もう片方を積分する

例題：指数分布の和と比

$X, Y$ は独立に、$f(x) = \lambda e^{-\lambda x}$ の指数分布に従います。$U = X + Y$、$V = X / (X + Y)$ の同時分布を求めましょう。

【解き方】

1. 逆に解く： $x = uv$、$y = u(1 - v)$。範囲は $u > 0$、$0 < v < 1$
2. ヤコビアン： $J = v \times (-u) - u \times (1 - v) = -u$ なので $|J| = u$
3. 代入する： $f_{U,V}(u, v) = \lambda^2 e^{-\lambda u} \times u$
4. 分ける： $f_{U,V}(u, v) = (\lambda^2 u e^{-\lambda u}) \times 1$

$u$ だけの式と $v$ だけの式の積になったので、$U$ と $V$ は独立です。$V$ は $(0, 1)$ の一様分布に、$U$ は $f_U(u) = \lambda^2 u e^{-\lambda u}$ の分布に従います。この $U$ の分布は、形状のパラメータが2のガンマ分布です。「2回目のお客さんが来るまでの待ち時間」にあたります。

和だけがほしいときは、畳み込み という公式も使えます。$X, Y$ が独立なら、$Z = X + Y$ の確率密度関数は次の式です。

$$f_Z(z) = \int_{-\infty}^{\infty} f_X(x)\, f_Y(z - x)\, dx$$

言葉で言うと、「$X = x$ のときに $Y$ が $z - x$ である」という道筋を、すべての $x$ について足し合わせています。

例えば、$X, Y$ が独立に $(0, 1)$ の一様分布に従うとき、$f_Z(z)$ は $0 < z \le 1$ で $z$、$1 < z < 2$ で $2 - z$ の三角形になります。サイコロ2個の和が7で最も出やすいのと同じ理由で、真ん中が最も濃くなります。

以上が、多変数の変数変換についての説明です。

確率変数の線形結合の分布

独立な正規分布の和は正規分布。足されるのは分散

続いて、最もよく使う変換である線形結合について解説します。

線形結合 とは、$a X + b Y$ のように、確率変数に定数を掛けて足し合わせたものです。標本平均も、2群の差も、ポートフォリオの収益も、すべて線形結合です。平均と分散は、分布の形によらず次の式で求まります。

$$E[aX + bY] = aE[X] + bE[Y], \qquad V[aX + bY] = a^2 V[X] + b^2 V[Y] + 2ab\, \mathrm{Cov}[X, Y]$$

変数がたくさんあるときは、行列で書くとすっきりします。確率ベクトル $\boldsymbol{X}$ の平均ベクトルを $\boldsymbol{\mu}$、分散共分散行列を $\Sigma$ とすると、次の式が成り立ちます。

$$E[\boldsymbol{a}^\top \boldsymbol{X}] = \boldsymbol{a}^\top \boldsymbol{\mu}, \qquad V[\boldsymbol{a}^\top \boldsymbol{X}] = \boldsymbol{a}^\top \Sigma\, \boldsymbol{a}$$

具体的に見てみましょう。2級の例で、数学 $X$ は $N(60, 10^2)$、国語 $Y$ は $N(50, 15^2)$、相関係数は0.5でした。共分散は $0.5 \times 10 \times 15 = 75$ です。差 $X - Y$ は $\boldsymbol{a} = (1, -1)^\top$ の線形結合です。

$$V[X - Y] = \begin{pmatrix} 1 & -1 \end{pmatrix} \begin{pmatrix} 100 & 75 \\ 75 & 225 \end{pmatrix} \begin{pmatrix} 1 \\ -1 \end{pmatrix} = 100 + 225 - 2 \times 75 = 175$$

正の相関があると、差の分散は小さくなります。2人が同じ向きにぶれるので、差のぶれが打ち消されるのです。

では、分布の形はどうなるのでしょうか？ ここで前々回のモーメント母関数が活躍します。$X, Y$ が独立なら、次の式が成り立ちます。

$$M_{aX + bY}(t) = M_X(at)\, M_Y(bt)$$

$X \sim N(\mu_1, \sigma_1^2)$、$Y \sim N(\mu_2, \sigma_2^2)$ を入れると、指数の部分が足されて次の形になります。

$$\exp\left((a\mu_1 + b\mu_2)t + \frac{(a^2\sigma_1^2 + b^2\sigma_2^2)t^2}{2}\right)$$

これは正規分布のモーメント母関数です。したがって、独立な正規分布の線形結合は、また正規分布に従います。2変量正規分布のように相関があるときも、線形結合は正規分布に従います。とくに、標本平均は $\bar{X} \sim N(\mu, \sigma^2/n)$ です。

このように、同じ種類の分布の和が同じ種類になる性質を 再生性 と呼びます。

【再生性をもつ分布（独立な和）】

• 正規分布： 平均と分散が足される
• 二項分布： 成功確率が同じなら $B(m, p)$ と $B(n, p)$ の和は $B(m + n, p)$
• ポアソン分布： $Po(\lambda_1)$ と $Po(\lambda_2)$ の和は $Po(\lambda_1 + \lambda_2)$
• ガンマ分布： レートのパラメータが同じなら、形状のパラメータが足される（後の記事で学ぶ）
• カイ二乗分布： 自由度が足される

例題：線形結合の確率を求める

通学の徒歩の時間 $X$ は $N(10, 1^2)$、電車の時間 $Y$ は $N(25, 2^2)$ で、独立です。合計時間が38分を超える確率を求めましょう。

【解き方】

1. $T = X + Y$ は正規分布に従う。平均は $10 + 25 = 35$
2. 分散は $1 + 4 = 5$。標準偏差は $5$ ではなく $\sqrt{5} \approx 2.24$
3. 標準化する： $z = (38 - 35) \div \sqrt{5} \approx 1.34$
4. 標準正規分布表から $P(Z > 1.34) \approx 0.090$

答えは約0.09です。足されるのは分散で、標準偏差ではないことに注意しましょう。

試験のポイント：「$X$ が $Y$ を上回る確率」は、$X - Y$ の分布に直すと解けます。差の分散は引き算ではなく足し算（共分散の項は $-2\mathrm{Cov}$）です。

以上が、確率変数の線形結合の分布についての解説です。

Box-Cox変換：データの形を整える

つまみのλを下げるほど、飛び抜けた100が押し縮められる

最後に、データの形を整える変換を見ていきましょう。

ここまでは分布から分布を導きました。実際の分析では逆に、「右に裾を引いたデータを、正規分布に近づけたい」という場面があります。そのときに使う変換の家族が Box-Cox変換 です。正の値 $y$ に対して、次のように定義します。

$$y^{(\lambda)} = \begin{cases} \dfrac{y^\lambda - 1}{\lambda} & (\lambda \ne 0) \\[2mm] \log y & (\lambda = 0) \end{cases}$$

$\lambda$ は変換の強さを決めるつまみです。音量のつまみのように、回すと変換の効き具合が連続的に変わります。

【$\lambda$ の値と変換の例】

• $\lambda = 1$： 平行移動のみで、形は変わらない
• $\lambda = 1/2$： 平方根に近い変換
• $\lambda = 0$： 対数変換
• $\lambda = -1$： 逆数に近い変換

$\lambda$ が小さいほど、大きな値を強く押し縮めます。

具体的に見てみましょう。データ1、4、9、16、100に $\lambda = 1/2$ を当てはめると、$(\sqrt{y} - 1)/0.5$ で0、2、4、6、18となります。元は100だけ飛び抜けていましたが、差がずっと縮まりました。$\lambda = 0$ なら0、1.39、2.20、2.77、4.61で、さらに縮まります。

なぜ $1$ を引いて $\lambda$ で割るのでしょうか？ それは、$\lambda \to 0$ の極限が $\log y$ になり、変換がなめらかにつながるからです。例えば $y = 4$ で $\lambda = 0.01$ なら、$(4^{0.01} - 1)/0.01 \approx 1.396$ で、$\log 4 \approx 1.386$ に近い値です。

$\lambda$ の決め方は、変換後のデータが正規分布に従うと仮定した最尤法が標準的です。尤度を求めるときは、今回学んだ伸び縮みの補正 $|dy^{(\lambda)}/dy| = y^{\lambda - 1}$ を掛けます。対数尤度に $(\lambda - 1)\sum \log y_i$ という項が入るのは、このためです。

$$\ell(\lambda) = -\frac{n}{2} \log \hat{\sigma}^2(\lambda) + (\lambda - 1) \sum_{i=1}^{n} \log y_i$$

定数の項は省いています。$\hat{\sigma}^2(\lambda)$ は変換後のデータの分散の最尤推定量です。この $\ell(\lambda)$ が最大になる $\lambda$ を選びます。対数正規分布に従うデータなら、$\lambda$ は0の近くになります。

Box-Cox変換の目的は、形を整えることだけではありません。回帰分析では、誤差の分散を一定に近づけるためにも使います。ただし、$y$ が0以下の値をとるときは、そのままでは使えません。また、変換後の結果は元の単位で読めなくなるので、解釈には注意が必要です。

試験のポイント：$\lambda = 0$ が対数変換に対応すること、$y > 0$ が前提であることがよく問われます。

以上が、Box-Cox変換についての説明です。

細かい計算が分からなかったとしても問題ありません。ここでは、「変換で確率の合計は変わらず、濃さだけが伸び縮みの分だけ変わる」という点だけ押さえておきましょう。

今回のまとめ

長さも面積も伸びの分を補正し、線形結合は正規のまま

それでは、今回の内容を振り返ります。

今回は変数変換について紹介しました。公式はいくつもありますが、やっていることは1つです。確率の量を保ったまま、物差しの伸び縮みの分だけ密度を補正しています。

今回のポイントを振り返りましょう。

振り返り

• 変数変換の基本は、累積分布関数を経由する方法と、$|dx/dy|$ を掛ける公式。単調でなければ枝ごとに足す。
• 多変数では、ゴムシートの面積の伸び率であるヤコビアンを掛ける。
• 線形結合の平均と分散は、分布の形によらず式で求まる。分散には共分散の項が入る。
• 正規分布の線形結合は正規分布。再生性はモーメント母関数の積で確かめられる。
• Box-Cox変換はつまみ $\lambda$ で強さを変える変換の家族で、$\lambda = 0$ が対数変換。

キーワードのおさらい

• 変数変換: 確率変数を関数で別の確率変数に変えること。密度は伸び縮みの分だけ補正する
• ヤコビアン: 多変数の変換で、面積や体積の伸び率を表す行列式
• 確率変数の線形結合の分布: 定数を掛けて足した変数の分布。正規分布なら再び正規分布になる
• 再生性: 同じ種類の分布の和が、同じ種類の分布に従う性質
• Box-Cox変換: $(y^\lambda - 1)/\lambda$ で定義され、$\lambda = 0$ で対数となる変換の族

さて、ここまでの計算は、$n$ が決まったときの正確な分布でした。でも、変換が複雑になると、正確な分布はもう求められません。そんなとき統計学は、「$n$ が大きいとどうなるか」という極限の世界に助けを求めます。

次回は、確率収束から中心極限定理、デルタ法までの「極限定理と漸近理論」について紹介します。

それでは、次の記事へ進んでいきましょう。