統計学 学習ノート

はじめに

「平均も分散も歪度も計算できた。でも、それで分布の形はどこまで分かるの？」

特性値の計算は、準1級でひと通り練習しました。ところが1級では、計算した数字から分布の形を推測し、その根拠を説明することまで求められます。

例えば、事件の目撃証言を考えてみましょう。「身長は170cmくらい」「やせ型」「右利き」と証言が集まるほど、似顔絵は本人に近づきます。そして、「身長は2mなのに、小柄だった」という証言があれば、どこかが間違っていると気づけます。

実は、特性値も同じです。1つ1つは分布の証言で、組み合わせると似顔絵が描けます。さらに、特性値の間には、必ず成り立つ不等式があります。相関係数が1を超えないのも、尖度に下限があるのも、もとをたどれば「分散は負にならない」というたった1つの事実から出てきます。

そこで登場するのが、今回の主役 モーメント と、特性値を縛る 不等式 です。

前回の記事では、母関数からモーメントを取り出す方法を学びました。今回の記事では、モーメントの計算手順、パーセント点を使った形の読み方、そして相関係数と偏相関係数の導出について解説します。

モーメントの計算手順：原点から中心へ

はじめに、モーメントを計算する手順について解説します。

原点のまわりの $r$ 次の モーメント を $m_r = E[X^r]$、平均 $\mu$ のまわりのモーメントを $\mu_r = E[(X - \mu)^r]$ と書きます。1次の $m_1 = \mu$ が 期待値、2次の $\mu_2 = \sigma^2$ が 分散 で、その平方根 $\sigma$ が 標準偏差 です。

母関数や積分で直接求まるのは、ふつう $m_r$ のほうです。そこで、$(X - \mu)^r$ を二項展開して期待値をとり、$\mu_r$ に直します。

$$\mu_2 = m_2 - \mu^2, \qquad \mu_3 = m_3 - 3\mu m_2 + 2\mu^3, \qquad \mu_4 = m_4 - 4\mu m_3 + 6\mu^2 m_2 - 3\mu^4$$

例えば $\mu_3$ は、$E[X^3 - 3\mu X^2 + 3\mu^2 X - \mu^3] = m_3 - 3\mu m_2 + 3\mu^3 - \mu^3$ から出ます。暗記せず、その場で展開できれば十分です。

これを標準偏差のべきで割ったものが、形の特性値です。尖度は、正規分布で0になるよう3を引く定義を使います。

$$\text{歪度} = \frac{\mu_3}{\sigma^3}, \qquad \text{尖度} = \frac{\mu_4}{\sigma^4} - 3, \qquad \text{変動係数} = \frac{\sigma}{\mu}$$

3つの違いは、ものさしを取りかえたときに表れます。cmをmに直すようなものです。$Y = aX + b$（$a > 0$）とすると、$Y - E[Y] = a(X - \mu)$ なので、$\mu_r$ は $a^r$ 倍、$\sigma$ は $a$ 倍です。したがって、歪度と尖度は $a$ にも $b$ にもよりません。一方、変動係数は $a$ によりませんが、$b$ で変わります。原点に意味がある量にだけ使う指標だからです。なお、$a < 0$ なら歪度の符号が反転します。

もう1つの計算ルートが、前回のキュムラント母関数 $K(t) = \log M(t)$ です。$r$ 階微分の値 $\kappa_r = K^{(r)}(0)$ を キュムラント と呼びます。展開して比べると、$\kappa_2 = \sigma^2$、$\kappa_3 = \mu_3$、$\kappa_4 = \mu_4 - 3\sigma^4$ です。

$$\text{歪度} = \frac{\kappa_3}{\kappa_2^{3/2}}, \qquad \text{尖度} = \frac{\kappa_4}{\kappa_2^{2}}$$

正規分布では $K(t) = \mu t + \sigma^2 t^2 / 2$ で、3次以上のキュムラントがすべて0です。尖度の「$-3$」は、ここから来ていたのです。

例題：指数分布の歪度と尖度

$X$ の確率密度関数を $\lambda e^{-\lambda x}$（$x > 0$）とする。〔1〕キュムラント $\kappa_r$ を求めよ。〔2〕歪度と尖度を求めよ。〔3〕$X$ と同じ分布に独立に従う $n$ 個の和の歪度と尖度を求めよ。

【解答】

〔1〕$M(t) = \lambda/(\lambda - t)$ より、$K(t) = -\log(1 - t/\lambda) = \sum_{r=1}^{\infty} \dfrac{1}{r} \left(\dfrac{t}{\lambda}\right)^r$ である。$t^r/r!$ の係数を読むと、$\kappa_r = (r-1)!/\lambda^r$ である。

〔2〕歪度は $\dfrac{2/\lambda^3}{(1/\lambda^2)^{3/2}} = 2$、尖度は $\dfrac{6/\lambda^4}{(1/\lambda^2)^2} = 6$ である。

〔3〕独立な和では $M$ が積になるので、$K$ は和になり、$\kappa_r$ は $n$ 倍になる。よって歪度は $\dfrac{2n}{n^{3/2}} = \dfrac{2}{\sqrt{n}}$、尖度は $\dfrac{6n}{n^2} = \dfrac{6}{n}$ である。

答えに $\lambda$ が残らないのは、ものさしの取りかえで変わらないからです。そして〔3〕は、$n$ が増えると歪度も尖度も0に近づくこと、つまり正規分布に似てくることを示しています。この続きは、極限定理の記事で証明します。

最後に、歪度と尖度の間の不等式を証明しましょう。標準化した $Z = (X - \mu)/\sigma$ の歪度を $\gamma = E[Z^3]$ とします。$V[Z^2 - \gamma Z] \ge 0$ を展開すると、次のようになります。

$$E[Z^4] - 2\gamma E[Z^3] + \gamma^2 E[Z^2] - 1 = E[Z^4] - \gamma^2 - 1 \ge 0$$

つまり、$\text{尖度} \ge \gamma^2 - 2$ です。例えば、歪度0の分布の尖度は $-2$ 以上で、等号はコイン投げのような2点分布で成り立ちます。「歪度2で尖度0」という分布は、この世に存在しないのです。

以上が、モーメントの計算手順についての解説です。

パーセント点から分布の形を読む

次に、順番にもとづく特性値について説明します。

全員を小さい順に一列に並べた、100人の行列を想像してください。何番目の人を見るかを決めると、パーセント点 が決まります。式では、$0 < p < 1$ に対して次のように定義します。

$$Q(p) = \inf\{x : F(x) \ge p\}$$

$Q(p)$ が下側 $100p$ %点です。検定でよく使う上側 $100\alpha$ %点は、$Q(1 - \alpha)$ にあたります。

【順番にもとづく特性値】

• 中央値： $Q(0.5)$
• 四分位数： $Q(0.25)$、$Q(0.5)$、$Q(0.75)$
• 四分位範囲： $Q(0.75) - Q(0.25)$
• 範囲： 最大値と最小値の差。分布では値のとりうる幅で、裾が無限なら無限大になる
• 最頻値： 確率関数や確率密度関数を最大にする $x$（順番ではなく山の頂上を見る）

平均と中央値は、どちらも「中心」ですが、違う問題の答えです。

$$\mu = \arg\min_c E[(X - c)^2], \qquad m = \arg\min_c E[|X - c|]$$

左は $E[(X-c)^2] = V[X] + (\mu - c)^2$ からすぐに分かります。右は、連続型なら $g(c) = E[|X - c|]$ を微分すると $g'(c) = 2F(c) - 1$ で、$F(c) = 1/2$ が最小点です。

ここから、中央値 $m$ についての美しい不等式が出ます。

$$|\mu - m| \le E[|X - m|] \le E[|X - \mu|] \le \sqrt{E[(X - \mu)^2]} = \sigma$$

2つ目の不等号は中央値の最小性で、3つ目は「2乗の平均は平均の2乗以上」です。つまり、どんな分布でも、平均と中央値の差は標準偏差を超えません。

例題：密度から形を読む

$X$ の確率密度関数を $f(x) = 2(1 - x)$（$0 < x < 1$）とする。〔1〕平均、分散、変動係数を求めよ。〔2〕最頻値、中央値、四分位範囲を求めよ。〔3〕歪度を求めよ。〔4〕分布の形について述べよ。

【解答】

〔1〕$m_r = \int_0^1 2x^r(1-x)\, dx = \dfrac{2}{(r+1)(r+2)}$ より、$m_1 = 1/3$、$m_2 = 1/6$、$m_3 = 1/10$ である。分散は $1/6 - 1/9 = 1/18$、変動係数は $\sqrt{1/18} \div (1/3) = 1/\sqrt{2} \approx 0.707$ である。

〔2〕$f$ は減少関数なので最頻値は0である。$F(x) = 1 - (1-x)^2$ より $Q(p) = 1 - \sqrt{1-p}$ である。中央値は $1 - 1/\sqrt{2} \approx 0.293$、四分位範囲は $Q(0.75) - Q(0.25) = 0.5 - 0.134 = 0.366$ である。

〔3〕$\mu_3 = \dfrac{1}{10} - \dfrac{1}{6} + \dfrac{2}{27} = \dfrac{1}{135}$ で、歪度は $\dfrac{1}{135} \times 18^{3/2} = \dfrac{2\sqrt{2}}{5} \approx 0.566$ である。

〔4〕最頻値 $<$ 中央値 $<$ 平均で歪度が正なので、右に裾を引いた分布である。

補足（ここは読み飛ばしてOK）： 「歪度が正なら平均 > 中央値」は定理ではなく、単峰の分布でよく成り立つ経験則です。$P(X = -1) = 0.40$、$P(X = 0) = 0.15$、$P(X = 1) = 0.45$ では、平均0.05が中央値0より大きいのに、歪度は約 $-0.10$ です。

試験のポイント：答案で形を述べるときは、「右に裾が長い」だけでなく、根拠にした特性値の大小を書きます。

以上が、パーセント点から分布の形を読む方法についての説明です。

共分散と相関係数：分散が負にならないことから

続いて、2つの変数の特性値について解説します。

共分散 は $\mathrm{Cov}[X, Y] = E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - \mu_X \mu_Y$ で、相関係数 は $\rho = \mathrm{Cov}[X, Y]/(\sigma_X \sigma_Y)$ です。共分散はそれぞれの変数について線形で、$\mathrm{Cov}[aX + b, cY + d] = ac\, \mathrm{Cov}[X, Y]$ が成り立ちます。

相関係数が $-1$ から1の間に入ることを証明しましょう。標準化した $U = (X - \mu_X)/\sigma_X$、$W = (Y - \mu_Y)/\sigma_Y$ を使うと、分散の展開から次のようになります。

$$0 \le V[U \mp W] = 1 + 1 \mp 2\rho = 2(1 \mp \rho)$$

よって $|\rho| \le 1$ です。また、$\rho = 1$ なら $V[U - W] = 0$ なので $U - W$ は定数で、$Y$ は $X$ の増加する1次式に確率1で一致します。$\rho = -1$ なら減少する1次式です。

シーソーを思い浮かべてください。$\rho = \pm 1$ は、2人が硬い板でつながった状態です。板がしなるほど、相関は0に近づきます。

ただし、板は直線の関係しか測れません。独立なら $E[XY] = E[X]E[Y]$ なので無相関ですが、逆は成り立ちません。$X \sim N(0, 1)$、$Y = X^2$ では $\mathrm{Cov}[X, Y] = E[X^3] = 0$ で、無相関なのに $Y$ は $X$ で完全に決まります。

次に、偏相関係数 です。第3の変数 $Z$ の影響を除いた相関で、$X$ と $Y$ をそれぞれ $Z$ に回帰した残差の相関として定義します。例えば、小学生の身長と語彙の数の相関から、年齢の影響を引き算するイメージです。

導出してみましょう。平均を0とし、$e_X = X - \beta_X Z$、$\beta_X = \mathrm{Cov}[X, Z]/V[Z]$ とします。$e_Y$ も同様です。この $\beta$ は $\mathrm{Cov}[e_X, Z] = 0$ となるように選んだ値です。すると次のようになります。

$$\mathrm{Cov}[e_X, e_Y] = \sigma_X \sigma_Y (\rho_{XY} - \rho_{XZ}\, \rho_{YZ}), \qquad V[e_X] = \sigma_X^2 (1 - \rho_{XZ}^2)$$

相関の定義に入れると、$\sigma_X$、$\sigma_Y$ が約分されて、準1級で見た公式が出ます。

$$\rho_{XY \cdot Z} = \frac{\rho_{XY} - \rho_{XZ}\, \rho_{YZ}}{\sqrt{(1 - \rho_{XZ}^2)(1 - \rho_{YZ}^2)}}$$

例題：共通の原因と相関の範囲

$Z$、$U$、$W$ は互いに無相関で分散1とし、$X = Z + U$、$Y = Z + W$ とする。〔1〕$\rho_{XY}$ を求めよ。〔2〕$\rho_{XY \cdot Z}$ を求めよ。〔3〕一般に $\rho_{XZ} = \rho_{YZ} = 0.8$ のとき、$\rho_{XY}$ のとりうる範囲を求めよ。

【解答】

〔1〕$\mathrm{Cov}[X, Y] = V[Z] = 1$、$V[X] = V[Y] = 2$ より、$\rho_{XY} = 1/2$ である。

〔2〕$\rho_{XZ} = \rho_{YZ} = 1/\sqrt{2}$ だから、分子は $1/2 - 1/2 = 0$ で、$\rho_{XY \cdot Z} = 0$ である。

〔3〕偏相関係数も残差の相関係数なので、絶対値は1以下である。$|\rho_{XY} - 0.64| \le 0.36$ より、$0.28 \le \rho_{XY} \le 1$ である。

〔2〕は、$X$ と $Y$ の相関が、すべて共通の原因 $Z$ から来ていたことを示しています。〔3〕は、「$X$ と $Z$、$Y$ と $Z$ が強く相関していれば、$X$ と $Y$ も無相関ではいられない」という意味です。証言どうしの矛盾が、ここでも数式で見抜けます。

以上が、共分散と相関係数についての解説です。

細かい式を忘れてしまっても問題ありません。ここでは、「分散が負にならないことから不等式が出る」という点だけ押さえておきましょう。

今回のまとめ

それでは、今回の内容を振り返ります。

今回はモーメントの計算手順と、特性値を使った分布の形の読み方を紹介しました。特性値は1つずつでは断片的な証言ですが、組み合わせて矛盾がないか確かめると、分布の似顔絵が描けます。

今回のポイントを振り返りましょう。

振り返り

• 原点まわりのモーメントを二項展開して中心に直し、標準偏差のべきで割ると歪度と尖度が出る。
• 歪度と尖度は位置と尺度によらない。独立な $n$ 個の和では、歪度が $1/\sqrt{n}$ 倍、尖度が $1/n$ 倍になる。
• 尖度 $\ge$ 歪度の2乗 $- 2$、$|\mu - m| \le \sigma$、$|\rho| \le 1$ は、分布が必ず守る不等式である。
• 偏相関係数は残差の相関で、3変数の相関係数の組み合わせを制限する。

キーワードのおさらい

• モーメント: $E[X^r]$ や $E[(X - \mu)^r]$ で定める分布の特性値
• 期待値: 1次のモーメント。分布の重心
• 分散: 平均のまわりの2次のモーメント
• 標準偏差: 分散の平方根
• 歪度: $\mu_3/\sigma^3$。左右の非対称さ
• 尖度: $\mu_4/\sigma^4 - 3$。裾の重さ（3を引かない流儀もある）
• 変動係数: $\sigma/\mu$。平均に対する相対的なばらつき
• パーセント点: 累積分布関数が初めて $p$ に届く値
• 中央値: $E[|X - c|]$ を最小にする値。50%点
• 四分位数: 25%点、50%点、75%点
• 範囲: 最大値と最小値の差
• 四分位範囲: 75%点と25%点の差
• 最頻値: 確率関数や確率密度関数を最大にする値
• 共分散: 2つの変数が一緒に動く度合い
• 相関係数: 共分散を標準偏差で割った値。絶対値は1以下
• 偏相関係数: 第3の変数の影響を除いた残差の相関係数

さて、ここまでは与えられた分布の性質を調べました。では、確率変数を関数で変換すると、分布はどのように変わるのでしょうか？

次回は、変数変換について紹介します。

それでは、次の記事へ進んでいきましょう。