統計学 学習ノート

はじめに

平均と分散が同じでも、分布の形はまるで違うことがある

「平均も分散も同じなら、2つの分布は同じと言っていいの？」

例えば、行列のできるラーメン店が2軒あるとします。どちらも待ち時間の平均は20分で、分散も同じです。ところが、A店の待ち時間は10分から30分まで左右対称に散らばるのに対し、B店はたいてい18分前後で入れて、10回に1回ほど40分近く待たされるとしたらどうでしょうか？ 平均と分散だけを見ていては、この違いに気づけません。

実は、平均と分散は、分布の情報のほんの入り口です。その先を見れば、左右のゆがみや裾の重さまで、数字で表すことができます。

そこで登場するのが、今回の主役 モーメント です。モーメントとは、確率変数のべき乗の期待値のことで、分布の形を1次、2次、3次と順に測っていく物差しのセットです。

前回の記事では、モーメント母関数を使ってモーメントを取り出しました。今回の記事では、取り出したモーメントから作る歪度と尖度、分布を逆から読む分位点関数、2つの変数の関係を測る相関係数と偏相関係数、そして条件つき期待値と条件つき分散について解説します。

モーメント：分布の形を順に測る

3次で左右のゆがみ、4次で裾の重さが数字になる

はじめに、モーメントと、そこから作る特性値について解説します。

$k$ を正の整数として、$k$ 次の モーメント には2種類あります。

$$\mu_k' = E[X^k], \qquad \mu_k = E[(X - \mu)^k]$$

$\mu_k'$ は原点のまわりのモーメントで、$\mu_k$ は平均 $\mu$ のまわりのモーメントです。1次の $\mu_1'$ が平均で、2次の $\mu_2$ が分散です。

健康診断に例えると、1次は身長、2次は体重のようなものです。まずここを測りますが、3次、4次と検査項目を増やすほど、体の様子が細かく分かります。

平均のまわりのモーメントは、原点のまわりのモーメントから計算できます。$(X - \mu)^3$ などを展開して期待値をとるだけです。

$$\mu_3 = E[X^3] - 3\mu E[X^2] + 2\mu^3, \qquad \mu_4 = E[X^4] - 4\mu E[X^3] + 6\mu^2 E[X^2] - 3\mu^4$$

このモーメントを、単位がなくなるように標準偏差 $\sigma$ のべきで割ったものが、歪度と尖度です。2級では、データの形を表す指標として学びました。

$$\text{歪度} = \frac{\mu_3}{\sigma^3}, \qquad \text{尖度} = \frac{\mu_4}{\sigma^4} - 3$$

歪度 は左右のゆがみを測ります。3乗すると、平均より右の離れた値はプラスに、左の離れた値はマイナスに大きく効きます。右に裾が長ければ正、左に裾が長ければ負で、左右対称なら0です。

尖度 は裾の重さ、言いかえると極端な値の出やすさを測ります。4乗するので、平均から遠い値がとくに強く効きます。3を引いているのは、正規分布で0になるようにそろえるためです。

試験のポイント：尖度は3を引かずに $\mu_4 / \sigma^4$ と定義する本もあります。この定義なら正規分布の値は3です。問題文の定義を必ず確認しましょう。

具体的に見てみましょう。$X$ が0、1、4の値をそれぞれ確率0.5、0.3、0.2でとるとします。

【歪度と尖度の計算】

1. 原点のまわりのモーメント： $E[X] = 1.1$、$E[X^2] = 3.5$、$E[X^3] = 13.1$、$E[X^4] = 51.5$
2. 分散： $\sigma^2 = 3.5 - 1.1^2 = 2.29$
3. 3次と4次： $\mu_3 = 13.1 - 3 \times 1.1 \times 3.5 + 2 \times 1.1^3 = 4.212$、同じように $\mu_4 \approx 14.878$
4. 歪度： $4.212 \div 2.29^{3/2} \approx 1.22$
5. 尖度： $14.878 \div 2.29^2 - 3 \approx -0.16$

歪度が正なので、確率の小さい4の側に裾が伸びた分布だと分かります。

せっかくなので、よく出る分布の値も見てみましょう。

分布	歪度	尖度
正規分布	0	0
連続一様分布	0	$-1.2$
指数分布	2	6
ポアソン分布 $Po(\lambda)$	$1/\sqrt{\lambda}$	$1/\lambda$

指数分布は、右に長い裾をもつので、歪度も尖度も大きいです。ポアソン分布は、$\lambda$ が大きいほど0に近づきます。正規分布に似てくるということです。

最後に、変動係数 です。これは標準偏差を平均で割った値で、平均の大きさに対するばらつきの相対的な大きさを表します。

$$CV = \frac{\sigma}{\mu} \qquad (\mu > 0)$$

例えば、大人の体重が平均60kg、標準偏差9kgなら変動係数は0.15です。赤ちゃんの体重が平均3kg、標準偏差0.45kgなら、これも0.15です。標準偏差の数字は20倍違いますが、相対的なばらつきは同じです。単位の異なるもの、大きさの異なるものを比べるのに向いています。

以上が、モーメントと、そこから作る特性値についての解説です。

分位点関数：累積分布関数を逆から読む

確率から値へ、累積分布関数を逆から読む

次に、分布を確率の側から読む分位点関数について説明します。

累積分布関数 $F(x)$ は「値 $x$ を入れると、確率が出てくる関数」でした。逆に「確率 $p$ を入れると、値が出てくる関数」が 分位点関数 です。

$$Q(p) = \inf\{x : F(x) \ge p\} \qquad (0 < p < 1)$$

$\inf$ は下限で、ここでは「$F(x) \ge p$ を満たす $x$ のうち最小のもの」と読めば十分です。$F$ が連続で増加するなら、$Q$ は $F$ の逆関数そのものです。

背の順の列を思い浮かべてください。$F$ は「この身長の人は前から何%の位置か」に答え、$Q$ は「前から何%の位置の人の身長は何cmか」に答えます。$Q(0.5)$ が中央値、$Q(0.25)$ と $Q(0.75)$ が四分位数で、2級で学んだ上側確率点も $Q(1 - \alpha)$ と書けます。

具体的に見てみましょう。前回の待ち時間の分布 $F(x) = 1 - e^{-0.5x}$ で、$F(x) = p$ を $x$ について解きます。

$$Q(p) = -\frac{\log(1 - p)}{0.5}$$

$Q(0.5) \approx 1.39$ 分が中央値です。平均は2分だったので、右に裾を引いた分布では中央値が平均より小さいことが確かめられます。$Q(0.75) - Q(0.25) \approx 2.773 - 0.575 \approx 2.20$ が四分位範囲です。

せっかくなので、離散型の例も見てみましょう。サイコロでは $F(3) = 0.5$ なので $Q(0.5) = 3$ です。$p$ が少しでも0.5を超えると、$F(x) \ge p$ となる最小の $x$ は4に跳びます。定義に $\inf$ が入っているのは、階段状の $F$ でも答えが1つに決まるようにするためです。

例題：分位点を求める

$0 < x < 1$ で $F(x) = x^3$ のとき、分位点関数、中央値、90%点を求めましょう。

【解き方】

1. $x^3 = p$ を解く： $Q(p) = p^{1/3}$
2. 中央値： $Q(0.5) = 0.5^{1/3} \approx 0.794$
3. 90%点： $Q(0.9) = 0.9^{1/3} \approx 0.965$

答えは、$Q(p) = p^{1/3}$、中央値は約0.794、90%点は約0.965です。

分位点は、平均や分散が存在しない分布でも必ず決まります。これが、モーメントにはない強みです。

以上が、分位点関数についての説明です。

相関係数と偏相関係数：2つの変数の関係を測る

気温の影響を除くと、0.6の相関はほぼ消える

続いて、2つの確率変数の関係を測る量について解説します。

相関係数 は、2級で学んだとおり、共分散を2つの標準偏差で割った値です。ここでは確率変数の性質として整理します。

$$\rho = \frac{\mathrm{Cov}[X, Y]}{\sqrt{V[X]\, V[Y]}}, \qquad \mathrm{Cov}[X, Y] = E[XY] - E[X]\, E[Y]$$

前回の得点の表で計算してみましょう。$E[XY] = 1 \times 1 \times 0.30 + 1 \times 2 \times 0.20 = 0.70$、$E[X] = 0.6$、$E[Y] = 0.95$ なので、共分散は $0.70 - 0.57 = 0.13$ です。$V[X] = 0.24$、$V[Y] = 0.5475$ より、$\rho = 0.13 \div \sqrt{0.24 \times 0.5475} \approx 0.36$ となります。

$\rho$ が $-1$ から $1$ の間に収まるのは、次の理由からです。$X, Y$ を標準化した変数を $Z_X, Z_Y$ とすると、$V[Z_Y \pm Z_X] = 2 \pm 2\rho$ です。分散は負にならないので、$-1 \le \rho \le 1$ が出ます。さらに、$|\rho| = 1$ なら分散が0になるので、$Y$ は $X$ の1次式です。

注意したいのは、相関係数が測るのは直線的な関係だけという点です。$X$ が $-1$ から $1$ の一様分布に従い、$Y = X^2$ とします。$Y$ は $X$ で完全に決まりますが、$\mathrm{Cov}[X, Y] = E[X^3] = 0$ なので相関係数は0です。独立なら無相関ですが、無相関でも独立とは限りません。

次に、偏相関係数 です。第3の変数 $Z$ の影響を取り除いたあとの、$X$ と $Y$ の相関です。

$$\rho_{XY \cdot Z} = \frac{\rho_{XY} - \rho_{XZ}\, \rho_{YZ}}{\sqrt{(1 - \rho_{XZ}^2)(1 - \rho_{YZ}^2)}}$$

記号の意味は、$\rho_{XY}$ が $X$ と $Y$ の相関係数で、他も同じです。言葉で言うと、$X$ を $Z$ で回帰した残差と、$Y$ を $Z$ で回帰した残差の相関です。2人の仲のよさを調べるのに、共通の友人の影響を差し引いてから見るイメージです。

例えば、アイスの売上 $X$ と水の事故の件数 $Y$ の相関が0.6で、気温 $Z$ との相関がそれぞれ0.8と0.7だとします。

$$\rho_{XY \cdot Z} = \frac{0.6 - 0.8 \times 0.7}{\sqrt{(1 - 0.64)(1 - 0.49)}} = \frac{0.04}{\sqrt{0.1836}} \approx 0.09$$

0.6あった相関が、気温の影響を除くとほぼ消えました。見かけの相関だったと分かります。

試験のポイント：偏相関係数の分子は「元の相関 − 第3の変数を通した相関」です。符号が元の相関と逆になることもあります。

以上が、相関係数と偏相関係数についての解説です。

条件つき期待値と条件つき分散

全体の分散は、組の中と組どうしの和に分かれる

最後に、条件つきの世界の平均と分散を見ていきましょう。

条件つき期待値 は、$X = x$ のもとでの $Y$ の平均です。前回の条件つき分布を使って、ふつうの期待値と同じように計算します。条件つき分散 も同じです。

$$E[Y \mid X = x] = \int y\, f(y \mid x)\, dy, \qquad V[Y \mid X = x] = E[Y^2 \mid X = x] - E[Y \mid X = x]^2$$

離散型なら積分を和に変えます。前回の得点の表なら、$E[Y \mid X = 0] = 0.625$、$E[Y \mid X = 1] \approx 1.167$ です。前半の結果によって、後半の得点の平均が変わります。2級で学んだ2変量正規分布の $E[Y \mid X = x]$ も、これの一例です。

$x$ を確率変数 $X$ に置きかえた $E[Y \mid X]$ は、$X$ の値によって決まる確率変数です。ここから、重要な2つの公式が得られます。

$$E[Y] = E\big[E[Y \mid X]\big], \qquad V[Y] = E\big[V[Y \mid X]\big] + V\big[E[Y \mid X]\big]$$

1つ目は 繰り返し期待値の法則 で、「グループごとの平均を、グループの割合で平均すると、全体の平均になる」という式です。2つ目は全分散の公式で、「全体の分散 ＝ グループ内の分散の平均 ＋ グループ間の平均の分散」という式です。

具体的に見てみましょう。A組30人は平均60点・分散100で、B組20人は平均80点・分散64です。全体から1人を選んだときの点数を $Y$ とします。

【全体の平均と分散】

1. 全体の平均： $0.6 \times 60 + 0.4 \times 80 = 68$
2. グループ内の分散の平均： $0.6 \times 100 + 0.4 \times 64 = 85.6$
3. グループ間の平均の分散： $0.6 \times (60 - 68)^2 + 0.4 \times (80 - 68)^2 = 96$
4. 全体の分散： $85.6 + 96 = 181.6$

ばらつきを「組の中の差」と「組どうしの差」に分けて足しているのです。この分解は、後の記事の分散分析の土台になります。

例題：三角形の上の分布で確かめる

前回の例題の分布（$0 < y < x < 1$ で $f(x, y) = 2$）では、$X = x$ のもとで $Y$ は $(0, x)$ の一様分布でした。全分散の公式を使って、$E[Y]$ と $V[Y]$ を求めましょう。

【解き方】

1. 一様分布より $E[Y \mid X] = X/2$、$V[Y \mid X] = X^2/12$
2. $f_X(x) = 2x$ より $E[X] = 2/3$、$E[X^2] = 1/2$、$V[X] = 1/18$
3. $E[Y] = E[X]/2 = 1/3$
4. $V[Y] = E[X^2]/12 + V[X]/4 = 1/24 + 1/72 = 1/18$

答えは、$E[Y] = 1/3$、$V[Y] = 1/18$ です。$f_Y(y) = 2(1 - y)$ から直接計算しても、同じ値になります。

せっかくなので、別の例も見てみましょう。あるお店の1日の客数 $N$ が $Po(20)$ に従い、1人の購入額は独立に平均500円、標準偏差200円だとします。売上 $S$ について、$N$ のもとでは $E[S \mid N] = 500N$、$V[S \mid N] = 200^2 N$ です。

$$E[S] = 500 \times 20 = 10000, \qquad V[S] = 200^2 \times 20 + 500^2 \times 20 = 5800000$$

売上の平均は10,000円で、標準偏差は約2,408円です。客数のぶれが分散の大部分を占めています。

試験のポイント：「個数がランダムな和」は、全分散の公式の定番です。まず個数を固定して計算し、次に個数について期待値をとります。

以上が、条件つき期待値と条件つき分散についての説明です。

細かい計算が分からなかったとしても問題ありません。ここでは、「分布はモーメントで順に要約できる」「全体のばらつきは、グループ内とグループ間に分けられる」という点だけ押さえておきましょう。

今回のまとめ

形を測り、逆から読み、ばらつきを分けて足す

それでは、今回の内容を振り返ります。

今回は分布を要約する特性値について紹介しました。平均と分散は入り口にすぎません。3次、4次と測れば形が分かり、確率の側から読めば分位点が分かり、条件をつければ関係が分かります。分布の健康診断の項目が、ひと通りそろったことになります。

今回のポイントを振り返りましょう。

振り返り

• モーメントは分布の形を順に測る物差し。3次から歪度、4次から尖度を作る。
• 変動係数は、平均に対するばらつきの大きさ。大きさの違うものの比較に使う。
• 分位点関数は累積分布関数を逆から読む関数。背の順の何%の位置の値かを答える。
• 相関係数は直線的な関係だけを測り、偏相関係数は第3の変数の影響を除いた相関を測る。
• 全体の分散は、グループ内の分散の平均と、グループ間の平均の分散の和になる。

キーワードのおさらい

• モーメント: 確率変数のべき乗の期待値
• 歪度: 分布の左右のゆがみ。$\mu_3 / \sigma^3$
• 尖度: 裾の重さ。$\mu_4 / \sigma^4 - 3$（3を引かない流儀もある）
• 変動係数: 標準偏差を平均で割った値
• 分位点関数: 確率 $p$ に対して、累積分布関数が $p$ に達する値を返す関数
• 相関係数: 共分散を2つの標準偏差で割った値
• 偏相関係数: 第3の変数の影響を除いた相関係数
• 条件つき期待値: 条件のもとでの平均
• 条件つき分散: 条件のもとでの分散

さて、ここまでは与えられた変数の分布を調べてきました。でも実際には、身長から BMI を計算したり、対数をとったりと、変数を別の変数に変えて使うことがよくあります。変数を変えると、分布はどう変わるのでしょうか？

次回は、「変数変換」について紹介します。

それでは、次の記事へ進んでいきましょう。