2級-4 推測統計の基礎
散らばりなどの指標 — 分散からジニ係数まで
- 分散(n-1で割る)
- 標準偏差
- 範囲(最小値
- 最大値)
- 四分位範囲
- 箱ひげ図
- ローレンツ曲線
- ジニ係数
- 2つのグラフの視覚的比較
- カイ二乗値(一様な頻度からのずれ)
- 歪度
- 尖度
はじめに
「真ん中の点数は同じなのに、クラスの雰囲気が全然ちがうんだけど?」
A組とB組で同じテストをしたところ、中央値はどちらも60点でした。ところが、A組は多くの人が50点台から60点台に集まり、B組は30点台の人も90点台の人もいました。
中心の指標だけでは、この違いは見えません。平均値や中央値は「山の位置」を教えてくれますが、「山の幅」や「山の形」は教えてくれないのです。
実は、分布を評価する物差しは、中心のほかにもたくさんあります。平均からの離れ具合、真ん中の半分の広さ、お金の分け方の偏り、分布の左右の傾きまで、それぞれ専用の指標があります。
そこで登場するのが、今回の主役 散らばりなどの指標 です。健康診断に、血圧や血糖値といった複数の項目があるようなものです。1つの数値で全部は分からないので、項目ごとに見ていきます。
前回の記事では、分布の中心を表す指標を学びました。今回の記事では、分散と標準偏差、四分位範囲と箱ひげ図、ローレンツ曲線とジニ係数、カイ二乗値、歪度と尖度について解説します。
分散と標準偏差:平均からの距離をならす
はじめに、最もよく使われる分散と標準偏差について解説します。
3級で学んだように、散らばりは「各データが平均からどれくらい離れているか」で測ります。ところが、偏差をそのまま足すと、前回学んだとおり必ず0になってしまいます。そこで、偏差を二乗して符号を消してから、平均をとります。
2級では、分散 を次の式で定めます。
記号の意味は、 が各データ、 が平均値、 がデータの個数です。言葉で言うと、「偏差の二乗を全部足して、 で割る」です。
ここがポイントです。3級では で割る形を基本にしましたが、2級の範囲では で割る形が基本です。なぜ1を引くのでしょうか? 偏差の合計は必ず0になるので、 個の偏差が決まると、最後の1個は自動的に決まります。自由に動けるのは 個だけなのです。
例えば、3人でケーキを分けるとき、2人の取り分が決まれば、最後の1人の取り分は決まってしまいますよね。この「自由に動ける個数」を 自由度 と呼びます。 で割る分散が、標本から母分散を偏りなく推定できることは、点推定の記事で学びます。
分散は二乗しているので、単位も二乗になります。点数なら「点の二乗」です。これでは感覚がつかめないので、平方根をとって単位を元に戻します。これが 標準偏差 です。
一言で言うと、標準偏差は「平均からの典型的な離れ具合」です。
計算には、次の変形もよく使います。
例題:分散と標準偏差を求める
5個のデータ 4, 7, 8, 10, 11 の分散と標準偏差を求めましょう。
【解き方】
- 平均値を求める: (4 + 7 + 8 + 10 + 11) ÷ 5 = 8
- 偏差を求める: −4, −1, 0, 2, 3
- 偏差の二乗を合計する: 16 + 1 + 0 + 4 + 9 = 30
- で割る: 30 ÷ 4 = 7.5
- 平方根をとる:
答えは、分散7.5、標準偏差約2.74です。変形の式でも、 となって一致します。
試験のポイント:問題に指定がなければ、2級の分散は で割ります。 で割る形を指定されたときは、それに従います。
以上が、分散と標準偏差についての解説です。
範囲・四分位範囲・箱ひげ図:順番で散らばりを見る
次に、順番にもとづく指標について説明します。
分散は全データを使うので、平均値と同じく外れ値に引っ張られます。そこで、中央値の仲間として、順番で散らばりを見る指標があります。
範囲 は、最大値から最小値を引いた値です。計算は簡単ですが、両端の2人しか見ていません。クラスの実力を、1位と最下位だけで語るようなものです。
そこで、両端を切り落として真ん中を見ます。データを小さい順に4等分する3つの値が四分位数です。4級で学んだとおり、下半分の中央値が第1四分位数 、全体の中央値が第2四分位数 、上半分の中央値が第3四分位数 です。データの個数が奇数のときは、中央値を除いて半分に分けます。
四分位範囲 は、真ん中の約50%のデータが入る区間の広さです。
具体的に見てみましょう。冒頭のA組11人の点数は、次のとおりでした。
42, 48, 52, 55, 58, 60, 62, 65, 68, 72, 95
中央値は6番目の60点です。下半分の5人の中央値は52点、上半分の5人の中央値は68点です。したがって、四分位範囲は 68 − 52 = 16 点です。範囲は 95 − 42 = 53 点なので、たった1人の95点が範囲を大きく広げていることが分かります。
これらを1つの図にしたものが 箱ひげ図 です。 から までを箱で、中央値を箱の中の線で表し、箱の両側へひげを伸ばします。
ひげの端の決め方には、2通りあります。最小値と最大値まで伸ばす方法と、外れ値を別の点で示す方法です。後者でよく使う基準は次のとおりです。
【外れ値の基準の例】
- 四分位範囲 より小さい値
- 四分位範囲 より大きい値
A組では、 が上の境界です。95点はこれを超えるので、外れ値として点で描かれ、ひげは72点までになります。
2つのグラフの視覚的比較
試験で多いのは、箱ひげ図やヒストグラムを並べて分布を比べる問題です。この 2つのグラフの視覚的比較 では、次の順に見ます。
【グラフを比べる順番】
- 軸の目盛りがそろっているかを確かめる
- 中心を比べる: 中央値の線の位置
- 散らばりを比べる: 箱の長さ、ひげの長さ
- 形を比べる: 箱の中の線の片寄り、外れ値
例題:2つの箱ひげ図を比べる
A組とB組(各11人)の箱ひげ図から、次の値を読み取りました。
| 最小値 | 中央値 | 最大値 | 四分位範囲 | |||
|---|---|---|---|---|---|---|
| A組 | 42 | 52 | 60 | 68 | 95 | 16 |
| B組 | 30 | 45 | 60 | 76 | 92 | 31 |
70点以上の人の割合が大きいのは、どちらの組でしょうか?
【解き方】
- 上位約25%の境目である を見る
- B組の は76点なので、約4分の1の人が76点以上いる
- A組の は68点なので、70点以上の人は約4分の1より少ない
答えはB組です。実際の人数は、A組が2人、B組が4人です。
ここで、よくある間違いを押さえておきましょう。箱が長いからといって、そこに人が多いわけではありません。箱の中の人数は、長さによらず全体の約半分です。箱が長いのは、同じ人数が広い区間に薄く広がっているという意味です。
試験のポイント:箱ひげ図からは、平均値や山の数は読み取れません。読めるのは、5つの要約の値と、そこから分かる割合です。
以上が、順番にもとづく指標についての説明です。
ローレンツ曲線とジニ係数:分け方の偏りを測る
続いて、ローレンツ曲線とジニ係数について解説します。
これまでの指標は「値がどれだけ散らばっているか」を測りました。ここで測るのは、「全体の合計が、どれだけ一部の人に偏っているか」です。
1枚のピザを5人で分ける場面を想像してください。全員に同じ量なら平等です。1人が半分を持っていけば、不平等です。この偏りを線で描いたものが ローレンツ曲線、数にしたものが ジニ係数 です。主に所得や資産の格差を測るときに使います。
【ローレンツ曲線の描き方】
- 所得の低い順に人を並べる
- 横軸に人数の累積比率、縦軸に所得の累積比率をとる
- 点を線で結ぶ
全員の所得が同じなら、下位20%の人が全体の20%を持ち、線は対角線になります。この線を 均等分配線 と呼びます。偏りがあると、ローレンツ曲線は均等分配線より下にふくらみます。ふくらみが大きいほど、不平等です。
ジニ係数 は、このふくらみの面積を0から1の値にしたものです。
分母の三角形の面積は なので、ジニ係数は囲まれた面積の2倍です。全員が等しければ0、1人がすべてを持てば1に近づきます。
例題:ジニ係数を求める
5世帯の所得が、低い順に 1, 2, 3, 4, 10(百万円)でした。ジニ係数を求めましょう。
【解き方】
- 合計を求める: 20
- 累積比率の表を作る
| 世帯の累積比率 | 0 | 0.2 | 0.4 | 0.6 | 0.8 | 1.0 |
|---|---|---|---|---|---|---|
| 所得の累積比率 | 0 | 0.05 | 0.15 | 0.30 | 0.50 | 1.00 |
- ローレンツ曲線の下の面積を、台形5つの和で求める
- 囲まれた面積を求める: 0.5 − 0.3 = 0.2
- 2倍する: 0.2 × 2 = 0.4
答えは0.4です。表からは、「下位60%の世帯の所得は全体の30%」「上位20%の世帯が全体の50%を持つ」といったことも読み取れます。
試験のポイント:ローレンツ曲線が均等分配線から離れるほど、ジニ係数は大きくなり、不平等の度合いが高いことを表します。
以上が、ローレンツ曲線とジニ係数についての解説です。
カイ二乗値:一様からのずれを測る
次に、カテゴリの度数の偏りを測るカイ二乗値について説明します。
分散は量的変数の指標でした。質的変数にも「どれくらい偏っているか」を測りたい場面があります。例えば、「このサイコロの目の出方は均等か?」「3つのメニューの人気に差はあるか?」といった問いです。
ここで使うのが カイ二乗値 です。実際の度数と、全カテゴリが同じ頻度だったときの度数の差を、1つの数にまとめます。
記号の意味は、 が実際に観測された度数、 が期待される度数、 がカテゴリの数です。一様な頻度からのずれを見るときは、全カテゴリの を「総数 ÷ カテゴリの数」とします。言葉で言うと、「ズレの二乗を、期待される度数で割って全部足す」です。
二乗するのは、分散のときと同じく、プラスとマイナスのズレが打ち消し合うのを防ぐためです。 で割るのは、ズレの重みをそろえるためです。期待が20のときの10のズレは大きいですが、期待が1,000のときの10のズレは小さいですよね。
具体的に見てみましょう。サイコロを60回投げて、次の結果が出たとします。
| 目 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| 回数 | 8 | 12 | 9 | 11 | 7 | 13 |
均等なら、どの目も 60 ÷ 6 = 10 回です。ズレの二乗は順に 4, 4, 1, 1, 9, 9 なので、合計は28です。これを10で割って、カイ二乗値は2.8になります。
せっかくなので、別の例も見てみましょう。90人に3種類のラーメンの好みを聞いたところ、しょうゆ40人、みそ30人、塩20人でした。均等なら各30人なので、 です。
カイ二乗値は、完全に一様なら0で、偏るほど大きくなります。ただし、総数に比例して大きくなる点に注意が必要です。同じ割合のまま900人に増やすと、カイ二乗値は10倍の約66.7になります。この値が「偶然と言えるほど小さいか」の判定は、適合度検定の記事で学びます。
以上が、カイ二乗値についての説明です。
歪度と尖度:分布の形を数で表す
最後に、分布の形を数で表す歪度と尖度を見ていきましょう。
分布の記事では、「右に裾が長い」といった形を言葉で表しました。これを数にしたものが、歪度 と 尖度 です。どちらも、標準化した値の3乗、4乗の平均です。
歪度 は、左右の傾きを表します。3乗は符号を残すので、右へ遠く離れた値があるとプラスに、左へ遠く離れた値があるとマイナスに大きく傾きます。シーソーの支点からの「重さの偏り」を測るイメージです。
尖度 は、山のとがり具合と裾の重さを表します。4乗は符号を消して、遠くの値を特に強く数えます。上の式では、正規分布のとき0になるように3を引いています。
【歪度と尖度の読み方】
- 歪度 > 0: 右に裾が長い
- 歪度 = 0: 左右対称(正規分布など)
- 歪度 < 0: 左に裾が長い
- 尖度 > 0: 正規分布より山がとがり、裾が重い
- 尖度 < 0: 正規分布より山が平たく、裾が軽い
例えば、データ 1, 2, 3, 4, 10 の歪度を計算してみましょう。平均値は4、偏差は −3, −2, −1, 0, 6 です。ここでは で割った分散を使うと、分散は10、 になります。偏差の3乗の平均は36なので、歪度は です。プラスの値なので、10の方向、つまり右に裾が長いことが数で分かります。
補足(ここは読み飛ばしてOK): 歪度と尖度の定義には流儀があります。 の分母が か か、尖度で3を引くか引かないかです。3を引かない定義では、正規分布の尖度は3になります。試験では、符号と大小の意味が読めれば十分です。
以上が、歪度と尖度についての説明です。
たくさんの指標が出てきましたが、すべてを一度に計算できなくても問題ありません。ここでは、「何のズレを測る指標なのか」という点だけ押さえておきましょう。
今回のまとめ
それでは、今回の内容を振り返ります。
今回は分布を評価する散らばりなどの指標について紹介しました。平均からの距離、順番の幅、分け方の偏り、一様からのずれ、左右の傾きと、測りたいものごとに物差しがあります。健康診断と同じで、項目を組み合わせて初めて全体の状態が見えてきます。
今回のポイントを振り返りましょう。
振り返り
- 分散は偏差の二乗の合計を で割った値。標準偏差はその平方根で、単位がデータと同じ。
- 四分位範囲は真ん中の約半分の広さ。箱ひげ図で比べるときは、箱の長さは人数ではないことに注意する。
- ジニ係数は、ローレンツ曲線と均等分配線に囲まれた面積の2倍。大きいほど不平等。
- カイ二乗値は一様な頻度からのずれ。完全に一様なら0。
- 歪度は左右の傾き、尖度はとがり具合と裾の重さを表す。
キーワードのおさらい
- 分散: 偏差の二乗の合計を で割った値
- 標準偏差: 分散の平方根
- 範囲(最小値、最大値): 最大値から最小値を引いた値
- 四分位範囲: 第3四分位数から第1四分位数を引いた値
- 箱ひげ図: 四分位数をもとに分布を箱と線で表した図
- ローレンツ曲線: 人数の累積比率と所得の累積比率の関係を表す曲線
- ジニ係数: ローレンツ曲線から求める、不平等の度合いを表す0から1の値
- 2つのグラフの視覚的比較: 軸をそろえて中心、散らばり、形を比べること
- カイ二乗値: 観測された度数と、一様な頻度との差をまとめた値
- 歪度: 分布の左右の傾きを表す値
- 尖度: 分布のとがり具合と裾の重さを表す値
さて、標準偏差という物差しが手に入りました。では、平均も散らばりも違う2つのテストの点数は、どう比べればよいのでしょうか?
次回は、標準偏差を使って値を比べる「標準化」について紹介します。
それでは、次の記事へ進んでいきましょう。