統計学 学習ノート

はじめに

回帰直線が同じでも、散布図の中身はまるで違う

「決定係数が0.9もあるなら、その回帰式は信じていいんじゃないの？」

こう思ったことはありませんか？ 実は、決定係数だけでは回帰式の良し悪しは分かりません。統計学者のアンスコムは1973年に、平均も相関係数も回帰直線もほぼ同じなのに、散布図がまったく違う4組のデータを作って見せました。1組は素直な直線で、1組は曲線で、残りの2組は、たった1つの点が結果を大きく左右していました。

例えば、健康診断を思い浮かべてください。身長と体重が標準でも、血液検査をしなければ分からない病気があります。回帰分析も同じで、当てはまりの数字が良くても、中身を調べなければ安心できません。

そこで登場するのが、今回の主役 回帰診断法 です。回帰診断法とは、当てはめたモデルの仮定が成り立っているか、結果を左右する点がないかを、残差を使って点検する方法の総称です。

前回の記事では、重回帰分析で変数を選び、正則化まで学びました。今回の記事では、当てはめたあとの点検として、残差プロット、正規Q-Qプロット、leverage（てこ比）、Cookの距離の4つの道具と、外れ値の見つけ方について解説します。

残差プロット：残差に模様が残っていないかを見る

残差に模様が残っていたら、仮定の崩れのサイン

はじめに、最も基本の道具である残差プロットについて解説します。

2級で学んだように、残差プロット は横軸に予測値、縦軸に残差をとった散布図です。モデルが正しければ、残差は0のまわりに模様なく散らばります。

ここで、準1級で押さえたい理由があります。なぜ横軸は、実測値 $y$ ではなく予測値 $\hat{y}$ なのでしょうか？ 説明変数を並べた行列を $X$ とします。予測値は次の形で書けます。

$$\hat{\boldsymbol{y}} = H\boldsymbol{y}, \qquad H = X(X^\top X)^{-1}X^\top$$

$H$ は ハット行列 と呼ばれます。実測値に帽子（ハット）をかぶせて予測値にする行列、という意味です。残差は $\boldsymbol{e} = (I - H)\boldsymbol{y}$ と書けます。$H$ には $H^2 = H$ という性質があるので、次の2つが成り立ちます。

$$\text{Cov}(\boldsymbol{e}, \hat{\boldsymbol{y}}) = \sigma^2 (I - H)H = O, \qquad \text{Cov}(\boldsymbol{e}, \boldsymbol{y}) = \sigma^2 (I - H) \ne O$$

要するに、残差は予測値とは無相関ですが、実測値とは相関します。そのため、横軸に $y$ をとると、モデルが正しくても右上がりの模様が出てしまいます。予測値を使えば、模様が出たときは本当に問題があるサインになります。また、重回帰では説明変数が何個あっても、予測値なら1枚で済みます。

模様の読み方は、次の3つです。

【残差プロットの読み方】

1. 曲がっている： 線形性の崩れ。2乗の項を足す、変数を変換する
2. ラッパのように右へ広がる： 等分散性の崩れ。対数変換や加重最小二乗法を使う
3. 測定の順に波打つ： 独立性の崩れ。時系列モデルを考える

例えば、店の面積で売上を説明する回帰を考えます。小さい店の残差は数万円の幅ですが、大きい店では数十万円の幅になることはよくあります。これが2つ目のラッパ型です。売上の対数をとると、幅がそろうことが多いです。

せっかくなので、別の例も見てみましょう。気温でアイスの売上を説明したとき、残差が「中央で負、両端で正」のお椀形になったとします。これは1つ目のパターンで、直線では足りず、2乗の項が必要だというサインです。

試験のポイント：残差プロットは「模様がないこと」が合格の条件です。曲がりは線形性、ラッパ型は等分散性の問題と読みます。

以上が、残差プロットについての解説です。

正規Q-Qプロット：残差の分布の形を見る

同じ順位どうしを組にして打ち、直線に乗るかを見る

次に、残差が正規分布に従うかを確かめる道具について説明します。

回帰係数の $t$ 検定や信頼区間は、誤差の正規性を前提にしていました。この点検に使うのが 正規Q-Qプロット です。データの分位点と、標準正規分布の分位点を比べる図で、Q は分位点（quantile）の頭文字です。

背の順に例えてみましょう。2つのクラスを背の順に並べて、同じ順位の人どうしを組にします。身長の分布の形が同じなら、組を点で打つと直線に乗ります。Q-Qプロットは、この相手を「理想の正規分布クラス」にしたものです。

【正規Q-Qプロットの作り方】

1. 残差を小さい順に並べる： $e_{(1)} \le e_{(2)} \le \dots \le e_{(n)}$
2. $i$ 番目に確率 $(i - 0.5)/n$ を割り当てる
3. その確率に対応する標準正規分布の分位点 $q_i = \Phi^{-1}\big((i-0.5)/n\big)$ を求める
4. 点 $(q_i,\ e_{(i)})$ を打つ

具体的に見てみましょう。5個の残差を小さい順に並べた場合、確率は0.1, 0.3, 0.5, 0.7, 0.9 です。

順位 $i$	1	2	3	4	5
確率 $(i-0.5)/5$	0.1	0.3	0.5	0.7	0.9
分位点 $q_i$	$-1.28$	$-0.52$	$0$	$0.52$	$1.28$

分布が正規なら、点は直線に乗ります。このとき、直線の切片は平均、傾きは標準偏差の見当を与えます。形が違うときは、ズレ方で読み取ります。

【正規Q-Qプロットのズレ方】

• 直線に乗る： 正規分布に近い
• 右端が上へ、左端が下へ反る（S字）： 裾が厚い。極端な値が正規分布より多い
• 両端とも直線より上に反る（下に凸）： 右に裾が長い
• 両端とも直線より下に反る（上に凸）： 左に裾が長い
• 1点だけ大きく離れる： 外れ値の候補

例えば、所得を回帰した残差の Q-Q プロットが下に凸になっていれば、右に裾が長いと分かります。このときも、対数をとる変換が候補になります。

補足（ここは読み飛ばしてOK）： 確率の割り当て方には流儀があり、$(i - 0.375)/(n + 0.25)$ などを使うソフトウェアもあります。$n$ が大きければ、見た目はほとんど変わりません。

以上が、正規Q-Qプロットについての説明です。

leverage（てこ比）と外れ値：点の立ち位置を測る

端にいる点は線を引き寄せ、除くと予測が6.5も動く

続いて、1つの点の影響を測る道具について解説します。

外れ値 は、回帰の文脈では、当てはめた線から縦方向に大きく外れた点のことです。一方で、横方向の位置が極端な点もあります。この2つは別の問題なので、分けて測ります。

シーソーを想像してください。支点の近くに座った人が少し動いても、板はほとんど傾きません。しかし、端に座った人が動くと、板は大きく傾きます。回帰直線は $x$ の平均のあたりを支点とするシーソーで、端にある点ほど直線を強く動かします。

この端にいる度合いを表すのが leverage（てこ比） です。ハット行列の対角成分 $h_{ii}$ がてこ比で、$\hat{y}_i = \sum_j h_{ij} y_j$ の中で、自分の $y_i$ が自分の予測値に効く重みにあたります。切片つきの単回帰では、次の式になります。

$$h_{ii} = \frac{1}{n} + \frac{(x_i - \bar{x})^2}{S_{xx}}, \qquad S_{xx} = \sum_{j=1}^{n} (x_j - \bar{x})^2$$

$n$ はデータの個数、$\bar{x}$ は $x$ の平均です。言葉で言うと、「$x$ が平均から離れているほど、てこ比は大きい」という式です。てこ比は $x$ だけで決まり、$y$ の値には関係しません。

てこ比には、次の性質があります。説明変数の数を $p$ とします（切片を入れて係数は $p+1$ 個）。

【てこ比の性質】

1. 範囲： 切片つきのモデルでは $1/n \le h_{ii} \le 1$
2. 合計： $\sum_i h_{ii} = \text{tr}(H) = p + 1$ なので、平均は $(p+1)/n$
3. 目安： $h_{ii} > 2(p+1)/n$ の点は、てこ比が大きいと判断する
4. 残差の分散： $V[e_i] = \sigma^2 (1 - h_{ii})$

4つ目がここでのポイントです。てこ比の大きい点は線を自分へ引き寄せるので、残差が小さくなります。つまり、生の残差の大きさを比べるだけでは、危ない点を見逃します。そこで、それぞれの標準偏差で割ります。

$$r_i = \frac{e_i}{s\sqrt{1 - h_{ii}}}$$

これが 標準化残差（内部スチューデント化残差）です。$s^2$ は残差平方和を $n - p - 1$ で割った値です。$|r_i|$ が2を超えると注意、3を超えると外れ値の疑いが強いと見ます。

例題：てこ比と標準化残差を求める

5個のデータ $(x, y)$ = (1, 2), (2, 3), (3, 5), (4, 6), (10, 8) に回帰直線を当てはめると、$\hat{y} = 2.32 + 0.62x$、$s^2 = 3.58/3 \approx 1.193$ でした。5番目の点のてこ比と標準化残差を求めましょう。

【解き方】

1. $\bar{x} = 4$、$S_{xx} = 9 + 4 + 1 + 0 + 36 = 50$
2. てこ比： $h_{55} = 1/5 + 36/50 = 0.92$
3. 目安と比べる： $2(p+1)/n = 2 \times 2 / 5 = 0.8$ より大きい
4. 残差： $\hat{y}_5 = 2.32 + 6.2 = 8.52$ なので、$e_5 = 8 - 8.52 = -0.52$
5. 標準化残差： $-0.52 \div \sqrt{1.193 \times 0.08} \approx -1.68$

答えはてこ比0.92、標準化残差約 $-1.68$ です。生の残差 $-0.52$ は5点の中で絶対値が最も小さいのに、標準化すると絶対値が最大になります。

実は、この点を除いて残り4点で直線を引くと、$\hat{y} = 0.5 + 1.4x$ となり、$x = 10$ の予測値は14.5です。実測の8より6.5も上です。この差は、次の公式からもすぐに出ます。

$$y_i - \hat{y}_{i(i)} = \frac{e_i}{1 - h_{ii}}$$

$\hat{y}_{i(i)}$ は、$i$ 番目の点を除いて推定した式による予測値です。$-0.52 \div 0.08 = -6.5$ で、たしかに一致します。全部のデータで引いた線は、この点に引き寄せられていたのです。

試験のポイント：てこ比は $x$ だけで決まり、合計は係数の個数 $p+1$ になります。「$y$ の値でてこ比が変わる」という選択肢は誤りです。

以上が、てこ比と外れ値についての解説です。

Cookの距離：その1点が結果をどれだけ動かすか

端にいて線からも外れた点が、回帰式を支配する

最後に、影響の大きさを1つの数にまとめる道具を見ていきましょう。

ここまでで、縦のズレは標準化残差、横の位置はてこ比と、物差しが2本そろいました。でも、知りたいのは「その点があるかないかで、回帰式がどれだけ変わるか」です。

クラスの合唱に例えてみましょう。1人ずつ抜けてもらって歌い、そのたびに全体の音がどれだけ変わるかを確かめます。抜けても変わらないなら、その人の影響は小さいです。抜けると音が別物になるなら、全体がその人に依存しています。

これを式にしたのが Cookの距離 です。$i$ 番目の点を除いて推定したときの予測値の変化を、全点で足し合わせて測ります。

$$D_i = \frac{\sum_{j=1}^{n} \big(\hat{y}_j - \hat{y}_{j(i)}\big)^2}{(p+1)\,s^2}$$

$n$ 回も推定をやり直す必要はありません。1点を除いたときの係数の変化は $\hat{\boldsymbol{\beta}} - \hat{\boldsymbol{\beta}}_{(i)} = (X^\top X)^{-1}\boldsymbol{x}_i\, e_i / (1 - h_{ii})$ と書けるからです。これを代入すると、次の形に整理できます。

$$D_i = \frac{r_i^2}{p+1} \cdot \frac{h_{ii}}{1 - h_{ii}}$$

言葉で言うと、「Cookの距離 = 縦のズレの2乗 × 横の位置の効き目」です。どちらか片方が0に近ければ、Cookの距離は小さくなります。両方が大きいときだけ、影響が大きくなります。目安は、$D_i$ が0.5を超えると注意、1を超えると影響が大きいと判断します。$4/n$ を使う流儀もあります。

さきほどの例題の5番目の点なら、次のとおりです。

$$D_5 = \frac{(-1.68)^2}{2} \times \frac{0.92}{0.08} \approx 16.3$$

目安の1をはるかに超えています。残差だけを見ると目立たなかった点が、回帰式を決めていたのです。

せっかくなので、別の例も見てみましょう。$x = 1, \dots, 9$ の9点の回帰直線は $\hat{y} = 2.5 + 0.83x$ でした。ここに10個目の点を1つ加えます。加え方を3通り比べてみます。

加えた点 $(x, y)$	てこ比	標準化残差	Cookの距離	傾きの変化
A：(5, 14)	0.10	2.57	0.37	0.83 のまま
B：(20, 19)	0.79	$-0.07$	0.01	0.82 でほぼ同じ
C：(20, 8)	0.79	$-2.39$	11.0	0.26 へ急落

【3つの点の読み方】

• A： 縦に外れているが $x$ は真ん中。外れ値だが、傾きは動かさない
• B： 端にいるが線の上に乗っている。てこ比は大きいが、影響は小さい
• C： 端にいて線からも外れている。てこ比も残差も大きく、回帰式を支配する

つまり、本当に問題なのはCの型で、これを 影響力の大きい点 と呼びます。

では、見つけたらどうするのでしょうか？ 機械的に消してはいけません。

【見つけたあとの手順】

1. 記録ミスや測定の失敗がないかを確かめる
2. その点を除いた分析と含めた分析を、両方行って比べる
3. 別の集団の点なら、説明変数を足すなどモデルを見直す
4. 正しい値なら残し、結論がその点に依存することを報告する

試験のポイント：$D_i = \dfrac{r_i^2}{p+1} \cdot \dfrac{h_{ii}}{1-h_{ii}}$ は、標準化残差とてこ比から計算できます。ソフトウェアの出力から計算させる形で問われます。

以上が、Cookの距離についての解説です。

細かい導出を忘れてしまっても問題ありません。ここでは、「縦のズレは標準化残差、横の位置はてこ比、2つを掛け合わせた影響がCookの距離」という点だけ押さえておきましょう。

今回のまとめ

形は残差とQ-Qで、1点の影響はてこ比とCookで点検する

それでは、今回の内容を振り返ります。

今回は、当てはめた回帰式を点検する回帰診断法について紹介しました。決定係数は通信簿の総合点のようなもので、健康状態の中身までは教えてくれません。形は残差プロットと正規Q-Qプロットで、1つ1つの点の影響はてこ比とCookの距離で調べるのが、回帰の健康診断です。

今回のポイントを振り返りましょう。

振り返り

• 残差プロットは予測値に対して描く。残差と予測値は無相関なので、模様が出れば問題のサイン。
• 正規Q-Qプロットは背の順の組合せ。直線に乗れば正規分布に近く、S字なら裾が厚い。
• てこ比 $h_{ii}$ はシーソーの端にいる度合いで、$x$ だけで決まる。合計は $p+1$。
• てこ比の大きい点は線を引き寄せるので、生の残差ではなく標準化残差で比べる。
• Cookの距離は、1点を抜いたときの予測値の変化で、縦のズレと横の位置の両方が大きいと大きくなる。

キーワードのおさらい

• 外れ値: 当てはめた線から縦方向に大きく外れた点
• 残差プロット: 予測値に対して残差を打った図。模様がないことを確かめる
• 正規Q-Qプロット: データの分位点と標準正規分布の分位点を比べる図
• leverage（てこ比）: ハット行列の対角成分。$x$ の位置が極端な度合い
• Cookの距離: 1点を除いたときの回帰式の変化を測る量

さて、ここまでの回帰は、応答が身長や売上のような連続の量でした。では、合格か不合格か、事故の件数は何件か、という応答ではどうなるでしょうか？ 直線をそのまま当てはめると、確率が1を超えてしまいます。

次回は、二値やカウントの応答を扱う「ロジスティック回帰」と「一般化線形モデル」について紹介します。

それでは、次の記事へ進んでいきましょう。