2級-21 推測統計の基礎
仮説検定の考え方
- 仮説検定の理論
- p値
- 帰無仮説(H0)と対立仮説(H1)
- 両側検定と片側検定
- 第1種の過誤と第2種の過誤
- 検出力
はじめに
「疑わしきは罰せず」という言葉があります。
裁判では、被告人はまず無罪として扱われます。検察が十分な証拠を積み上げて、「無罪だとすると、こんな証拠が揃うのはおかしい」と示せたときだけ、有罪になります。証拠が足りなければ、無罪です。ただしそれは「潔白が証明された」という意味ではありません。
統計にも、これとまったく同じ考え方があります。例えば、友達のコインを10回投げたら、9回表が出たとしましょう。「このコイン、イカサマじゃない?」と思いますよね。でも、公平なコインでも、たまたまそうなることはあります。どこから先を「たまたまとは言えない」と考えればよいのでしょうか?
実は、この判断には決まった手順があります。3級で手順を学んだ、あの方法です。
そこで登場するのが、今回の主役 仮説検定 です。3級では計算の流れを見ました。2級では、p値 や 第1種の過誤と第2種の過誤、検出力 といった、検定の中身を理解することが目標です。
前回の記事では、差の区間が0を含むかどうかで判断する方法を学びました。今回の記事では、その判断を支える仮説検定の理論について解説します。
仮説検定の理論:背理法で考える
はじめに、検定の全体の流れについて解説します。
仮説検定の理論 の核は、背理法です。「言いたいことの反対を仮定して、それが無理だと示す」という論法です。ここで2つの仮説が登場します。これが 帰無仮説と対立仮説 です。
【2つの仮説】
- 帰無仮説(null hypothesis): 差がない、効果がないという、否定したい仮説
- 対立仮説(alternative hypothesis): 差がある、効果があるという、言いたい仮説
裁判に例えると、帰無仮説は「被告人は無罪」、対立仮説は「被告人は有罪」です。帰無という名前には、「無に帰す」、つまり最後に捨てたい仮説という意味があります。
帰無仮説は、「」のように等号で1つの値に決めます。値が1つに決まらないと、確率の計算ができないからです。
手順は、次の5段階です。
【仮説検定の手順】
- 帰無仮説と対立仮説を立てる
- 有意水準 を決める(ふつうは5%か1%)
- 検定統計量を計算する
- 棄却域と比べる(または、p値と を比べる)
- 結論を述べる
検定統計量 は、データが帰無仮説からどれくらい離れているかを1つの数にしたものです。有意水準 は、「これより珍しければ偶然とは考えない」という境界の確率です。棄却域 は、検定統計量がそこに入ったら帰無仮説を捨てる範囲です。
具体的に見てみましょう。
例題:お菓子の内容量を検定する
内容量が200gと表示されたお菓子を36袋調べると、平均は202gでした。標準偏差は で既知とします。平均は表示とちがうと言えるでしょうか? 有意水準5%で検定しましょう。
【解き方】
- 仮説を立てる: 、
- 有意水準は5%で、棄却域は
- 検定統計量を計算する:
- 比べる: なので、棄却域に入る
- 結論: を棄却し、平均は200gではないと判断する
答えは、「有意水準5%で、平均は表示と異なると言える」です。このように帰無仮説を捨てることを 棄却 と言います。
結論の言い方
ここが大切なポイントです。検定の結論は、次の2つしかありません。
【検定の結論】
- 検定統計量が棄却域に入る: を棄却し、 を支持する
- 検定統計量が棄却域に入らない: を棄却できない
2つ目は「 が正しい」ではありません。裁判の無罪判決が、潔白の証明ではないのと同じです。証拠が足りなかっただけなのです。
以上が、仮説検定の理論についての解説です。
両側検定と片側検定
次に、両側検定と片側検定 の違いについて説明します。
対立仮説の向きによって、棄却域の場所が変わります。
【対立仮説と棄却域(有意水準5%、 を使う場合)】
- 両側検定: で、棄却域は
- 右片側検定: で、棄却域は
- 左片側検定: で、棄却域は
両側検定では、5%を左右に2.5%ずつ分けます。片側検定では、5%全部を片側に置きます。門番を2か所に半分ずつ配置するか、怪しい側の1か所に全員集めるか、という違いです。
例えば、お菓子の例で考えます。「表示と違うかどうか」を知りたいなら、多くても少なくても問題なので、両側検定です。一方、消費者団体が「表示より少ないのではないか」を調べるなら、 の左片側検定です。
せっかくなので、別の例も見てみましょう。新しい薬で血圧が下がるかを調べるなら、下がる向きだけに興味があるので片側検定です。新しい製法で部品の長さが変わるかを調べるなら、どちらにズレても困るので両側検定です。
ここで注意があります。片側か両側かは、データを見る前に決めます。結果を見てから「こちら向きなら有意だ」と選ぶのは、的を射たあとで的を描くようなものです。
試験のポイント:同じ有意水準なら、片側の棄却域の境界(1.645)は両側(1.96)より内側です。問題文の「異なる」「大きい」「小さい」から、どの検定かを読み取りましょう。
以上が、両側検定と片側検定についての説明です。
p値:データの珍しさの目盛り
続いて、結論を数字で表す方法を見ていきましょう。
p値 は、帰無仮説が正しいとしたときに、観測された値以上に極端な値が出る確率です。一言で言うと、「帰無仮説のもとでの、データの珍しさ」です。
判定はかんたんです。
棄却域を使う方法と結論は同じです。p値のほうが、「ぎりぎりなのか、圧倒的なのか」まで分かる分だけ、情報が多いです。
お菓子の例では でした。
【p値の計算】
- 上側確率を読む:
- 両側検定なので2倍する:
p値は約0.046で、0.05以下なので棄却します。片側検定なら、p値は0.0228のままです。
コインの例でも計算してみましょう。公平なコイン()を10回投げて、9回以上表が出る確率です。
イカサマを「表が出やすい」向きで疑うなら片側検定で、p値は約0.011です。公平なコインでこれが起きるのは約1%なので、5%の有意水準では棄却です。
p値の3つの誤解
p値は、最もよく誤解される言葉です。
【p値についての誤解】
- p値は「帰無仮説が正しい確率」ではない。帰無仮説が正しいと仮定した上での、データの確率である
- p値は「効果の大きさ」ではない。標本が大きければ、ごくわずかな差でもp値は小さくなる
- 有意でないことは「差がない」ことではない。証拠が足りないだけかもしれない
2つ目の例です。標準偏差10のテストで、4万人の平均が0.1点だけ基準より高かったとします。 となり、有意です。でも、0.1点の差に実用上の意味はほとんどありません。統計的に有意であることと、実際に重要であることは別なのです。
また、検定は区間推定の裏表でもあります。お菓子の例の95%信頼区間は で、200.04から203.96です。この区間は200を含みません。これは両側5%で棄却された結果と対応しています。
試験のポイント:p値の定義は「帰無仮説が正しいとき、観測値以上に極端な値が得られる確率」です。この言葉どおりの選択肢を選びましょう。
以上が、p値についての解説です。
第1種の過誤と第2種の過誤、そして検出力
最後に、検定の間違いについて見ていきましょう。
検定は確率で判断するので、必ず間違いの可能性があります。真実と判断の組み合わせは、次の4通りです。
| を棄却しない | を棄却する | |
|---|---|---|
| が正しい | 正しい判断 | 第1種の過誤(確率 ) |
| が正しい | 第2種の過誤(確率 ) | 正しい判断(確率 ) |
第1種の過誤 は、帰無仮説が正しいのに棄却してしまう間違いです。第2種の過誤 は、帰無仮説が誤っているのに棄却しない間違いです。
裁判なら、第1種の過誤は冤罪で、第2種の過誤は真犯人を逃すことです。火災報知器なら、第1種の過誤は誤作動で、第2種の過誤は火事なのに鳴らないことです。「あわてんぼう」と「ぼんやりさん」と覚えると分かりやすいです。
第1種の過誤の確率は、有意水準 と等しいです。私たちが事前に5%と決めた値が、そのまま冤罪の確率になります。
一方、対立仮説が正しいときに、正しく棄却できる確率を 検出力 と呼びます。
検出力は、「差があるときに、それを見つける力」です。性能の良い金属探知機ほど、本物の金属を見逃しません。
例題:検出力を計算する
の正規母集団から の標本をとり、、 を有意水準5%で検定します。真の平均が55のときの検出力を求めましょう。
【解き方】
- 標準誤差:
- 棄却域を標本平均で書く:
- 真の平均55で標準化する:
- 検出力:
答えは約0.80です。第2種の過誤の確率は約0.20です。
ここがポイントです。手順の2番目までは の世界、3番目からは の世界で計算します。棄却の線は で引き、その線を超える確率は真の分布で測るのです。
検出力を上げる方法は、次の4つです。
【検出力が上がる条件】
- 標本の大きさ を大きくする
- 有意水準 を大きくする
- 真の値と帰無仮説の値の差が大きい
- 母標準偏差 が小さい
ただし、 を大きくすると、冤罪は増えます。さきほどの例で有意水準を1%に厳しくすると、検出力は約0.57まで下がります。第1種の過誤と第2種の過誤は、シーソーの関係にあるのです。一方、 を増やせば、両方の過誤を同時に減らせます。 なら、有意水準5%のままで検出力はほぼ1になります。
試験のポイント:有意水準を小さくすると、第1種の過誤は減り、第2種の過誤は増えます。検出力は で、第2種の過誤の確率そのものではありません。
以上が、第1種の過誤と第2種の過誤、そして検出力についての解説です。
細かい計算が分からなかったとしても問題ありません。ここでは、「帰無仮説を疑う手順と、2種類の間違いがある」という点だけ押さえておきましょう。
今回のまとめ
それでは、今回の内容を振り返ります。
今回は仮説検定の理論について紹介しました。検定は、裁判と同じ構造を持っています。まず無罪(帰無仮説)を仮定し、データの珍しさを測り、十分に珍しければ棄却します。絶対に間違えない判決はありません。だからこそ、間違いの確率を自分で決めて管理するのです。
今回のポイントを振り返りましょう。
振り返り
- 検定は背理法。帰無仮説を仮定して、データが珍しすぎれば棄却する。
- 棄却できないことは、帰無仮説が正しいという意味ではない。
- 対立仮説の向きで両側検定か片側検定を選ぶ。データを見る前に決める。
- p値は、帰無仮説のもとでのデータの珍しさ。帰無仮説が正しい確率ではない。
- 第1種の過誤は冤罪(確率 )、第2種の過誤は見逃し(確率 )。検出力は 。
キーワードのおさらい
- 仮説検定: 帰無仮説を仮定し、データから棄却するかどうかを判断する方法
- 帰無仮説(): 差がない、効果がないという、否定したい仮説
- 対立仮説(): 差がある、効果があるという、言いたい仮説
- p値: 帰無仮説が正しいとき、観測値以上に極端な値が出る確率
- 両側検定: どちらの向きの差も調べる検定
- 片側検定: 一方の向きの差だけを調べる検定
- 第1種の過誤: 正しい帰無仮説を棄却する間違い
- 第2種の過誤: 誤っている帰無仮説を棄却しない間違い
- 検出力: 対立仮説が正しいときに、帰無仮説を正しく棄却する確率
さて、検定の考え方は分かりました。あとは、場面ごとの道具を手に取るだけです。平均ならt検定、分散ならカイ二乗検定と、区間推定で使った分布がそのまま再登場します。
次回は、母平均・母分散・母比率の検定を実際に解く「1つの母集団の仮説検定」について紹介します。
それでは、次の記事へ進んでいきましょう。