結論：仮説検定は「偶然では説明しにくい差」を見つける手続き
仮説検定は、観測されたデータが「単なる偶然」なのか「本当に意味のある差」なのかを判定する統計的手続きです。P値は「もし差がないとしたら、これくらいの観測結果が偶然得られる確率」を表します。P値が小さい（一般に0.05未満）と「統計的に有意」と判断します。
この記事で分かること
- 帰無仮説・対立仮説とは
- P値の正しい意味
- 有意水準（α）と判定の手順
- 第一種・第二種の誤り
- P値に関するよくある誤解
1. 帰無仮説と対立仮説
- 帰無仮説 H0: 「差がない」「効果がない」（これを否定したい）
- 対立仮説 H1: 「差がある」「効果がある」（こちらを示したい）
例：「新薬は効果がない（H0）」vs「新薬は効果がある（H1）」
2. P値の定義
P値 = 「帰無仮説が正しいと仮定したとき、観測された結果（またはそれ以上に極端な結果）が得られる確率」
3. 判定の手順
- 帰無仮説 H0 を立てる
- 有意水準 α を決める（一般に 0.05）
- データを集めて検定統計量を計算
- P値を求める
- P値 < α なら H0 を棄却（「有意」と判断）
4. 例：コインが歪んでいるか検定
100回投げて表が62回出た
H0: 公正なコイン（p=0.5）
P値 = P(表が62回以上 | p=0.5) ≒ 0.011
P値 0.011 < 0.05 → H0棄却、コインは歪んでいる可能性が高い
5. 第一種の誤り（α）
本当はH0が正しいのに棄却してしまう誤り。「効果がないのに効果ありと結論する」。確率は有意水準αと同じ。
6. 第二種の誤り（β）
本当はH1が正しいのにH0を棄却できない誤り。「効果があるのに効果なしと結論する」。検出力 = 1-β。
7. P値に関するよくある誤解
| 誤解 | 正しい理解 |
|---|---|
| P=0.04 は「H0が正しい確率4%」 | 違う。H0が正しいと仮定した時の確率 |
| P<0.05 で「効果が大きい」 | 違う。効果の大きさは別（効果量） |
| P>0.05 で「効果がない」 | 違う。「証拠不足」というだけ |
| P値が小さいほど結果が重要 | 違う。サンプルが多いと簡単に小さくなる |
8. ガチャ確率の検証
「公称1%のガチャ、300回引いて1体しか出なかった。確率おかしい？」を仮説検定すると、P値はおおむね0.2以上。有意ではない（証拠不足）。数千連レベルで初めて検定できます。
9. 効果量の重要性
P値だけでなく「効果量（Cohen's d など）」も併記すべき。「統計的に有意だが実用的に無意味」なケースを見抜くために必要。
10. 検定の種類
- 📊 t検定: 2群の平均の差
- 📊 カイ二乗検定: カテゴリデータの独立性
- 📊 分散分析(ANOVA): 3群以上の平均の差
- 📊 二項検定: ガチャ・コインの確率検証
よくある質問
Q. P値はなぜ0.05が基準なの？
A. 歴史的に統計学者R.A.フィッシャーが提案した慣習で、明確な数学的根拠はありません。分野によっては0.01や0.001を使うこともあります。
Q. P=0.05 ちょうどの場合は？
A. 厳密には『有意水準以下』なので棄却ですが、ボーダーラインなので慎重に。追加データや効果量も合わせて判断します。
Q. 『P値を見ない統計』もある？
A. ベイズ統計はP値を使わず、事後確率や信用区間で判断します。近年はP値偏重への批判から、ベイズ的アプローチも増えています。
Q. 仮説検定とガチャ確率の検証はできる？
A. できます。二項検定を使い『公称排出率と実測値に差があるか』を判定。ただし数千〜数万連のデータが必要です。
Q. 第一種の誤りと第二種の誤り、どっちが重大？
A. ケースによります。医療では『効かない薬を効くと判断（第一種）』が重大、安全性検査では『危険なものを安全と判断（第二種）』が重大です。
桂木 統からの追加考察：「P値ハッキング」の罠と再現可能性危機
2010 年代以降、科学界では 「再現可能性の危機」が大問題になっています。心理学・医学・経済学の論文の多くが、再実験で同じ結論が得られない事態が判明したのです。原因の 1 つが、本記事で扱う仮説検定の悪用、いわゆる 「P 値ハッキング」です。
典型的な P 値ハッキング：
- P > 0.05 だったので、データを少し追加して P < 0.05 にする
- 複数の指標を測り、P < 0.05 だった指標だけ報告する
- 外れ値を「異常」と言って除外し、有意水準を下げる
私が本サイトで仮説検定を解説するときに常に強調しているのは、「事前に検定計画を立てること」と 「P < 0.05 でも効果サイズが小さければ実用的意味はない」という 2 点です。P 値は強力ですが、使い方を間違えると「統計的に有意なのに何の意味もない結論」を量産する道具になります。
まとめ
この記事のポイント
- 仮説検定は偶然か意味のある差かを判定する手続き
- 帰無仮説H0を棄却することで対立仮説H1を支持
- P値 = H0が正しいと仮定した時の観測確率
- P<0.05 で『統計的に有意』と判断（慣習）
- P値が小さくても効果が大きいとは限らない
この記事の編集責任者
桂木 統（かつらぎ おさむ）
確率論・統計学を専門領域とする編集責任者「桂木 統」が、本記事の数式・確率計算・統計データを公開前に検証しています。JRA・宝くじ公式・政府統計などの一次情報を参照し、出典を明示しています。
編集責任者プロフィールを見る