データ選択による相関の変化(切断効果)
データの一部を特定の基準で切り出したり(選択したり)することで、本来あるはずの相関関係が見えなくなったり、逆にまったく逆の相関が現れたりする現象を「切断効果(あるいは選択生存バイアス、バークソンのバイアス)」と呼びます。
統計学やデータ分析では非常によくある罠で、実事例を交えるとイメージしやすいです。
実事例で理解する切断効果
事例1: SPI(適性検査)と入社後評価
人事データ分析でよくある主張:
「SPIの点数と、入社3年目の人事評価をプロットしたら、相関がほぼゼロ(あるいはマイナス)だった。だからSPIは意味がない!」
なぜこれが「切断効果」なのか?
企業は、SPIの点数が極端に低い人を採用段階で落としています。つまり、手元にあるデータは「SPIの合格ラインをクリアした優秀な人たち」だけに切断されたデータです。
| データの範囲 | 結果 |
|---|---|
| 全体(不採用者含む) | SPIが高い人ほど仕事のパフォーマンスも高い(正の相関がある) |
| 切断後(採用者のみ) | すでに全員がある一定以上の地頭やスキルを持っているため、入社後の評価は本人のモチベーションや配属部署との相性など、別の要因が大きく影響する。その結果、SPIの点数と評価の相関が消えてしまう |
ポイント
「役に立たない」のではなく、「すでに選考で機能した後のデータ」だけを見ているため、相関が消えて見えるのです。
事例2: 漫画における画力 vs ストーリー構成力
「あの漫画、絵は神がかっているのに話が退屈だな…」とか、逆に「絵は下手ウマなのに、ストーリーが狂おしいほど面白い!」という極端な作品が目につきませんか?
「画力とストーリー構成力には負の相関がある(片方が高いと片方が下がる)」と思ってしまいそうになります。
なぜこれが「切断効果」なのか?
私たちが認知(選択)しているのは、「世に送り出され、ヒットしたり話題になったりしている漫画」だけだからです。
| データの範囲 | 結果 |
|---|---|
| 全体(すべての持ち込み・アマチュア作品) | 本来、画力が高い人は表現力もあるため、ストーリー構成力とも「緩やかな正の相関」があるか、無相関であるはず |
| 切断後(人気作品のみ) | ヒットするためには「画力+ストーリーの合計点が一定基準(しきい値)以上」である必要がある。「絵も話も凡庸な作品」はそもそも出版されず目に入らない(データから切断される) |
結果として、私たちの目に入るのは「絵が天才×話は普通」「絵は普通×話が天才」「両方プロレベル」の作品だけになります。この生存者たちのデータだけで相関を見ると、右下がりの負の相関(トレードオフ関係)があるように見えてしまうのです。
数学的なメカニズム
本来、データ全体には綺麗な右上がりの相関があるとします。
しかし、ある基準 \(x > k\) や \(x + y > C\) などの条件でデータを「切断」して、その中身だけで相関(相関係数 \(r\))を計算し直すと、分散(データのばらつき)が小さくなり、相関係数は本来の値よりも必ず 0 に近づく(あるいは反転する) という性質があります。
データ分析の現場で重要な視点
「想定と違う相関(または無相関)が出た」ときは、「今手元にあるデータは、何らかの条件でフィルタリングされた(切断された)後のデータではないか?」と疑う視点が非常に重要です。
統計検定2級 試験での扱われ方
1. 散布図の読み取り問題(正誤判定)
最もよくある出題パターンが、「データの一部を切り出すと、相関係数はどう変化するか?」を日本語の選択肢から選ばせる問題です。
試験での出題例:
「全体のデータでは強い正の相関があったが、特定の範囲(例えば上位20%など)だけにデータを限定して相関係数を計算し直すと、相関係数の絶対値は小さくなる傾向がある。これは正しいか、誤りか」
対策: 「範囲を狭めるとばらつき(分散)が小さくなり、相関係数が0に近づく」という性質を覚えておけば、一発で「正しい」と判定できます。
2.「見せかけの相関(疑似相関)」との区別
統計検定2級では、データの解釈を歪める罠について複数の概念を正しく区別できているかが問われます。
| 概念 | 説明 | 例 |
|---|---|---|
| 疑似相関(Spurious Correlation) | 第3の要因(交絡因子)のせいで、本来関係ない2つに相関があるように見える | アイスの売上と水難事故の件数(共通の原因は「気温」) |
| 切断効果 | データの「選択基準」のせいで、本来あるはずの相関が消えたり反転したりする | SPIと入社後評価、漫画の画力とストーリー構成力 |