効果量とは？

効果量とは、差や関係が実際にどれほど大きいかを測るものです。薬が血圧をどれだけ下げたか、新しい教え方が点数をどれだけ動かしたか。これは統計的有意性とは別の問いに答えます。有意性は「その差はおそらく偶然ではない」と言うだけです。結果は本物でありながら微小でもありえて、どちらを手にしているかを教えてくれる数字が効果量なのです。

効果量は発見の大きさを測ります。統計的有意性は「差はおそらく偶然ではなく本物か」を問い、効果量は「差はどれだけあるか」を、重さを量れる単位で問います。睡眠の分数、試験の点数、節約できた金額。両者はしばしば食い違い、その理由はサンプルサイズです。参加者が十分いれば、研究はどんなに小さくてもほぼあらゆる本物の差を検出できます。百万人の試験なら、睡眠アプリが睡眠を四十秒延ばすと突き止め、その結果を堅く有意と呼べてしまう。そこに嘘はありません。ただの四十秒です。だから研究者は効果量を有意性と並べ、小・中・大というおおまかなラベル付きで報告します。ただし文脈はラベルに勝ります。微小な効果も規模が付けば重要になりえます。心臓発作のリスクをわずかに削る薬は、数百万人が飲めば数千の命を救う。逆に、些末なことへの大きな効果は重要ではない。身につける価値のある読み方は、一つの質問を二度することです。その差は本物か、そして気にするほど大きいのか。前者に答えるのが有意性。後者に答えるのが効果量で、ニュースはたいてい前者しか報じません。

効果量は星の明るさで、有意性は望遠鏡がその星を捉えられるかどうかです。十分大きな望遠鏡を作れば、空で最もかすかな点でも検出できます。検出は星と同じくらい機材について語るもので、星がどれほど明るいかは何も語りません。「研究で効果が見つかった」の罠がそこにあります。参加者百万人の研究は巨大な望遠鏡で、そこに点が見えたことは、点が存在する証明にしかならない。行動する前に欲しいのはもう一つの数字です。「望遠鏡に見えたか」ではなく「実際どれほど明るいのか」。前者が有意性。後者が効果量です。