pハッキングとは？

pハッキングとは、同じデータを何度も、それぞれもっともらしい別々のやり方で分析し、統計的有意に見える結果が出たところで、うまくいった版だけを報告することだ。捏造は一切なく、数字はすべて本物である。ずるいのは、答えを見てから選んでいる点だ。ある研究者たちはこれを使い、実際の実験で、ビートルズの曲を聴くと1.5歳若返ると示してみせた。どんな曲にもそんなことはできない。それこそが狙いだった。

pハッキングとは、一つのデータに対して分析の版をいくつも走らせ、統計的有意性の線を越えた版を、あたかも唯一の検定だったかのように報告することだ。版の違いは、ごくありふれた判断から生まれる。外れ値を除くか残すか。共変量を入れるか入れないか。データ収集をここで打ち切るか、続けるか。どの判断も単独では筋が通る。だからこそ、この行為は見えなくなる。問題は順番だ。データが届く前に決めた分析は検定である。同じ分析でも、いくつも試した中から後で選んだものは探索であり、後からにすると偶然が方法を選ぶことになる。2011年、三人の研究者が、これがいかに簡単かを示すために大学生を対象に実際の実験を行った。一方のグループはビートルズの曲を、もう一方は中立的な曲を聴いた。正直に報告された数字は、ビートルズを聴いたグループが1.5歳若返った、p = .040 と告げていた。ありえない結果である。彼らは各学生に、自分が何歳に感じるかから父親の年齢まで、ほかにも十数項目を尋ねていた。結果が線を越えたのは、父親の年齢で調整したときだけだった。その調整を外すと p = .33 で、そこには何もなかった。対策は、見る前に分析を決め、試したことをすべて開示することだ。pハッキングは出版バイアスとは別物で、そちらは仕上がった論文のどれが読まれるかを決める。pハッキングは論文が存在する前に起きている。

人に何と言うかを決める前に、体重を五回量る。運動のあと、朝食の前、靴を脱いで、片手をタオル掛けに添えて。いちばん低い数字が勝ち、それが公式の体重になる。体重計に出た数字はどれも本物だった。嘘があるのは選び方のほうだ。五つとも見たうえで、都合のいい一つを残し、残りには触れなかったのだから。pハッキングは、まったく同じ動きを研究データの上でやることだ。正直な測定はたくさん、報告は一つ、そして探した過程は話から抜け落ちている。