「再現性の危機」とは？

再現性の危機（replication crisis）とは、公表された研究のかなりの部分が、別の研究者がもう一度やっても同じ結果を出さないという発見だ。その二度目が再現で、同じ方法、新しい参加者、別のチームで行う。どんな研究も一回なら偶然の当たりに落ちうるので、一回は決して証明にならない。偶然の当たりがどれだけ活字になるかは、その分野の仕組みで決まる。小さなサンプルサイズ、データを見てから選ぶ解析、そして意外な陽性結果は載せるが退屈な「差なし」は載せない学術誌。これらはどれも、偶然だけの場合より多くを通してしまう。2015年、心理学者のチームが自分の分野の公表済み研究100件をやり直した。元の研究は100件中97件が統計的に有意だった。やり直しで有意だったのは36件で、見つかった効果の大きさはおよそ半分だった。やり直しの失敗は、最初の結果が偽だったことを示すのではない。一回の研究が弱い証拠だったことを示す。だから「研究で判明」という見出しに聞くべきは、誰かが二度見つけたかどうかだ。

再現性の危機とは、研究者が公表済みの研究をまとめてやり直し始めたときに判明した、多くが持ちこたえないという事実だ。再現とは独立した二度目の実施で、別のチームが元の方法を新しい参加者でたどり、結果が戻ってくるかを見る。これは何十年もまれだった。学術誌は繰り返しより新しい発見を求め、キャリアは発見の上に築かれたので、研究が頼りにしているはずの点検がめったに行われなかった。どんな研究も一回なら偶然の当たりを引きうるので、一回は決して証明にならない。偶然の当たりがどれだけ活字になるかは三つの習慣で決まる。サンプルサイズが小さいと偶然で揺れるので、小さな研究はより多く間違える。データを見てから解析の仕方を決めれば、運が方法を選ぶ。これがpハッキングだ。そして学術誌は意外な陽性結果を載せ、何も見つからなかった研究は未発表のまま残る。これが出版バイアスだ。2011年、270人の研究者グループがこの種の点検としては最大のものに着手した。2008年に三つの心理学誌に載った研究100件をやり直し、2014年に終え、2015年に報告した。元の研究は97件が統計的に有意だった。やり直しでは36件で、測られた効果はもとのおよそ半分だった。どの結果が持ちこたえるかを予測したのは、やり直しを誰がやったかではなく、最初の結果の強さで、いちばん意外な発見ほど持ちこたえなかった。著者らは注意も添えた。やり直しの失敗は元の研究が偽陽性だったことを意味しない。二回目は偶然で失敗することも、方法の細部が効くこともあるからだ。意味するのは、一つの研究が弱い証拠だということだ。それ以来の対策は、データを集める前に解析を書き留める（事前登録）、参加者を増やす、結果が出る前に設計で研究を学術誌に受理させる、データを共有する、の四つだ。読み手にとって、どんな発見の試金石も、別の誰かがもう一度それを得たかどうかだ。

再現性の危機とは、ある分野が公表済みの研究をやり直したら多くが同じ結果にならなかったという発見のことで、ボウリング初日の夜が、一回の結果が実力の目安にならない理由を見せてくれる。初めてボウリングをした人が180点を出し、仲間はその話ばかりする。その後の10週間、平均は110点だった。180は本物だ。ピンは倒れた。しかしそれは一ゲームでもあり、一ゲームには実力と運が混ざるので、その人がどれだけ上手いかの手がかりとしては貧しかった。繰り返しだけがそれを示した。初回のゲームだけ記録して繰り返しを記録しないリーグがあれば、帳簿は180点で埋まり、会員は実際よりずっと上手に見える。最初の結果を公表し、めったにやり直さない分野は、その帳簿を持っている。低い繰り返しは180を嘘にしないし、再現の失敗は最初の研究を偽にしない。たとえはここで終わる。ボウラーはレーン代でやり直せるが、実験には何年もかかりうる。やり直された研究が少なかったのはそのためだ。