心理学研究は信頼できるか？――再現可能性をめぐって(2)
心理学研究は信頼できるのか？ 再現可能性の問題を考察する連載の第2回は，「未来予知」に関するBem論文について詳しく伺いました。（編集部）
Bem論文の掲載
――2010年前後から、心理学研究の信頼性を揺るがすさまざまな出来事が続けて起きていたわけですね。特に2010年のBem論文のインパクトが大きかったようですが、Journal of Personality and Social Psychology（JPSP）誌はなぜこの論文を掲載したのでしょうか。
池田：
池田功毅（いけだ・こうき）：中京大学心理学研究科・日本学術振興会特別研究員PD。主要著作・論文にShape and spatial working memory capacities are mostly independent（Frontiers in Psychology, 6, 581, 2015，共著），Fearful faces grab attention in the absence of late affective cortical responses（Psychophysiology, 50(1), 60-69, 2013，共著。→webサイト →Twitter: English（@kokiikeda） →Twitter: 日本語（@kokiikedaJP）
JPSPの査読が特に他のジャーナルと比べて厳しいわけではないですが、近年特にこのジャーナルで顕著だったのは、複数の（時には10近くの）研究を並べ、そのすべてで同じ方向性の結果が出ていることを示して、知見の頑健性を喧伝する、という流れでした。そしてBem論文（1）はまさにこの流れに則って持論を展開しました。9つにも及ぶ実験を報告し、そのうち8つが予測通りの（すなわち未来予知が存在するという）証拠を提出することで、JPSPの編集者・査読者が「方法論上で」反論できない形式の論文としたのです。
当然のことながら、JPSPの編集者たちも、この結論を素直に受け入れたわけではありません。彼らもまた、この論文の知見が通常の因果性に対する一般的信念に反しており、受け入れがたいものであることは十分に承知の上で、それでもなお、他の投稿論文と同様、正規の査読システムによって審査するべきだと考えて、出版に至ったと告白しています（2）。
編集者たち自身からの明確な反論はありませんでしたが、Bem論文が掲載された号に、心理統計学者であるE.-J. Wagenmakersらの反対論文を同時に掲載した（3）ことからも、彼らの意図が、Bem論文を通じて、統計を含む心理学研究方法と査読システムの改革を促すことにあったのは明白でしょう。
正直に言えば、私はこのニュースを聞いたとき、編集者たちの正気を疑ったのですが、今振り返れば、彼ら、Charles M. JuddとBertram Gawronskiの判断がなければ、それに続く心理学の方法論革命も起きえなかったのであり、その意味で彼らの貢献は（彼らの当初の意図がどうだったにせよ）大きいと言えるでしょう。
――「未来予知」現象を示す結果が繰り返し得られたため方法論上は反論できず、掲載しないわけにはいかなかったわけですね。だとすると、「未来予知」現象が実際にある、ということになるのでしょうか？
上で述べた、同一方向の知見を複数並べるという手法は、一見すると確かに証拠の頑健さを示すのに最適の方法であるように思えるのですが、実際はまったく逆の事実、すなわちその証拠の信用できなさを示している場合が多いのです。というのも、心理学の多くの研究は、低い統計的検定力しか持ち合わせていないからです（例えば次の論文（4）を参照）。統計的検定力とは、仮に予測された効果が実際に存在する場合に、その効果を検出できる確率のことです。通常80%ほどに高めることが望ましいとされますが、心理学の場合、20～40%程度しかない場合が多いとされます。
すなわち検定力が低ければ、実際に当該の効果が存在している場合でも、それを検出することがなかなかできないはずだから、報告の数が増せば増すほど、その中に有意ではない報告が含まれる可能性が高くなってしかるべきです。にもかかわらず、次々に予測通りの報告が積み重ねられていくのであれば、それはありえないほどに美しい――“too good to be true”――結果だと言われても仕方がない（詳しくは次の論文（5）を参照）。言い換えれば、そうした論文では、何らかの疑わしい方法によって統計的有意差を導き出している可能性、すなわちp hackingが行われている可能性が高くなるのです。
