心理学研究は信頼できるか？――再現可能性をめぐって(2)
Bem論文の追試
――予想通りの報告しか出てこないのは、むしろ「ありえない」と。では、Bem論文はその後、追試されたのでしょうか？
平石：
平石界（ひらいし・かい）：慶應義塾大学文学部准教授。主要著作・論文にHeritability of decisions and outcomes of public goods games.（Frontiers in Psychology, 6, 373, 2015，共著），「進化心理学――理論と実証研究の紹介」（『認知科学』7(4), 341-356，2000年）。→webサイト →Twitter（@kaihiraishi）
Bem論文については、Journal of Personality and Social Psychology（JPSP）誌に掲載される前から「どうやらJPSPに載るらしい」という話が広まっており、騒ぎが始まっていました。JPSPという雑誌は、社会心理学、パーソナリティ心理学におけるトップ・ジャーナルですから、そこが超能力論文を載せることは大変なことなわけです（このあたりは、すでに書きました）。
そのBem論文の追試ですが、特に有名になったものとしてはPLoS ONE誌に掲載されたStuart J. Ritchieらの論文を挙げることができるでしょう。なぜこの論文が有名になったかというと、Bem論文のシステマティックなdirect replication（直接的追試）を行ったこと、その結果が（多くの心理学者にとっては予想通り、超能力支持者にとっては予想に反して）ことごとく「超能力が存在する証拠は得られなかった」という否定的（ネガティブ）な結果であったこと、そして投稿した追試論文がJPSPによって門前払いされたこと、の3点によると考えられます。
まずシステマティックなdirect replicationについて説明しましょう。池田さんがすでにBem論文の奇妙さ（予想通りの結果ばかりが並ぶ論文）について指摘してくれていますが、Bem論文が出た当時は、これが妙なことであるという共通理解は、少なくとも私の周りではありませんでした。私もまったくそのことに気づいていませんでした。Bem論文を契機として、今や「常識」となりつつある、従来の心理学研究の手法の危うさが次々と明確にされていったのです。その意味ではBem論文の追試は、私にとって「追試」の意味について目を開かせてくれたものでした。
この追試研究の特徴は、まず第1にBemの研究をできる限り正確に、そのまま追試したことです。実験に用いたプログラムも、Bem本人から提供されたものを利用しています。それまで、特に社会心理学では、追試というとconceptual replication（概念的追試）というものの説得力がむしろ強調されていました。これはある実験で示された結果を、概念的には同じことをやっていると考えられる別の実験で追認するという形です。よい喩えかわかりませんが、例えば「マクドナルドのロゴを見せるとダイエットが気になる」という実験結果について、「ロッテリアのロゴを見せるとお菓子を食べなくなる」という実験で追試するといった塩梅です。しかし概念的追試の場合には、結果が再現されなかったときに「それはマックじゃなくてロッテリアだったからだよ」とか「ダイエットは気になっていたけど、お菓子には反応しなかったのだよ。だって使ったお菓子があまりにおいしそうで、そんなの我慢できるはずがない」とか、いくらでも言い訳ができてしまうという問題があります。そこで追試研究の著者らは、まったく同じことをやって、結果が再現されるかを示したのです。
この直接的追試とセットで大きな意味をもっていたのがpre-registration（事前登録）です。すなわち著者らは「我々は追試をやるよ！」ということを事前に明らかにしておいて、結果がポジティブであろうとネガティブであろうと発表すると宣言したのです。このようにしておかないと、直接的追試をしても、超能力支持者はポジティブなときだけ報告するし、反対者はネガティブなときだけ報告するということをしてしまいます。自分に縛りをかけることでそれを避けるのが、この方法なわけです。加えて著者らは3つの研究室で独立に追試を行っています。このことで「失敗／成功といっても1箇所だけでしょ」という批判にも対抗できるように準備をしたわけです。
これらの手続きそれぞれが、言われてみればまったくその通りとうなずけるものだったのですが、自分ではそこまで考えが至っていなかったものであり、「なるほどなぁ」と感銘を受けたことを覚えています。
2点目です。実験結果がネガティブであったということです。池田さんが書かれているようにBemは9つの実験をJPSP論文で報告しています。その中で最も効果量が大きく、Bem本人も再現可能性が高いとお墨つきを与えていたのが実験9です。この実験では、まず参加者に48個の単語からなるリストを一度ざっと見せます。それから、出てきた単語を思い出して書き出してもらいます（心理学用語で言うと、記憶の再生実験です）。それからコンピュータが48のうち24個の単語を選び出し、これらを何度もタイプしてもらうといった訓練を受けます。すると、後で訓練することになる単語ほど、（訓練の前に）思い出すことができた、よく覚えていたという結果なのです。つまり未来に勉強することになることは、勉強する前からすでによく記憶できるという結果です。書いているとバカバカしくなってくるような内容ではあるのですが、Bem論文では統計的に有意に差が出ています。しかし再現論文では、独立に実験した3つの研究室とも、ネガティブな結果でした。
3つ目です。こうしてさまざまな準備をして追試実験を行い結果を得た著者らは、それをJPSPに投稿します。実際、Bem本人がJPSP論文の中で追試の重要性を強調していたのですから、最初の投稿先としてJPSPを選んだのは合理的な選択であったといえるでしょう（なおBemは、実際に追試のためにプログラムの提供も行うなど、追試について積極的にサポートをしています）。しかしJPSPはこの投稿をreject（掲載拒否）します。しかもそれは、論文の内容について査読者が判断した結果というのではなかったのです。論文を受け取った編集者が、JPSPは追試研究は掲載しない方針であるということで、査読者の判断を仰ぐ前の段階で、rejectしたのです。
論文はその後、複数の雑誌に送られますが（Science Brevia誌、Psychological Science誌、British Journal of Psychology〔BJP〕誌）、いずれでも掲載拒否の憂き目を見ます。最後のBJPについては、査読に回ったものの2人の査読者のうち1名が難色を示し、結果はreject。しかしこの難色を示した査読者というのがBem本人であったそうです。これらの顛末については、著者の1人であるChris Frenchのブログ記事（6）に詳しいです。また、こうした掲載までの右往左往は、New Scientist誌でも記事（7）となりました。
最終的には、この論文はPLoS ONE誌というオープン・アクセス誌に掲載されることになりました（8）。実は同時期にPLoS ONE誌には、再現可能性問題を巡るもう1人の重要人物、John Barghの老人プライミング追試実験も掲載されていました。インターネットの力を使い、巨大出版社など“伝統的”な権威から科学を解放しようとするオープン・アクセス誌の、面目躍如たる雰囲気があったことを覚えています。
