心理学研究は信頼できるか？――再現可能性をめぐって(4)
心理学研究は信頼できるのか？ 再現可能性の問題を考察する連載の第4回（最終回）は、2015年に公表され、メディア等でも話題となったScience誌に掲載された再現性に関する論文、さらに日本における著者らによるプロジェクトの詳細について伺いました。（編集部）
→連載第1回はこちら
→連載第2回はこちら
→連載第3回はこちら
→この連載をPDFや冊子で読みたいかたはこちら
Science誌掲載論文の内容とは
――Science誌にセンセーショナルな結果が掲載されたようですが、どのような内容だったのでしょうか。
三浦：
三浦麻子（みうら・あさこ）：関西学院大学文学部教授。主要著作・論文に 「オンライン調査モニタのSatisficeに関する実験的研究」（『社会心理学研究』31(1), 1-12, 2015，共著），「東日本大震災時のネガティブ感情反応表出――大規模データによる検討」（『心理学研究』86(2), 102-111, 2015，共著）。→webサイト →Twitter（@asarin）
この連載が始まるきっかけとなった、第1回冒頭で紹介された論文のことですね。これまでの記事をお読みいただければおわかりの通り、われわれは数年前からこうした動きを知り、自ら追試に取り組んでいたわけですから、「センセーショナル」とは思いませんでした。しかし、その内容を世界的に著名な2大科学雑誌Nature誌とScience誌が速報し、論文を掲載したこと、そしてそれらを比較的詳しく紹介する日本語記事がオンライン・ニュースメディアで配信されたこと（1）で、普段は「学問としての心理学」にそれほど関心をもたない人々も含めた世間の耳目を集めました。自分や他者の心の動きに関心をもつ人々、特に科学の無謬性、つまり「科学的研究には絶対に間違いなどないはずだ」という素朴な信念をもつ人々にとっては、「心理学ってなんていい加減なんだ」と思わせるに十分なニュースだったかもしれません。
ここではその内容のうち、日本語による報道にはない、あるいは正確さに欠ける部分を補足する形でかいつまんでご紹介します。Open Science Collaboration（OSC）（2）とは、志を同じくする研究者なら誰でも参加できるオープンな共同研究グループで、「集合知」を目指す研究チームだと言えばわかりやすいでしょうか。この論文で追試対象となった研究は、Psychological Science（PSCI）誌、Journal of Personality and Social Psychology（JPSP）誌、Journal of Experimental Psychology: Learning, Memory, and Cognition（JEP: LMC）誌の3誌（3）で2008年以降に刊行された論文のうち、事前に決められた一定の基準に該当する100本でした。これら3誌はそれぞれ心理学全般、社会心理学、認知心理学のトップ・ジャーナルです。
記事には「再現性が確認できた研究は「100件中の39件」「全体の39％」だった」といった表現が見られますが、これは、追試を実施した研究者たちの主観的評価、つまり「オリジナルの結果が再現されましたか？」という質問に「はい」と答えた比率が39％だった点を取り上げたものと思われます。より客観的なデータを見ると、オリジナルの論文のうち97％は統計的に有意な効果が得られていた（つまり3％はnull effect〔効果なし〕研究だった）のですが、追試では36％、追試の効果量の95%信頼区間に元論文の効果量が含まれていた（つまり「ほぼ」も含めて再現されたと考えてもよさそうな）研究は47％でした。また、オリジナルと追試をあわせると、もともと示されていた効果の有意性が保たれたのは68％でした。
図は、効果量の散布図です。横軸がオリジナル、縦軸が追試の効果量で、青丸が追試で「有意」、赤丸が同じく「有意ではない」結果だったことを、縦軸でマイナスの部分（点線より下）にプロットされている点は、追試ではオリジナルとは逆の効果が得られたことを意味しています。また斜線は縦横が同じ数値のラインなので、これより下の点が多いことは、オリジナルより追試の効果量が小さかった研究が多いことを示しています。また、グラフ上で右へ行くほど赤丸が減り、青丸が増えていることから、オリジナルの効果量が大きいと結果の再現性も高まる傾向が見て取れます。さらに、追試を実施した研究者たちには、オリジナルの知見の重要性や意外性、追試実施の困難さや質、オリジナルと追試両方の研究者の技量や経験について評価を求めましたが、こうした要因は再現性にほとんど影響しないことも示されました。
論文は、「科学の究極の目標は真実である。われわれはエビデンスを蓄積することによって、科学コミュニティにおける方法論に自己修正を施し、これの追究のために努力しなければならない」、と結ばれています。確かにやや心細い再現性だという感は否めませんが、特段に「センセーショナル」な結果でもないと思います。方法論の脆弱性を認めつつ、そのブラッシュアップを常に心がけることこそが、科学者に求められる科学的行為なのです。
図 オリジナルと追試の効果量の比較（4）
