心理学研究は信頼できるか？――再現可能性をめぐって(2)

Posted by Chitose Press | On 2015年11月02日 | In サイナビ！, 連載

それではなぜJPSPを始めとする“伝統的な”ジャーナルは、追試論文の掲載を断ったのでしょうか。そこには人目を引く「目新しさ」「面白さ」に偏った研究の価値判断があったのではないかと考えられます。これは自分でも経験があることなのですが、自他の研究を評価するときに、「何が新しいの？」という基準で判断することが、非常に多くあります。誰かがやったことを繰り返した”だけ”では評価されず、そこに、その研究者なりの新しさ、オリジナリティが加えられていることを強く求めるのです。少なくとも心理学では、その傾向はかなり強固にあるという印象があります。

卑近な例を挙げますと、実は私の卒業論文は、Cosmides & Tooby（1992）^（9）の4枚カード問題研究という、進化心理学における古典ともいう論文の追試でした。今にして思えば、これはかなりちゃんとした直接的追試であったと思います。それではなぜ追試をしたのかというと、当時から再現可能性問題に気づいている意識の高い学生であったから、ではまったくなく、指導教員であった長谷川壽一先生からのアドバイスでした。そもそも進化心理学をやっていこうと決心したきっかけがこの論文でしたし、私は素直な学生でしたから、指導に従って追試を行いました。しかし心の中には、自分のオリジナルのアイディアに基づいて研究をしている同級生や先輩への引け目が強くありました。周囲の方々は追試をすることをけっこう高く評価してくださっていたのですが、追試しただけでは論文にはならないという空気も感じていて、卒論がそのまま業績にならないことに対して焦りを感じたことも覚えています。うぶな学部生であっても、目新しくて面白い内容でないと雑誌に掲載されないという出版バイアス（publication bias）に気がつくほどに、心理学界隈における新しさへの要求は強い、少なくとも強かったといえるでしょう。

ついでに少し逸話的な話をさせてもらいますと、私が入る少し前から、長谷川研ではクジャクのオスの尾羽の研究をしていました。これも追試研究です。クジャクの尾羽根がなぜあんなにも派手で長いのかという問題は、かのダーウィンをも悩ませた問題でしたが、Marion Petrieらが、尾羽根についている目玉模様の数が多いオスほどメスにモテる（交尾に至る確率が高い）という鮮やかな研究を発表していたのです ^（10）。ところが長谷川研でこの研究を追試しても、まったくそのような傾向が出ませんでした。

この追試研究もまた、なかなか論文として掲載されませんでした。その原因の1つには、目新しさの問題だけでなく、ネガティブ・データは論文になりにくい、という問題もありました。ネガティブ・データというのはつまり「◯◯の関係はなかった」と主張するものです。しかし、何かが存在しないことを証明することは「悪魔の証明」とも呼ばれ、不可能なのです。例えば「白いカラスはいない」と証明するためには、古今東西過去現在未来のすべてのカラスの色を調べないといけないわけです。「目玉模様と交尾成功に関係が“ある”」というPetrieらの論文は2年間のクジャクの調査データから書かれたものでしたが、「そうした関係は“ない”」という追試研究が論文として認められるまでには、結局、10年以上の調査データの積み上げが必要となりました ^（11）。

話がずいぶん脇にそれましたが、Bemの追試研究に戻りましょう。一度は追試研究の掲載を拒否したJPSPですが、実は、後になって別の研究グループによるBem論文の追試論文を掲載しています ^（12）。こちらはBem論文の実験8と実験9の追試を、あわせて7つ行い、そのほとんどでネガティブな結果を報告しています（実験8も基本的には実験9と同じ手続きのものです）。さらに彼らはBem論文の実験8および実験9についての、Bem本人のもの（2つ）、彼らによるもの（7つ）、他の研究者による出版済／未出版のもの（10）、あわせて19実験の結果をあわせた全体としての傾向を見る分析（メタアナリシス）を行い、そこでも結果はネガティブであったことを報告しています。

なぜJPSPがRitchieらの掲載を拒否し、Galakらの掲載は許可したのかは、わかりません。ただ、この点については時系列を見ると面白いことになっています。

・New Scientist誌のJPSP拒否記事………2011年5月5日
・RitchieらのPLoS ONEへの投稿…………2011年12月16日
・GalakらのJPSP投稿………………………2012年2月8日
・RitchieらのPLoS ONE論文：掲載決定…2012年2月13日
・RitchieらのPLoS ONE論文：出版………2012年3月14日
・Frenchのぼやきブログ …………………2012年3月15日
・GalakらのJPSP修正投稿…………………2012年6月19日
・GalakらのJPSP電子出版…………………2012年8月27日

GalakらがJPSPに投稿した時期と、RitchieらがPLoS ONE誌から掲載決定を得た時期がきわめて近いのが面白いところです。PLoS ONE誌に追試研究が載るという話を聞きつけたJPSPの編集者が、Galakらの論文については査読に回すことにしたのかも？とか、穿った見方をしてしまいますね（根拠は何もありません。単なるお遊びです）。ただ、それぞれの論文のタイトルまで見ると、そうした穿った見方がさらに面白くなるのも、愉快なところです。曰く、

・“Feeling the future”（未来を感じる）　Bemのオリジナル　→超能力研究の未来を感じるよ！
・“Failing the future”（先を読み違える）　Ritchieら　→追試やったらトップ・ジャーナルに載ると思ってたけど、先を読み違えたよ……。
・“Correcting the past”（過去を修正する）　Galakら　→Bem論文を載せちまった過去を修正するよ……。

（第3回に続く）