心理学研究は信頼できるか?――再現可能性をめぐって(3)
Posted by Chitose Press | On 2015年11月09日 | In サイナビ!, 連載再現可能性の検証を促進するためには
次に、再現可能性の検証を促進するにはどうすればよいでしょうか。まずは、直接的追試やデータの再分析がしやすい環境を整える必要があります。
第1に、実験手続きが詳細に論文内で紹介される必要があります。今から数十年前の研究論文では実験手続きが詳細に記されていました。1論文に実験が1つか2つしか紹介されませんでしたからそれが可能でした。現在では同じぐらいの紙幅で3つ以上の研究が紹介されます。その結果、手続きの紹介が簡略化される傾向にあります。これでは追試は困難になります。雑誌の執筆規程を改めて文字制限を緩和したり(オンライン・ジャーナルなら容易でしょう)、付加情報の参照を可能にしたりするような措置が必要です。
第2に、実験刺激や質問項目の公開、共有が必要です。Bem論文の直接的追試が複数ラボで可能になったのは、Bemが実験刺激を提供したからです。このような公開、共有は直接的追試の大前提となります。また、実験データとその分析手順も公開、共有されるとよいと思います。実験データの分析手順は本来実験手続きと密接に関連するもので、追試でも同じ手順で行われるべきものです。この第2、第3の点に関しては、Open Science Framework(OSF)が共有の場を提供しています(13)。これを積極的に利用することで直接的追試が促進されるはずです。
さらに、平石さん、樋口さんの発言にもありましたが、「ポジティブな研究」が刊行されやすい状況を変えなければなりません。現状では、目新しくオリジナリティのある仮説が美しく支持されてはじめて刊行されます。目新しさとオリジナリティは重要な価値観であり、これを求めることが学問の進展につながることは確かです。ただ、それに偏重するあまり、知見の頑健性の確認や理論の精緻化、特に制限状況の特定がおろそかになった部分があります。Bem論文の追試に対するいくつかの雑誌のreject(掲載拒否)対応はその現れです。ここのバランスを修正しなければなりません。
それには、やはり雑誌の編集方針の見直しが欠かせないでしょう。その1つとして、直接的追試研究の意義を積極的に認めることが必要です。少なくとも、たくさん引用されるような理論的に重要である知見については早々に直接的追試を行い、再現可能性を検証すべきですし、その結果を出版して共有するべきだと思います。
そのときには、再現できた結果だけではなく、ネガティブ・データもしくはnull effect(効果なし)研究の意義も認めることが必要です。特に、一定の要件を満たしたネガティブ・データは重要な意味合いをもつと思います。具体的には、明確な理論をもち、十分な統計的検定力を備えた実験デザインで実施された研究は価値があるでしょう。それによって、かつてはあると信じられていた現象が存在しない可能性が高まるのであれば論文として掲載する価値はあると思います。例えば、血液型性格診断について、きちんとした手続きで十分な統計的検定力をもって検証した結果、ネガティブ・データが得られた(例えば、縄田健悟の論文(14))、というのはいろいろな意味で意義があると思います。
先ほど、すべてのネガティブ・データに価値を見出すことは難しいと言いましたが、それでもどのようなデータであれ、公開される、もしくは利用可能になるべきだと思います。そうすることで、メタ分析の精度が上がるかもしれませんし、どれくらいの実験者トレーニングが必要かの指針が得られるかもしれません。現在、null effectを示すデータを公開できる場所として、PsychFileDrawer(15)があります。ここでの公開は研究業績となりませんが、それでも再現可能性に関する重要な研究記録を公開する場として機能しています。
ただ、直接的追試を行うときには、pre-registration(事前登録)が必要だと思います。これは、平石さんの発言にあったように、直接的追試をする前にその実施を宣言するというものです。この所作には、良い結果であれ悪い結果であれ公開するという研究者の姿勢があります。元研究に味方して良い結果だけ公表するのでもなく、元研究に敵対して悪い結果だけを公表するのでもないという公正な態度が保証されるのです。これを突き詰めるとpre-review(事前審査)になります。これは、研究結果を事後的に審査するのではなく、研究計画を事前に審査して雑誌への掲載を決定するという制度です。この場合、良い結果であれ悪い結果であれ掲載することになります。出版バイアスに対する雑誌の公正な態度が保証されます。このようなpre-reviewを制度化した雑誌も存在します(例えばComprehensive Results in Social Psychology誌(16))。
先ほど統計解析のルール変更には困難が伴うと発言したのと同じで、直接的追試研究、特にネガティブ・データの雑誌掲載、pre-review制度の採用は大幅なルール変更で、合意には困難が伴うと思います。一方で、希望ももてます。2015年6月26日、Science誌にある記事が掲載されました(17)。それは、“The Transparency and Openness Promotion Guidelines”(18)に関する記事で、研究の透明性とそれに伴う再現可能性検証の促進を狙ったガイドラインの提言でした。この提言に50の学会と526の雑誌が署名しており、中には心理学系の学会、雑誌も含まれています。すべての学会、雑誌が十全な透明性を確保できているわけではありませんが、再現可能性を含む問題に多くが関心を寄せていることは明るい将来を感じさせます。
(第4回に続く)
文献・注
(1) Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366.
(2) Perspectives on Psychological Science誌再現可能性特集号
Special section on replicability in psychological science: A crisis of confidence? Perspectives on Psychological Science, 7(6), 528-654.
(3) Fanelli, D. (2010). Do pressures to publish increase scientists’ bias?: An empirical support from US states data. PLoS ONE, 5(4), e10271.
(4) Nosek, B. A., Spies, J. R., & Motyl, M. (2012). Scientific utopia: II. Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science, 7(6), 615-631.
(5) Kerr, N. L. (1998). Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217.
(6) 平石界・池田功毅 (2015). 「心理学な心理学研究――Questionable Research Practice」『心理学ワールド』68, 5-8.
(7) Neuroskepticのブログ
Neuroskeptic 氏 :再現可能性の問題などについて積極的に発言している匿名ブロガーであるが、その正体はニューロサイエンス領域の研究者であるという噂も。なおニューロサイエンス領域では死んだ鮭のfMRIを測定し、視覚刺激に反応する脳部位を発見したという有名な論文がある。fMRIは脳の活動を測定する機器である が、もちろん死んだ鮭は視覚刺激に反応するはずがない。ちなみにこの論文ではあえて不適切な統計手法(= p hacking)が用いられており、オチとして「適切な統計手法を使おうね」という主張がなされている。
鮭論文は以下。
Bennett, C. M., Baird, A. A., Miller, M. B., & Wolford, G. L. (2009). Neural correlates of interspecies perspective taking in the post-mortem Atlantic Salmon An argument for multiple comparisons correction. NeuroImage, 47(1), S125.
(8) Neuroskeptic (2012). The nine circles of scientific hell. Perspectives on Psychological Science, 7(6), 643-644
(9) Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7-29.
(10) Vazire, S. (2015). Editorial. Social Psychological and Personality Science.
(11) Trafimow, D., & Marks, M. (2015). Editorial. Basic and Applied Social Psychology, 37(1), 1-2.
(12) 日本社会心理学会 (2014).「春の方法論セミナー あなたの実験結果、再現できますか?――false-positive psychologyの最前線」
日本社会心理学会 (2015).「第2回日本社会心理学会春の方法論セミナー GLMMが切り開く新たな統計の世界」
*後半で少しベイズ統計について触れられる。
(14) 縄田健悟 (2014).「血液型と性格の無関連性――日本と米国の大規模社会調査を用いた実証的論拠」『心理学研究』85, 148-156.
(16) Comprehensive Results in Social Psychology誌
pre-registration,pre-reviewを認める雑誌一覧(OSFによる)
(17) Nosek, B. A., et al. (2015). Promoting open research culture. Science, 348(6242), 1422-1425.
(18) Transparency and Openness Promotion (TOP) Guidelines