978-4-908736-35-3_cover

心理学を遊撃する

再現性問題は恥だが役に立つ

山田祐樹 著

発行日: 2024年1月10日

体裁: A5判並製240頁

ISBN: 978-4-908736-35-3

定価: 2600円+税

ネット書店で予約・購入する

電子書籍あり

内容紹介

研究が再現されない,だと!?

心理学の屋台骨を揺るがす再現性問題が勃発。どのような課題があるのか? 攻略する糸口とは? 心理学はこれからどうなるのか? チャンスをうかがい試行錯誤しながら,さまざまな課題にアプローチしていく1人の研究者の冒険活劇ドキュメンタリー

目次

第1章 心理学の楽屋話をしよう

第2章 再現性問題を攻略する

第3章 研究のチートとパッチ――QRPsと事前登録

第4章 研究リアルシャドー――追試研究

第5章 多人数で研究対象を制圧する――マルチラボ研究

第6章 論文をアップデートせよ

第7章 評価という名の病魔

第8章 心理学の再建可能性

著者

山田祐樹(やまだ ゆうき)

2008年,九州大学大学院人間環境学府博士後期課程修了,博士(心理学)

現在,九州大学基幹教育院准教授

主要著作:『認知心理学者が教える最適の学習法―ビジュアルガイドブック』(日本語版監修,東京書籍,2022年),『日常と非日常からみる こころと脳の科学』(共編著,コロナ社,2017年),Publish but perish regardless in Japan(Nature Human Behaviour, 3, Article 1035,2019年),How to crack pre-registration: Toward transparent and open science(Frontiers in Psychology, 9, Article 1831,2018年),Pattern randomness aftereffect(共著,Scientific Reports, 3, Article 2906,2013年)など。

はじめに

突然だが,私は高潔な人間ではない。本書のおもなテーマは学術研究の再現性や信頼性といったものであるが,そんな本を書くくらいなのだから,私という人間は自他に厳しく,正義感と理想に燃える潔癖で厳格な人物であるのではないかと誤解されることがあるようだ。だが,私の親しくしている人々がもしそれを聞いたなら,失笑を禁じえないだろう。かれらは私がいかに凡俗で意志薄弱で浮ついていて,高潔などとは対極に位置しているかをよく知っている。ただ私にとってそのことは,研究におけるたくさんの負の側面をリアルに感じ取ることができ,研究の闇の部分に携わってしまう人々に共感できるという点でメリットである。なぜなら,それこそが私の研究対象だからだ。

この本の構成について,ちとせプレスさんから最初の企画案としてご提案いただいたのは「再現性の危機を乗り越えた先にある心理学の未来とは」といった内容であった。これは個人的にものすごく興味があったことだし,もしもそれが私以外の誰かの手によって出版されていたなら私は確実に予約購入したであろう。こんな魅力的なテーマを考えられるなんてちとせプレスさんはさすがだなあと思ったものである。しかし私を含めた再現性の話題について発信したり出版したりする人々は,どうもそれを「正義」の立場で行っていると誤解されがちである(実際そういう人もいるのかもしれないが)。何か議論を起こすたびに,それはたいてい現状に何らかの問題,つまり悪,が潜んでいることを暴こうとするものであり,おそらく私たちが研究治安のようなものを実力で確保しようとしていると捉えられてしまい,翻って揶揄的に「再現性警察」という言葉で表現されたりする。少なくとも私の場合これは完全に誤解なので,かくも世の中は難しいものだなあと感じる。

そもそも私は他人の研究活動を抑え付けたり心理学がダメだと言って毀損したりしたいわけではなく,研究対象としての再現性問題に強い関心をもっている(三浦他,2019)。どのようにしてこの問題が生まれ,どのようにして解決されうるのかについて,学術的な議論や検討をしていきたいのである。したがって,私が行う再現性にまつわる発信は,ただの研究発表なのである。普通,研究成果を論文として公表した際には,「さすが!」とか「面白い!」とかほめてもらえることが多い。SNSではそういった場面を本当によく目の当たりにするものだが,じつにほほえましい。そうやってみんなが互いに承認し合い,研究が盛り上がっていくさまは何より希望に満ち溢れた幸せな光景だし,当該トピックの研究進展にも勢い(momentum)を与えるからプラスである。一方で,再現性関連の研究成果や情報を公表した際には,「う,うわ,来たー」と怖がられたり疎まれたり,スススっと距離をとられたり黙殺されたりしてしまう。場合によっては怒られることもある。別にほめられたくてやっているわけではないものの,往々にしてこんな感じなので,つねに自分のモチベーションの管理には四苦八苦しなければならない。そんな状況でもこの活動を続けていられるのは,純粋に再現性問題のことを考え,整理し,新しいアイデアを出し,論文で他の研究者と議論を深めるという,つまりは普通に学術研究することに興味があるからであって(くわしくは第2章にて),そうでなければ他人に煙たがられるだけの活動などとっくに厭気が差してやめているはずだ。だがそうはいうものの,私が現在のように一定レベルで概念化された「再現性問題」というものにはじめて接した際に,「これはまずい。心理学をなんとかしなければ!」という青い気持ちを少しも抱かなかったかといえばそれも噓になる。私にも,この大好きな心理学が置かれた現状に対して,看過することはできないという熱い思いはたしかにあったのだ。だがそれに勝って再現性問題自体を興味深く感じていることは事実だし,一方で歓迎されていない雰囲気をビシビシ感じるのも事実であり,初期のピュアっピュアな気持ちはもうどこかに行ってしまっている。こうした背景があって,ちとせプレスさんにはテーマの微妙な変更をお願いさせていただいた。ニュアンス程度の違いかもしれないが,心理学という大きなものの趨勢についての議論や制度改革への主張といった事柄についてはトーンを落とし,あくまで私個人のやっていることを紹介していく形とすることを提案した。現在のまとめ方でよかったのかどうか自信はないが,自分の心情に一番合致しているのは少なくともいまの形での本書である。

また本書では,私が経験したこの激変の時代の空気感をできるだけ書き残しておきたいという理由から,高度に個人的な話や日常の話もちょくちょく挟んでいきたい。あくまで私の経験したことなので,誤解や主観的な印象の誇張やちょっとした記憶のエラーが入り込んでいる部分もあるかもしれないが,ある程度はお見逃しいただけると嬉しい。その手の話が出てきたら,もっぱら再現性関係の知識だけをお求めの方はガンガン読み飛ばしてもらってかまわないけれども,できれば心の中で「まーた始まったよコイツ」と思いながらしばしの小噺におつき合い願いたいものである。

というわけで早速だが1つ。私がよく尋ねられることに「何で再現性の話なんかに興味をもったの?」というものがある。なんとなく「何でお前はひたむきに心理学だけやらないの?」と言われているような気がしてしまうことも多いが,まあこれは私の邪推であると信じたいところだ。近頃はこういうとき,仮面をつけて,上辺だけでも気にしないふりを演じるのが上手になってしまった。悲しい成長である。

私の中での契機となったのは,まだ私が右も左もわからなかった頃,2008年に登場した,Edward Vulさんの“Voodoo correlations in social neuroscience”というタイトルの論文だった。正式にはまだプレプリントの段階であったもののすでに世界中に広く出まわっており,私も同僚や先輩の誰かに論文PDFへのリンクを教えてもらったように思う。このプレプリントは,社会神経科学の分野における多くの論文でr=.96などの異常に高い相関係数が報告されている謎の傾向をユーモラスなタイトルで(本人談; Scientific American, 2009)問題提起したものであった。ちなみにこのタイトルはやっぱりvoodooの部分とかがマズかったみたいで,その後に誌面掲載された際には跡形もないほど大幅に変更されていた(Vul et al., 2009)。同時期に出たNikolaus Kriegeskorteさんの同様の話とあわせて考えると(Kriegeskorte et al., 2009),データの二度漬け,チェリーピッキング,多重比較の問題などが複合的に引き起こしているようである。いろいろと意味のわからない言葉が並んでいるかもしれないが,それらの一部は第3章や第6章にて解説している。

この論文はまさに衝撃だった。私が著名な学術専門誌に載っている研究に本格的な疑念を抱くことを覚えたはじめてのときだった。当時の私はポスドック1年目であったが,まだまだ初心な清純派で売っていた頃であり,恥ずかしながら方法論の問題点をまったくといっていいほど理解も意識もしていなかった。研究を見る際に注目していたのはトピックや発見の新規性,方法の鮮やかさ,結果の美しさばかりであって,それが信用できるかという点については無頓着だった。むしろ世に出てくる研究結果というものは「とにかく受け入れるしかない」と何かに思わされ,その信用度からは目を背けさせられている感があった。学位をとった後なのになんという不勉強さとナイーブさだとお叱りを受けても仕方がない有様だが,適切に学ぶ機会がなかったら,そんな人もザラにいるのではないだろうか。少なくとも当時,私の周囲でこの種のメタ心理学的な話が話題になることはほとんどなかったし,Voodoo論文も一過性の雑談ネタにしかならなかった。

ただ,そうはいっても私が専門としていたのは知覚心理学や認知心理学であり,社会神経科学での問題に対しては,どうしても対岸の火事として捉えていたところがあったと思う。そんな私が本気でびっくりしたのが,超能力を認知実験で実証したという2011年のDaryl Bemさんの論文であった(Bem, 2011)。これを読んだときは驚きのあまり思わず「えぇー?」と二代目マスオさん的な声が出ていた。この論文についても誰かからプレプリントのリンクを教えてもらったように思う。当時はこういう話題のPDFへのリンクがメールでよくまわっていたものである。さて,Bem論文には感情プライミングや感情馴化といった認知心理学でもおなじみの実験が多数含まれていたが,すぐに多くの批判がその実験方法や分析方法などに対してもち上がった。そしてそれらはBem論文だけが特殊事例ではないことを示唆し,認知心理学に内在する研究実践上の問題点を浮き彫りにするのに十分であった。

その後の経緯は第2章にて紹介するが,このあたりで私は完全に仕上がった。そして同時に,自分自身がいったいどういう心理学研究をすればよいのか(しても大丈夫なのか)悩み始めることにもなった。その後もこの悩みはまだまだ全然解消しそうにない。私が再現性問題に関心をもっている理由の1つは,この悩みをなんとかしたいからなのかもしれない。

このように,本書は現時点での私的な視点からの再現性問題のまとめである。各章では私が関わってきたさまざまなテーマを扱っている。それぞれに個別の背景や経緯は存在するものの,事前に大きな計画を立てて系統的に行っているものではなく,行き当たりばったりなものも多い。私はこれを強引に美化して「遊撃的」研究と呼んでいるが,正統派っぽい研究ができない自分へのエクスキュースな部分もある(とはいえ一応,毛沢東の『遊撃戦論』も参考にしている)。当初はこういう「芯のない自分」という情けない姿に悩み,絶望し,ポスドックという大事な時期に,論文を文字どおり「1文字も書けない」時期が1年間も続いたりしたが,最近になってやっと吹っ切れて,こんな研究スタイルもそれはそれで楽しいもんだと思えるようになってきた。何より自由に動ける身軽さがいい。それに次々といろいろなヤバい問題に出会うのはスリリングだし,Jean de la Fontaineが言うように結局はまたもとの1つの大きな問題に帰ってくることになるような運命めいたものも感じる。この不思議な楽しさが少しでもみなさんに伝わればいいなと思いつつ,そろそろ本題に入っていこう。

関連記事

サイナビ!に書評「この研究者を読め!」が掲載されました。評者は平石界氏(慶應義塾大学文学部教授)です。