心理学研究は信頼できるか？――再現可能性をめぐって(3)
また心理学・脳科学に関する有名ブロガー兼サイエンスライターであるNeuroskeptic（7）は、ダンテの『神曲』における地獄篇のパロディを用いて、心理学者による9つの問題のある研究のやり方を“地獄”として紹介しています（図参照）。詳細は論文を直接見てほしいですが（8）、ここでは簡単に9つの地獄を紹介しておきます。
第1の地獄：他の問題のあるやり方を見て見ぬふり、第2の地獄：過大に自分の研究を売り込む、第3の地獄：後づけで話を作る、第4の地獄：統計的に有意になるように手を変え品を変える、第5の地獄：外れ値を都合のいいように使う、第6の地獄：剽窃・盗作、第7の地獄：都合の悪いデータを公開しない、第8の地獄：都合の良いデータだけを選んで公開する、第9の地獄：データの捏造
図 9 circles of Scientific Hell
© Neuroskepticより許諾を得て掲載。
心理学者の中で、自分は心太ではない、そしてどの地獄にも堕ちたことがないと胸を張れる人ははたしてどれぐらいいるのだろうか。そしてどうすれば心太をはじめとした心理学者は（あるいは心理学は？）、地獄に堕ちず真実にたどりつくことができるのだろうか。
QRPsを防げるのか
――研究実践上のさまざまな問題点が指摘され、それが多くの研究者にとって他人事ではなかったわけですね。しかも背景には論文公刊をめぐる制度的・構造的な問題もあったと。ことの重大さがわかってきました。では、どうすればQRPsを防ぐことができるのでしょうか。
藤島：
藤島喜嗣（ふじしま・よしつぐ）：昭和女子大学人間社会学部准教授。主要著作・論文に「自尊感情と自己関連動機に基づく推論の歪み」（村田光二編『現代の認知心理学6 社会と感情』北大路書房，2010年
QRPsを防ぎ、再現可能性の検討を促進するにはどうすればいいか、これらの問題について論文が刊行されると同時に、いくつかの学会、雑誌の編集委員会が指針を示しています。例えば、Psychological Science誌に掲載されたG. Cummingの論文（9）は非常に刺激的な論文です。また、最近Social Psychological and Personality Science（SPPS）誌はEditorialに再現可能性に関する方向性も示しています（10）。これらを参考にしながら考えてみましょう。
まず、QRPsを用いたp hackingを抑止するにはどうすればいいでしょうか。根本的な解決としては、Null Hypothesis Significance Test Procedure（NHSTP；帰無仮説検定）を捨て去るという方法があります。大胆に聞こえますが、p＜.05という結果を得るためにQRPsがなされているのですから、その目標自体をなくすことは理にかなっています。
すでに帰無仮説検定に対する代替手法が存在します。例えば、効果量や信頼区間を記載、少なくとも併記するとか、ベイズ統計学に基づくアプローチに移行するといった方法があります。実際にBasic and Applied Social Psychology誌は帰無仮説検定のみの論文投稿を禁じました（11）。先述のSPPS誌も帰無仮説検定への偏重を修正しようとしています。日本の雑誌ではまだ明確な指針は示されていませんが、将来的に修正、移行がなされる可能性はあります。
心理学界全体を考えると、すぐ移行できるかはわかりません。困難もあります。研究者なら当然払うべき労力だと思いますが、新たに統計解析手法をマスターすることは容易ではありません。大学院、学部において心理統計の手法を刷新することに難しさを感じる教員もいるでしょう。その点に関して、日本社会心理学会を始めとしていくつかの学会が新しい方法論についてシンポジウムやセミナーを開催しているのは非常に心強いことです（12）。
そもそも、雑誌で採用する統計手法を変えるというのは大きなルール改定です。雑誌の編集委員会のリーダーシップと実行力が問われます。世界的に見ても、再現可能性の重要性認識には温度差があります。従来の方法で問題ないと考える研究者もいますので、合意に時間がかかる可能性があります。また、心理学の研究手法は実験だけではないという点も見逃せません。これらの中には再現可能性それ自体を問うことが難しい研究もありえます。これらをどう扱うかについては複数の意見が対立することも考えられます。
また、帰無仮説検定からの移行はp hackingの駆逐に対して有効なのであって、他の不正に関しては効力をもちません。さらには、新しい統計手法に対して不正な手段が発生しないとも限りません。その意味では限定的な対策ですが、現状と比べると良い状況をもたらすことは間違いないと思います。
