心理学研究は信頼できるか？――再現可能性をめぐって(3)
心理学研究は信頼できるのか？ 再現可能性の問題を考察する連載の第3回は、心理学の研究方法に関する問題点や「問題のある研究実践」（QRPs）の詳細、さらにどのような対応や検討が進められているのかについて伺いました。（編集部）
心理学研究の問題点
――Bem論文自体は否定されたけれども、2010年頃から続いた一連の出来事により、心理学の研究方法に関する問題点が浮き彫りになってきたわけですね。具体的にはどういった問題が明らかになったのでしょうか。
樋口：
樋口匡貴（ひぐち・まさたか）：上智大学総合人間科学部准教授。主要著作・論文に「コンドーム購入行動に及ぼす羞恥感情およびその発生因の影響」（『社会心理学研究』25(1), 61-69，2009年，共著），「ビデオフィードバック法によるコンドーム購入トレーニングの効果に関する予備的検討」（『日本エイズ学会誌』12(2), 110-118，2010年，共著）。→Twitter（@HIGUCHI_MA）
心理学の研究におけるさまざまな問題点についての指摘は、Bem論文が公刊された時期の前後にさまざまな形でなされていました（例えばJ. P. Simmonsら（1）は、False-positive＝偽陽性と呼ばれる現象に焦点を当て、本当は意味がないのに意味があると主張する心理学者のさまざまな“努力”について論じています）。問題についての体系的な整理は、やはりPerspectives on Psychological Science誌の2012年の再現可能性特集号（2）によるところが大きい。A crisis of confidenceと副題のつけられたこの特集においては、心理学における再現可能性の低さを引き起こすさまざまな“問題のあるやり方”が紹介されています。
問題の背景として大きく指摘されているのは、「論文を公刊すること」への圧力と、「どのような論文が公刊されるのか」という性質です。研究業績が研究者の雇用や給与、さらには助成金の獲得に大きな影響を与えている現状においては、研究者は研究業績、すなわち論文の数を増やすことに非常に強く動機づけられます。しかし科学の世界では、論文はただ書けば公刊されるのではなく、ピアレビューと呼ばれる査読のシステムを通過しなければなりません。研究者は論文を書き上げたらまず関連するどこかの雑誌に投稿する。その論文は、雑誌の編集者によって指名された査読者によって査読され、さまざまな修正要求とともに研究者のもとに返却される。研究者は査読者のコメントに対する返信と修正した論文を再度雑誌に送る。このやりとりを繰り返し、最終的に査読者や編集者の審査に「合格」した論文だけが、ようやく公刊されることになります。
査読を通過して論文が公刊されるための重要なポイントの1つは、データが「ポジティブ」であることです。目新しくオリジナリティのある仮説が存在し、その仮説に対してポジティブな（≒有意な）結果が得られた研究ほど、査読に合格し、公刊されやすいようです（3）。
論文を公刊するためには有意な結果が望ましいとなれば、研究者たちは当然有意な結果が得られるように努力することになります。統計的に有意であるかどうかはp値（probability）という値で判断しますが、そのpをハックするという意味で“p hacking” と呼ばれたりもします。もちろん多くの努力は適切な範囲でのものです。しかし中には、いろいろと問題があるやり方（Questionable Research Practices：QRPs＝問題のある研究実践）も存在します。
近年の社会心理学における再現可能性プロジェクトの旗振り役の1人でもあるBrian Nosekは、Persopectives on Psychological Science誌の再現可能性特集号に寄せた論文において、目新しくポジティブな結果が推奨されている現状が、以下のような研究実践を増やしていると指摘しています（4）。
・1回の検定力の大きい研究ではなく、何回もの検定力の小さい研究を行う。つまり、投資でいうところのレバレッジである。
・ポジティブな結果ばかり報告され、ネガティブな結果が報告されない。
・都合の良い結果が得られた段階でデータ収集をやめる。
・都合の良い結果が得られるまでデータ収集を続ける。
・複数の独立変数や従属変数があったとしても、ポジティブな結果が得られた部分のみを報告する。
・さまざまな分析が可能であるにもかかわらず、特定の分析結果しか報告しない。
・新たな発見をあたかももともと仮説があったかのように報告する（注：結果がわかってから仮説を作る＝Hypothesizing After the Results are Known の意味でHARKing と呼ばれます。HARKingについてはN. L. Kerrの論文（5）参照）
・一度都合の良い結果が得られたら、その後それを確かめる追試をしない。
こういったQRPsを指摘したNosekはこうも述べています。「目新しくポジティブな結果は論文の公刊にはきわめて重要だ。しかしそれは真実とは限らない」（p. 617）。
なお、数々のQRPsが実際にどのようにして行われていくのかは『心理学ワールド』第68号における特集「その心理学信じていいですか？」の中の「心理学な心理学研究――Questionable Research Practice」と名づけられた論文に詳しい（6）。この論文では心太と名づけられたどこにでもいるような心理学徒が、とてもナチュラルにQRPsを実践していく様子が描かれています。
