再現性・再現可能性を議論する
信頼性検証論文への疑義？
心理学の再現性、再現可能性についての議論が再燃しています。
以前、サイナビ！では再現可能性についての連載「心理学研究は信頼できるか？――再現可能性をめぐって」（池田功毅，樋口匡貴，平石界，藤島喜嗣，三浦麻子）を掲載し、ブックレットにもまとめました。
その中でも2015年8月にScience誌に掲載された信頼性検証論文では、100論文について追試した結果、「追試では36％、追試の効果量の95%信頼区間に元論文の効果量が含まれていた（つまり「ほぼ」も含めて再現されたと考えてもよさそうな）研究は47％」（上記記事より）だったということです。
●原論文：Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251).
ところがその後、2016年3月に入り、Science誌に信頼性検証論文は誇張されているのではないか、という論文が掲載されました。
「心理学研究の信頼性に疑問を呈した論文は「誇張」、米ハーバード大研究者ら」 AFP BB NEWS（2016/3/4）
●原論文：Gilbert, D. T., King, G., Pettigrew, S., & Wilson, T. D. (2016). Comment on “Estimating the reproducibility of psychological science.” Science, 351(6277), 1037. doi: 10.1126/science.aad7243
こうした点について、海外ではさまざまな議論が交わされています。そうした動向については、日本社会心理学会 広報委員会の「心理学研究の再現性に関する論争」ページもご覧ください。
日本でもさまざまなメディアで散発的に研究者の方々が発言・議論をされているようですが、現段階では日本でそうした議論ができるパブリックな場が多くありません。今回、試験的にこのページではコメント機能をつけておりますので、自由にコメントができるようにしてあります。
こうした情報が出ているという情報提供でもけっこうです（リンクは適切に貼ってください）。ご意見もお寄せいただければと思います。
注意事項
- spam対策のため、当面、他のSNSとの連携、あるいはメールアドレスの入力を必要としています。
- リンクが3つ以上含まれるコメントは承認が必要となります。
- ご不明な点は、t-sakurai ★ chitosepress.comまで（★を@にしてください）。
- 誹謗・中傷はお控えください。
- 著作権等は発言者に帰属します。
- 引用する場合は発言者・引用箇所がわかるようにご留意ください。
- 場にふさわしくない発言があった場合は、コメントを削除する場合があります。
「a href=」タグを使用して、リンクもはることができます。
「心理学研究は信頼できるか？――再現可能性をめぐって」の第1回
Twitterアカウントでも投稿できます。
Open Science Collaboration (2015)についての、Gilbertらとは別の、最近出版された 再分析としてベイズファクターを求めた
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0149794
があります。この再分析で指摘されているように、再現性が期待されたほどは高くなかった（かもしれない）原因の１つとして、「p<.05」が典型的な応用場面ではやや緩めの基準であったということは考えられると思います。これまでにもこうした指摘は多くされています、たとえば↓など
http://pps.sagepub.com/content/6/3/291.short
Gilbertのコメントについては、このブログが参考になった。”I remain optimistic that as we continue to learn more, we will keep making things better in our field.”という結論には完全に同意。
https://hardsci.wordpress.com/2016/03/03/evaluating-a-new-critique-of-the-reproducibility-project/
自分の考えとしては、ここ数年で色々と今までのやり方の不味かったところが分かったんだから、それは良かったじゃん。これから直してきっちりやっていこうよ。で終了なのだけれど、そうでも無い人が多いのが不思議。
再現性に関する議論は，統計的（誤用）の問題と密接不可分であることは自明で，ひとまず議論が過熱しているのはそちらのようですが，その点に加えて（個人的にはそれよりも）私が気になっているのは，特に今回のGilbertの反論において，
In fact, many of OSC’s replication studies differed from the original studies in other ways as well.
であることの例として，
many of OSC’s replication studies drew their samples from different populations than the original studies did. An original study that measured American’s attitudes toward African-Americans (3) was replicated with Italians, who do not share the same stereotypes.
といった言及がある点です（http://science.sciencemag.org/content/351/6277/1037.2.full）．この主張は，もちろん「ごもっとも」なところでもある一方で，「日本で海外の研究を追試して何になる？」という問題ともつながる，おそらく心理学の中でもほぼ社会心理学に特有の論点だと思います．再現性科研のグループでも長時間にわたり議論をしてきましたがまだ答えが見えていない点でもあり，こちらの先行きがどうなっていくのか，注目しています．
population differenceの問題はありますよね。でも、それだって、事前登録して、追試して、きちんと公開する。それで良いだけの話、と僕は考えています。
例えばGilbertはアメリカ人とイタリア人ではステレオタイプが違う（のだから再現できなくても不思議じゃない）って書いてますが、これ、典型的なトートロジーですよね。じゃぁ逆に再現できてたら、お前は同じこと言ったのかって。それじゃぁ話が進まないから、事前登録なわけで。
色んなpopulationで事前登録して追試する。それが積み重なれば、populationによる違いが存在するのかどうかも、だんだん分かってくると思うんです。もちろんその時に、population difference以外の要因で追試が失敗／成功しているケースが含まれることは意識しておく必要ありますが（言うまでもない）。
はい、もし文化や集団の違いが結果に影響する、ということがわかったならば、それは「再現性の危機」ではなく、むしろ意味のある発見だと思います。異なる集団における結果が蓄積されれば、集団差を共変量としたメタ回帰によって定量的な議論に繋げていけます。
ただ実際に異なるpopulationで追試をやるとなると、リソース的に大きな問題があるなぁとは思います。
例えばあるマテリアルを日本語に翻訳してdirect replicationをするという時に、「超訳」はともかく、「がっちり直訳」が良いのか、「ある程度の意訳」が良いのかという問題が、現場では生じる。
「どっちもやってみれば良い」が正解だと思うのですが、全ての研究について、こういう形で追試をしてデータを蓄積していくとは、リソースの面から困難。
となると、どの研究にターゲットを絞ってリソースを投下するべきかという話になる。そういう制約は当然あると思います。