Hiraishi, K.（平石界）, Miura, A.（三浦麻子）, Higuchi, M.（樋口匡貴）, Fujishima, Y.（藤島喜嗣）, Nakamura, D., Suyama, M.（須山巨基） (2024). A systematic review of conference papers presented at two large Japanese psychology conferences in 2013 and 2018: did Japanese social psychologists selectively report p < 0.05 results without peer review? 日本の大規模な2つの心理学会で2013年と2018年に発表された学会発表に関する系統的レビュー：日本の社会心理学者は、査読がなくてもp < 0.05の結果を選択的に報告していたのか？ PeerJ, 12:e16763. https://doi.org/10.7717/peerj.16763
We conducted a systematic review of conference papers in social psychology at two large psychology conferences in Japan: the Japanese Psychological Association and the Japanese Society for Social Psychology. The conference papers were effectively not subjected to peer review; hence, they were suitable for testing if psychologists selectively reported statistically significant findings without pressure from journal editors and reviewers. We investigated the distributions of z-values converted from the p-values reported in the articles presented at the 2013 and 2018 conferences. The z-curve analyses suggest the existence of selective reporting by the authors in 2013. The expected discovery rate (EDR) was much lower than the observed discovery rate (ODR; 7% vs. 76%, respectively), and the 95% confidence interval (CI) did not include the ODR. However, this does not mean that the set of studies completely lacked evidential value. The expected replication rate (ERR) was 31%; this is significantly higher than 5%, which was expected under the null hypothesis of no effect. Changes were observed between 2013 and 2018. The ERR increased (31% to 44%), and the EDR almost doubled (7% to 13%). However, the estimation of the maximum false discovery rate (FDR; 68% in 2013 and 35% in 2018) suggested that a substantial proportion of the reported findings were false positives. Overall, while social psychologists in Japan engaged in selective reporting, this does not mean that the entire field was covered with false positives. In addition, slight signs of improvement were observed in how they reported their findings. Still, the evidential value of the target studies was weak, even in 2018, allowing for no optimism.
日本の2つの大きな心理学の学会、日本心理学会と日本社会心理学会での社会心理学に関する学会発表について、系統的なレビューを行いました。これらの学会発表は実質的には査読を受けていなかったため、研究者が雑誌の編集者や査読者からの圧力を受けずに統計的に有意な結果を選択的に報告しているかどうかを検証するのに適していました。2013年と2018年の会議で発表された論文に記載されたp値から変換されたz値の分布を調査しました。zカーブ分析により、2013年の著者による選択的報告の存在が示唆されました。期待される発見率（EDR）は観測された発見率（ODR；7％対76％）よりもはるかに低く、95％信頼区間（CI）はODRを含んでいませんでした。ただし、これは研究セット全体が証拠価値を完全に欠いていたわけではありません。期待される再現率（ERR）は31％であり、効果のない帰無仮説の下で予想される5％よりも著しく高かったです。2013年と2018年の間に変化が観察されました。ERRは増加し（31％から44％）、EDRはほぼ倍増しました（7％から13％）。しかし、最大偽発見率（FDR；2013年は68％、2018年は35％）の推定により、報告された結果のかなりの割合が偽陽性であったことが示唆されました。全体として、日本の社会心理学者は選択的報告を行っていたものの、これが分野全体が偽陽性で覆われていることを意味するわけではありません。さらに、彼らが結果を報告する方法にわずかながら改善の兆しが見られました。それでも、2018年における対象研究の証拠価値は弱く、楽観視する余地はありませんでした。