再現性の危機
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/03/27 06:24 UTC 版)
再現性の危機(さいげんせいのきき、英: replication crisis, replicability crisis)とは、多くの科学実験の結果が他の研究者やその実験を行った研究者自身による後続の調査において再現することが難しい、もしくはできないという科学における方法論的な危機のことである[1]。この危機には長い歴史があるが、「再現性の危機」というフレーズそのものは2010年代初頭に注意を集める問題の一部として名づけられた。
- ^ Schooler, J. W. (2014). “Metascience could rescue the 'replication crisis'”. Nature 515 (7525): 9. doi:10.1038/515009a.
- ^ Gary Marcus (2013年5月1日). “The Crisis in Social Psychology That Isn’t”. The New Yorker. 2016年10月8日閲覧。
- ^ Jonah Lehrer (2010年12月13日). “The Truth Wears Off”. The New Yorker. 2016年10月8日閲覧。
- ^ a b Nast, Condé (2017年2月20日). “「社会科学」は崩壊した。米国の新たな指針は救いとなるか?”. WIRED.jp. 2023年9月3日閲覧。
- ^ Baker, Monya (26 May 2016). 1,500 scientists lift the lid on reproducibility. 533. pp. 452–454. doi:10.1038/533452a .
- ^ Fanelli, Daniele (29 May 2009). “How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data”. PLOS ONE 4 (5): e5738. doi:10.1371/journal.pone.0005738. PMC 2685008. PMID 19478950 .
- ^ Ioannidis JA (13 July 2005). “COntradicted and initially stronger effects in highly cited clinical research”. JAMA 294 (2): 218–228. doi:10.1001/jama.294.2.218 .
- ^ Glick, J. Leslie (1 January 1992). Scientific data audit—A key management tool. 2. pp. 153–168. doi:10.1080/08989629208573811 .
- ^ Begley, C. G., and Lee M. E., 2012, Drug Development: Raise Standards for Preclinical Cancer Research, Nature, 483, 531–533.
- ^ Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.
- ^ Ioannidis JPA, 2016, Why Most Clinical Research Is Not Useful, PLoS Med 13(6): e1002049. doi:10.1371/journal.pmed.1002049.
- ^ “No, science’s reproducibility problem is not limited to psychology”. The Washington Post. 2015年9月10日閲覧。
- ^ a b John, Leslie K.; Loewenstein, George; Prelec, Drazen (2012-05-01). “Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling”. Psychological Science 23 (5): 524–532. doi:10.1177/0956797611430953. ISSN 0956-7976. PMID 22508865 .
- ^ “The Nine Circles of Scientific Hell”. Perspectives on Psychological Science 7 (6): 643–644. (2012-11-01). doi:10.1177/1745691612459519. ISSN 1745-6916. PMID 26168124 .
- ^ “Research misconduct - The grey area of Questionable Research Practices”. www.vib.be. 2015年11月13日閲覧。
- ^ Fiedler, Klaus; Schwarz, Norbert (2015-10-19). “Questionable Research Practices Revisited”. Social Psychological and Personality Science 7: 1948550615612150. doi:10.1177/1948550615612150. ISSN 1948-5506 .
- ^ Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). “False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant”. Psychological Science (Washington DC: Association for Psychological Science) 22 (11): 1359–1366. doi:10.1177/0956797611417632. ISSN 0956-7976. PMID 22006061 2012年1月29日閲覧。.
- ^ Shea, Christopher (2011年11月13日). “Fraud Scandal Fuels Debate Over Practices of Social Psychology”. 2016年10月8日閲覧。
- ^ Kahneman, Daniel. “A New Etiquette for Replication”. 2016年10月8日閲覧。
- ^ [1][リンク切れ]
- ^ Table of Contents(目次)
- ^ Open Science Collaboration (2015). “Estimating the reproducibility of Psychological Science”. Science 349 (6251): aac4716. doi:10.1126/science.aac4716. PMID 26315443.
- ^ Coyne, James (2014年4月15日). “Are meta analyses conducted by professional organizations more trustworthy?”. Mind the Brain. 2016年9月13日閲覧。
- ^ “Why Psychologists' Food Fight Matters” (2014年7月31日). 2016年10月8日閲覧。
- ^ “Psychology Is Starting To Deal With Its Replication Problem” (2015年8月27日). 2016年10月8日閲覧。
- ^ “Science Isn’t Broken” (2015年8月19日). 2016年10月8日閲覧。
- ^ Ioannidis, John P. A. (2012-11-01). “Why Science Is Not Necessarily Self-Correcting”. Perspectives on Psychological Science 7 (6): 645–654. doi:10.1177/1745691612464056. ISSN 1745-6916. PMID 26168125 .
- ^ Pashler, Harold; Harris, Christine R. (2012-11-01). “Is the Replicability Crisis Overblown? Three Arguments Examined”. Perspectives on Psychological Science 7 (6): 531–536. doi:10.1177/1745691612463401. ISSN 1745-6916. PMID 26168109 .
- ^ Etchells, Pete (2014年5月28日). “Psychology’s replication drive: it’s not about you”. 2016年10月8日閲覧。
- ^ Wagenmakers, Eric-Jan; Wetzels, Ruud; Borsboom, Denny; Maas, Han L. J. van der; Kievit, Rogier A. (2012-11-01). “An Agenda for Purely Confirmatory Research”. Perspectives on Psychological Science 7 (6): 632–638. doi:10.1177/1745691612463078. ISSN 1745-6916. PMID 26168122 .
- ^ Bartlett, Tom (2013年1月30日). “Power of Suggestion”. 2016年10月8日閲覧。
- ^ Connor, Steve (2015年8月27日). “Study reveals that a lot of psychology research really is just 'psycho-babble'”. The Independent (London)
- ^ Chambers, Chris (2014年6月10日). “Physics envy: Do ‘hard’ sciences hold the solution to the replication crisis in psychology?”. 2016年10月8日閲覧。
- ^ a b Makel, Matthew C.; Plucker, Jonathan A.; Hegarty, Boyd (2012-11-01). “Replications in Psychology Research How Often Do They Really Occur?”. Perspectives on Psychological Science 7 (6): 537–542. doi:10.1177/1745691612460688. ISSN 1745-6916. PMID 26168110 .
- ^ Collaboration, Open Science (2015-08-28). “Estimating the reproducibility of psychological”. Science 349 (6251): aac4716. doi:10.1126/science.aac4716. ISSN 0036-8075. PMID 26315443 .
- ^ 以下もまた参照せよ。 Earp and Trafimow, 2015
- ^ a b Everett, Jim Albert Charlton; Earp, Brian D. (2015-01-01). “A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers”. Frontiers in Psychology 6: 1152. doi:10.3389/fpsyg.2015.01152. PMC 4527093. PMID 26300832 .
- ^ “Resolving the replication crisis in social psychology? A new proposal | SPSP”. www.spsp.org. 2015年11月18日閲覧。
- ^ Saeb, Sohrab; Lonini, Luca; Jayaraman, Arun; Mohr, David C.; Kording, Konrad P. (2017-05-01). “The need to approximate the use-case in clinical machine learning” (英語). GigaScience 6 (5). doi:10.1093/gigascience/gix019. ISSN 2047-217X. PMC PMC5441397. PMID 28327985 .
- ^ Kapoor, Sayash; Narayanan, Arvind (2022). Leakage and the Reproducibility Crisis in ML-based Science. doi:10.48550/ARXIV.2207.07048 .
- ^ “How to avoid machine learning pitfalls: a guide for academic researchers”. 2023年12月1日閲覧。
- ^ “Is AI Driving a Scientific Reproducibility Crisis?” (英語). Is AI Driving a Scientific Reproducibility Crisis? (2022年8月17日). 2023年12月1日閲覧。
- ^ Olorisade, Babatunde Kazeem; Brereton, Pearl; Andras, Peter (2017-09). “Reproducibility of studies on text mining for citation screening in systematic reviews: Evaluation and checklist” (英語). Journal of Biomedical Informatics 73: 1–13. doi:10.1016/j.jbi.2017.07.010 .
- ^ “Search - Consensus: AI Search Engine for Research”. consensus.app. 2023年12月1日閲覧。
- ^ Menke, Joe; Roelandse, Martijn; Ozyurt, Burak; Martone, Maryann; Bandrowski, Anita (2020-11-20). “The Rigor and Transparency Index Quality Metric for Assessing Biological and Medical Science Methods”. iScience 23 (11): 101698. doi:10.1016/j.isci.2020.101698. ISSN 2589-0042 .
- ^ “Principal Component Analysis Can Negatively Impact Science” (英語). Principal Component Analysis Can Negatively Impact Science (2023年3月1日). 2023年12月1日閲覧。
- ^ Begley, C. G. & Ioannidis, J. P. (2015). “Reproducibility in Science: Improving the Standard for Basic and Preclinical Research”. Circulation Research 116 (1): 116–126. doi:10.1161/CIRCRESAHA.114.303819. PMID 25552691.
- ^ De Solla Price; Derek J. (1963). Little science big science. Columbia University Press
- ^ Siebert, S.; Machesky, L. M. & Insall, R. H. (2015). “Overflow in science and its implications for trust”. eLife 4: e10825. doi:10.7554/eLife.10825. PMC 4563216. PMID 26365552 .
- ^ Della Briotta Parolo, P.; Kumar Pan; R. Ghosh; R. Huberman; B.A. Kimmo Kaski; Fortunato, S. (2015). “Attention decay in science”. Journal of Informetrics 9 (4): 734–745. arXiv:1503.01881. doi:10.1016/j.joi.2015.07.006.
- ^ Mirowski, P. (2011). Science-Mart: Privatizing American Science. Harvard University Press
- ^ Benessia, A., Funtowicz, S., Giampietro, M., Guimarães Pereira, A., Ravetz, J., Saltelli, A., Strand, R., van der Sluijs, J., 2016. The Rightful Place of Science: Science on the Verge. The Consortium for Science, Policy and Outcomes at Arizona State University.
- ^ Andrea Saltelli; Jerome R. Ravetz & Silvio Funtowicz (25 June 2016). “A new community for science”. New Scientist (3079) .
- ^ Moonesinghe, Ramal; Khoury, Muin J; Janssens, A. Cecile J. W (2007-02-27). “Most Published Research Findings Are False—But a Little Replication Goes a Long Way”. PLoS Med 4 (2): e28. doi:10.1371/journal.pmed.0040028. PMC 1808082. PMID 17326704 .
- ^ Simons, Daniel J. (2014-01-01). “The Value of Direct Replication”. Perspectives on Psychological Science 9 (1): 76–80. doi:10.1177/1745691613514755. ISSN 1745-6916. PMID 26173243 .
- ^ “Registered Replication Reports - Association for Psychological Science”. www.psychologicalscience.org. 2015年11月13日閲覧。
- ^ Chambers, Chris. “Psychology’s ‘registration revolution’ | Chris Chambers”. the Guardian. 2015年11月13日閲覧。
- ^ Frank, Michael C.; Saxe, Rebecca (2012-11-01). “Teaching Replication”. Perspectives on Psychological Science 7 (6): 600–604. doi:10.1177/1745691612460686. ISSN 1745-6916. PMID 26168118 .
- ^ Grahe, Jon E.; Reifman, Alan; Hermann, Anthony D.; Walker, Marie; Oleson, Kathryn C.; Nario-Redmond, Michelle; Wiebe, Richard P. (2012-11-01). “Harnessing the Undiscovered Resource of Student Research Projects”. Perspectives on Psychological Science 7 (6): 605–607. doi:10.1177/1745691612459057. ISSN 1745-6916. PMID 26168119 .
- ^ Maxwell, Scott E.; Lau, Michael Y.; Howard, George S.. “Is psychology suffering from a replication crisis? What does "failure to replicate" really mean?”. American Psychologist 70 (6): 487–498. doi:10.1037/a0039400 .
- ^ IntHout, Joanna; Ioannidis, John P.A.; Borm, George F.; Goeman, Jelle J.. “Small studies are more heterogeneous than large ones: a meta-meta-analysis”. Journal of Clinical Epidemiology 68 (8): 860–869. doi:10.1016/j.jclinepi.2015.03.017 .
- ^ a b Button, Katherine S.; Ioannidis, John P. A.; Mokrysz, Claire; Nosek, Brian A.; Flint, Jonathan; Robinson, Emma S. J.; Munafò, Marcus R. (2013-05-01). “Power failure: why small sample size undermines the reliability of neuroscience”. Nature Reviews Neuroscience 14 (5): 365–376. doi:10.1038/nrn3475. ISSN 1471-003X .
- ^ Greenwald, Anthony G.. “Consequences of prejudice against the null hypothesis.” (英語). Psychological Bulletin 82 (1): 1–20. doi:10.1037/h0076157 .
- ^ a b Ioannidis, John P.A.. “Anticipating consequences of sharing raw data and code and of awarding badges for sharing”. Journal of Clinical Epidemiology. doi:10.1016/j.jclinepi.2015.04.015 .
- ^ Lindsay, D. Stephen (2015-11-09). “Replication in Psychological Science”. Psychological Science 26: 0956797615616374. doi:10.1177/0956797615616374. ISSN 0956-7976. PMID 26553013 .
- ^ “NWO makes 3 million available for Replication Studies pilot”. NWO. 2016年8月2日閲覧。
- ^ “Big names in statistics want to shake up much-maligned P value”. www.nature.com. 2019年3月14日閲覧。
- 1 再現性の危機とは
- 2 再現性の危機の概要
- 3 社会学や経済学
- 4 発展的参考文献
- 5 関連項目
- 再現性の危機のページへのリンク