Gleich vier Artikel im diesjährigen April-Heft 652 von „Nature“ zeigen, dass es um die Sozialwissenschaften (gemeint sind vor allem Psychologie und Erziehungswissenschaften) nicht so gut bestellt zu sein scheint! Im Editorial wird das Wort „besogniserregend“ (sobering) verwendet, das ich für völlig berechtigt halte. Riesenstudien mal wieder, teils vom Militär finanziert.
Drei der Artikel (Aczel et al., Miske et al., Tyner et al.) sind das Ergebnis einer Förderung in Höhe von fast 8 Millionen US-Dollar, die die US-amerikanische Defense Advanced Research Projects Agency (DARPA) im Jahr 2019 für das Programm „Systematizing Confidence in Open Research and Evidence“ (SCORE) bereitgestellt hat. Das Projekt wird vom Center for Open Science (Leitung: Brian Nosek), einer gemeinnützigen Organisation in Washington, D.C., durchgeführt. Mehr als 850 Forscher haben zu Hunderten von Replikationsversuchen beigetragen und eine Datenbank mit Zuverlässigkeitsindikatoren für 3.900 zwischen 2009 und 2018 veröffentlichte Artikel erstellt (siehe go.nature.com/4campyc). Die vierte Arbeit (Brodeur et al., 2026) ist das Ergebnis einer Reihe von eintägigen „Replikations-Games“-Workshops, die seit 2022 weltweit vom Institute for Replication, einem virtuellen, gemeinnützigen Netzwerk, organisiert wurden.
Während Miske et al. der Frage nach der Reproduzierbarkeit (d. h., dass sich unter Verwendung der Methoden und Daten der Studie dieselbe Schlussfolgerung ableiten lässt) nachgehen, kümmern sich Tyner et al. um Fragen der Replikation (d. h., dass sich unter Verwendung unabhängiger Daten dieselbe Schlussfolgerung ableiten lässt). Um die Reproduzierbarkeit zu bewerten, untersuchten die Forscher 145 Artikel und stellten fest, dass sie nur 54 % exakt reproduzieren konnten, obwohl etwa 75 % annähernd reproduzierbar waren. Um die Replikation zu prüfen, testete das Team 274 veröffentlichte Behauptungen aus 164 Artikeln erneut; auch hier zeigten nur etwa 55 % die gleichen Muster wie die ursprünglichen Ergebnisse.
In einer dritten Arbeit testeten Aczel et al. die analytische Robustheit (d. h., dass eine erneute Analyse der Daten durch mehrere Teams zu denselben Schlussfolgerungen führt), indem sie mehrere Teams 100 Studien neu analysieren ließen. Nur ein Bruchteil reproduzierte die ursprünglichen Ergebnisse genau – obwohl die meisten zu ähnlichen Gesamtschlussfolgerungen gelangten.
Der Artikel von Brodeur et al. zeigt den Vergleich zu anderen Fächern (hier: Ökonomie und Politikwissenschaften), mit einer groß angelegten Bewertung von 110 Artikeln. Die Autoren stellten fest, dass 85 % der Aussagen rechnerisch reproduzierbar waren.
Insgesamt unterstreichen diese Arbeiten, dass transparente Arbeitsabläufe dazu beitragen könnten, das Vertrauen in Ergebnisse aus den Sozial- und Verhaltenswissenschaften zu stärken.
Ich habe den Hinweis auf dieses Nature-Sonderheft übrigens dem tollen Blog „Nullhypothese“ von Sebastian Tillmann (früher Uni Konstanz, jetzt Referent für Digitalisierung im Ministerium für Soziales, Gesundheit und Integration BW) unter dem vielsagenden Titel Die Vermessung der Trümmer vom 23.4.26 entnommen.
Quellen
Aczel, B., Szaszi, B., Clelland, H. T., Kovacs, M., Holzmeister, F., Van Ravenzwaaij, D., Schulz-Kümpel, H., Hoffmann, S., Nilsonne, G., Kosa, L., Torma, Z. A., Abdelfatah, Y., Aberson, C. L., Acar, O. A., Acem, E., Adamkovic, M., Adamovich, T., Adiasto, K., Ahnström, L., … Nosek, B. A. (2026). Investigating the analytical robustness of the social and behavioural sciences. Nature, 652(8108), 135–142. https://doi.org/10.1038/s41586-025-09844-9
Brodeur, A., Mikola, D., Cook, N., Fiala, L., Brailey, T., Briggs, R., De Gendre, A., Dupraz, Y., Gabani, J., Gauriot, R., Haddad, J., Lima, G., Ankel-Peters, J., Dreber, A., Campbell, D., Kattan, L., Marino Fages, D., Mierisch, F., Sun, P., … Zhong, Y. (2026). Reproducibility and robustness of economics and political science research. Nature, 652(8108), 151–156. https://doi.org/10.1038/s41586-026-10251-x
Miske, O., Abatayo, A. L., Daley, M., Dirzo, M., Fox, N., Haber, N., Hahn, K. M., Struhl, M. K., Mawhinney, B., Silverstein, P., Stankov, T., Tyner, A. H., Adamkovič, M., Alzahawi, S., Anafinova, S., Awtrey, E., Axxe, E., Bailey, J., Bakker, B. N., … Errington, T. M. (2026). Investigating the reproducibility of the social and behavioural sciences. Nature, 652(8108), 126–134. https://doi.org/10.1038/s41586-026-10203-5
Tyner, A. H., Abatayo, A. L., Daley, M., Field, S., Fox, N., Haber, N. A., Hahn, K. M., Struhl, M. K., Mawhinney, B., Miske, O., Silverstein, P., Soderberg, C. K., Stankov, T., Abbasi, A., Aberson, C. L., Aczel, B., Adamkovič, M., Albayrak, N., Allen, P. J., … Errington, T. M. (2026). Investigating the replicability of the social and behavioural sciences. Nature, 652(8108), 143–150. https://doi.org/10.1038/s41586-025-10078-y
Und wie gut tut es zu sehen, angesichts der hier versammelten schlechten Nachrichten, dass Hedi Kriit von der Uni Heidelberg an der Europäischen Lancet-Studie über die Folgen der Erderwärmung für unseren Globus auf unsere Gesundheit als Erstautorin beteiligt ist! Es sind auch keine guten Nachrichten, aber hoffentlich reproduzierbare! Hier die Quelle:
Kriit, H. K., Chen-Xu, J., Semenza, J. C., Heiliger, H., Markandya, A., Dasandi, N., Jankin, S., Van Daalen, K. R., Achebak, H., Alari, A., Alcayna, T., Ball, E., Ballester, J., Bechara, H., Callaghan, M. W., Van Cauwenberghe, M., Charnley, G. E. C., Courtenay, O., Cirach, M., … Rocklöv, J. (2026). The 2026 Europe report of the Lancet Countdown on health and climate change: Narrowing window for decisive health action. The Lancet Public Health, S2468266726000253. https://doi.org/10.1016/S2468-2667(26)00025-3
Trotzdem: schöne Woche!
Keine Kommentare