Manchmal schäme ich mich für andere Personen – Fremdscham heisst das, wenn eine andere Person etwas tut oder getan hat, für das man sich schämen würde, hätte man es selbst getan. Heute habe ich mich für einen früheren Kollegen, mit dem ich in den 1980er Jahren gemeinsam publiziert (und von dem ich viel gelernt) habe, geschämt.
Es geht um ein im Internet kursierendes Papier des (im Ruhestand befindlichen) international renommierten Jenaer Psychologie-Methodikers Rolf Steyer und seines Kollegen Gregor Kappler mit dem Titel „Je höher die Impfquote, desto höher die Übersterblickeit“ (hier ist der Link zu diesem unsäglichen Papier – ich habe lange gezögert, ob ich das Papier nicht besser unverlinkt lassen sollte). Es geht darin um genau eine Korrelation zwischen der Impfquote eines Bundeslandes und der sog. „Übersterblichkeit“ infolge von Corona. Basierend auf Daten des Statistischen Bundesamtes finden die zwei Autoren für die Kalenderwochen 36-40 (2021, im Vergleich zu den Jahren 2016-2020) eine (schwache) positive Korrelation von 0.31 zwischen Impfquote und Übersterblichkeit (Korrelationen können von -1.00 über 0.00 bis hin zu 1.00 variieren) und suggerieren einen kausalen Zusammenhang.
Eigentlich lernen alle unsere Studierenden im ersten Semester den Unterschied zwischen Korrelation und Kausalität – dass zwei Dinge zusammenhängen („korrelieren“), sagt nichts über einen ursächlichen („kausalen“) Zusammenhang, zumal wenn viele weitere Einflußfaktoren im Spiel sind. Die für europäische Regionen nachweisbare Korrelation zwischen der Zahl der Geburten und der Zahl der Storchenpaare in einer Region sagt nicht, dass die Störche die Geburten verantworten (eine „Scheinkausalität“; mehr dazu auf der wunderbaren Webseite https://www.tylervigen.com/spurious-correlations, danke Alexander S. für diesen Hinweis!) – es ist eben „nur“ eine Korrelation, die nichts über ursächliche Zusammenhänge aussagt. Aus eben diesem Grund gelten in der Psychologie rein korrelative Studien in der Rangliste aussagekräftiger Arbeiten (analog zum Vorbild der medizinischen evidenzbasierten Qualitätspyramide) als wenig überzeugend.
Warum Fremdscham über eine schlechte Studie? Weil ich den Erstautor als seriösen Kausalitätsforscher kennen- und schätzengelernt habe (siehe z.B. hier). Da passt diese „Studie“ so gar nicht ins Bild. Auch ist deren Genese ein Problem für mich. Den Angaben auf https://welt.web25.info/?p=3186 (dort ist auch die Landtagsrede der Abgeordneten nachzuhören) zufolge ist das unsägliche Papier von einer thüringischen Landtagsabgeordneten in Auftrag gegeben worden. Wenn Politikberatung gemacht wird (ich bin sehr dafür), dann bitte auf gutem Niveau. Offensichtlich waren beide Seiten von „metakognitiver Kurzsichtigkeit“ geplagt – ein Ausdruck, den ich von Klaus Fiedler borge. Diese Kurzsichtigkeit ist definiert als „das unkritische und oftmals naive Festhalten an offenkundig nicht-gültigen Informationen“ (Fiedler, Ermark & Salmen, 2021, p. 251).
Hilft die von den Autoren angesichts des Entrüstungssturms vorgetragene Entschuldigung? Lesen Sie selbst (zu finden im unteren Abschnitt von Rolf Steyers Homepage):
Am 16. November haben wir für die Abgeordnete des Thüringer Landtags, Frau Dr. Ute Bergner, eine kurze Notiz verfasst. Der Anlass war eine Aktuelle Stunde des Landtags zur Corona-Maßnahmenpolitik. Der Bericht war ausschließlich für diesen Zweck bestimmt. Wir haben der Weitergabe an das Thüringer Gesundheitsministerium zugestimmt und, nach deren Anfrage, auch an die CDU-Fraktion. Die berichtete und überraschende Korrelation sollte Anlass für weitere Diskussionen und Analysen sein. Wir bedauern, dass diese Notiz eine solche Verbreitung gefunden hat. Die Verbreitung und Weitergabe der Notiz im Internet und den sozialen Medien haben wir nicht autorisiert oder sie gar veranlasst.
Zur Klarstellung: Es handelt sich bei der Notiz weder um eine wissenschaftliche Publikation noch um eine fundierte wissenschaftliche Studie, die unseren eigenen Qualitätsstandards genügt. Unsere Notiz beweist keineswegs, dass eine erhöhte Impfquote zu einer erhöhten Sterbewahrscheinlichkeit führt. Wir möchten auch nicht, dass sie dahingehend fehlinterpretiert wird. Es gibt zahlreiche Gründe, welche die gefundene positive Korrelation erklären könnten, ohne einen negativen Effekt der Impfquote auf die Übersterblichkeit zu implizieren. Um die aktuelle Übersterblichkeit zu erklären, sind umfassendere wissenschaftliche Analysen geboten. Unter Hinzunahme der jetzt verfügbaren KW 41 ist übrigens die von uns letzte Woche berichtete positive Korrelation nahezu gleich null.
Wir bitten, dass diese Stellungnahme überall dort zur Kenntnis gebracht wird, wo aus unserer Notiz zitiert wird, oder diese gar in Gänze übernommen wurde.
24. Nov. 2021 Rolf Steyer und Gregor Kappler
Ja, dieser Rückzieher beruhigt mich wenigstens in Ansätzen – auch wenn er viele Fragen offen läßt und den aus der Flasche gelassenen Geist nicht wieder dorthin zurückbringt. Z.B. diese Frage hier: warum wird eine „Notiz“, die den eigenen Standards nicht genügt, dem thüringischen Landtag als Hilfestellung „zur Corona-Maßnahmenpolitik“ zugemutet? Politikberatung ist offensichtlich ein schwieriges Geschäft. Ich wünsche dem thüringischen Landtag jedenfalls eine besser fundierte Tischvorlage von Experten, die den Standards guter wissenschaftlicher Praxis folgen und ihre Empfehlungen auf solide Füße stellen! „Notizen“ geben keine gute Grundlage informierten Handelns.
PS: Übrigens habe ich auch noch verschiedene Notizen über einzelne „überraschende Korrelationen“ in meiner Schublade – interessiert sich jemand dafür?
Nachtrag 26.11.21: Das Ganze schlägt leider auch international Wellen (wen wundert’s – auf der Seite der auftraggebenden Landtagsabgeordneten Dr. Ute Bergner – eine an der Uni Jena promovierte Physikerin – wird stolz die Rezeption des Unsinns berichtet): https://www.utebergner.de/der-wert-eines-menschen-haengt-nicht-von-seinem-impfstatus-ab/
Eine „Entschuldigung“ von Rolf Steyer findet man auch hier im Blog von Joseph Kuhn: https://scienceblogs.de/gesundheits-check/2021/11/19/manipulation-und-korrelation-leicht-gemacht/#comment-112926
Der ARD-Faktencheck zeigt die Fragwürdigkeit der „Notiz“: https://www.tagesschau.de/faktenfinder/impfquote-uebersterblichkeit-101.html
https://www.tagesschau.de/faktenfinder/impfquote-uebersterblichkeit-101.html
… und noch ein paar Zeilen von einem treuen Leser dieses Blogs:
Eine Korrelation von .31 hat bei N=16 Bundesländern einen p-Wert von .12 (zweiseitig sogar nur .24), unterscheidet sich also anders als von den Autoren angenommen („die Korrelation ist erstaunlich hoch“) nicht mal signifikant von 0. Warum sollte man eine nichtsignifikante Nullkorrelation überhaupt interpetieren? Zumal es dabei durch die Wahl der Vergleichsjahre und des cut-off-Monats auch noch jede Menge researcher degrees of freedom gibt. – Leider zieht der Unsinn inzwischen erhebliche Kreise:
https://www.mdr.de/nachrichten/thueringen/redakteur-studie-impfungen-uebersterblichkeit-100.html
https://www.zentrum-der-gesundheit.de/news/gesundheit/covid-19/hohe-impfquote
https://corona-transition.org/die-ubersterblichkeit-wachst-mit-steigender-impfquote
https://www.wochenblick.at/schock-studie-beweist-je-mehr-impfungen-desto-mehr-tote/
https://twitter.com/HGMaassen/status/1461826305436098573?s=20
Die plausibelste Erklärung, die ich für diesen schlimmen Fehlgriff eines derart renommierten Methodikers bislang gefunden habe, steht in Kommentar #5 auf https://scienceblogs.de/gesundheits-check/2021/11/19/manipulation-und-korrelation-leicht-gemacht/ :
„….oder sie wurden von militanten Querdenkern entführt und gefoltert. Anders ist das kaum zu begreifen.“
Nachtrag 6.12.2021: Es gibt seit heute eine Stellungnahme des DGPs-Vorstands und der Leitung der DGPs-Fachgruppe Methoden und Evaluation (deren Gründung übrigens von Rolf Steyer mit-angeregt wurde) zur Studie „Je höher die Impfquote, desto höher die Übersterblichkeit“ aus Jena:
Der Vorstand der Deutschen Gesellschaft für Psychologie und die Leitung der Fachgruppe Methoden und Evaluation haben mit großer Sorge das Papier „Je höher die Impfquote, desto höher die Übersterblichkeit“ zur Kenntnis genommen und möchten dazu Stellung beziehen.
Die Deutsche Gesellschaft für Psychologie hält es für unverantwortlich, ein Papier in die Öffentlichkeit gelangen zu lassen, dessen Inhalt und Methodik wissenschaftlichen Standards nicht genügen und das zu Fehlinterpretationen Anlass gibt bzw. diese sogar nahelegt; dazu gehören zum Beispiel die kausale Interpretation der Korrelation von Impfquote und Übersterblichkeit und die selektive Auswahl der analysierten Zeiträume. Darauf wurde auf vielfältige Weise bereits von anderen und den Autoren selbst hingewiesen. Wir appellieren daher an das Verantwortungsbewusstsein der Wissenschaftlerinnen und Wissenschaftler, politisch weitreichende Stellungnahmen nur dann abzugeben, wenn die Ergebnisse anerkannten wissenschaftlichen Kriterien genügen und sorgfältig abgewogen sind. Darüber hinaus empfehlen wir Wissenschaftlerinnen und Wissenschaftlern den Entscheidungsträgerinnen und Entscheidungsträgern in der Politik den Status ihrer Ergebnisse (z.B. erste unveröffentlichte Ergebnisse ohne Peer-Review, Studie im Peer-Review, veröffentlichte Studie im Peer-Review ohne Replikation, usw.) und die damit verbundenen Konsequenzen nachvollziehbar zu erläutern.
Prof. Dr. Markus Bühner (Präsident) für den Vorstand der DGPs
Prof. Dr. Holger Brandt für die Leitung der DGPs-Fachgruppe Methoden und Evaluation
Wunderbar! Das ist ein klares Statement, über das ich mich sehr freue! Und noch eine Distanzierung ist erfreulicherweise zu vermelden. Sie kommt vom Direktor des Instituts für Psychologie an der Friedrich-Schiller-Universität Jena:
Liebe Kolleginnen und Kollegen, als Direktor des Instituts für Psychologie an der Friedrich-Schiller-Universität Jena möchte ich zur heute früh von Prof. Markus Bühner und Prof. Holger Brandt veröffentlichen Stellungnahme folgendes mitteilen:
Da im Betreff der Stellungnahme der Wissenschaftsstandort Jena erwähnt wird, möchten wir zur Vermeidung von Missverständnissen klarstellen, dass der betreffende Text von zwei Privatpersonen (darunter ein Professor im Ruhestand) verfasst wurde und nicht von einer universitären oder sonstigen akademischen Einrichtung in Jena zu verantworten ist. Das Institut für Psychologie der Universität Jena hat dazu bereits am 23.11.2021 auf seiner Homepage inhaltlich klar Position bezogen. Diese wurde im Vorfeld auch an die Fachgruppenleitung Methoden und Evaluation klar kommuniziert und weitergegeben.
Mit freundlichen Grüßen, Prof. Dr. Franz J. Neyer
Nachtrag 18.12.21: Die unsägliche „Notiz“ von Steyer & Kappler hat es zur „Unstatistik des Monats“ 12/2021 geschafft: https://www.rwi-essen.de/unstatistik/122/ Sie wird dort gründlich diskutiert. Prädikat: Empfehlenswert!