Vul & Pashler Fig 5
In der neuen Ausgabe der ZEIT (Link zum Beitrag) wird auf ein Paper von Ed Vul und Harold Pashler verwiesen, in dem diese die Auswertungen bestimmter Neuroimaging-Studien als Spiel mit „voodoo correlations“ kritisieren. Hier ist eine längst überfällige Debatte (Link zur Debatte) in Gang gesetzt worden, die ich sehr begrüße! Die Auswertung von Neuroimaging-Studien ist mit einer Reihe von Annahmen und Entscheidungen der Auswerter behaftet, die man sorgfältig betrachten muss.
Die starke Verdichtung und Aggregation der Daten (Voxel-Analysen) führt nach Meinung der Autoren, die 54 Studien über den Zusammenhang von fMRI-Daten zu Persönlichkeitsdaten durchgesehen haben, zu Fehleinschätzungen, da nur überschwellige Voxel in die Analyse einbezogen werden:
„We surveyed authors of 54 articles that reported findings of this kind to determine the details of their analyses. More than half acknowledged using a strategy that computes separate correlations for individual voxels, and reports means of just the subset of voxels exceeding chosen thresholds. We show how this non-independent analysis grossly inflates correlations, while yielding reassuring-looking scattergrams.“
Durch Re-Analysen ließen sich hier allerdings Korrekturen vornehmen. Insgesamt eine Warnung vor allzu schneller Akzeptanz berichteter Befunde und eine Bestätigung für die Notwendigkeit von Replikationen, die in unserem Fach viel zu selten vorgenommen werden!
Am Rande: Ed Vul & Harold Pashler haben 2008 in Psyc Science 19 (645-647) einen interessanten Beitrag verfasst, wonach das wiederholte Treffen von Entscheidungen im zeitlichen Abstand voneinander und die anschließende Mittelung der Ergebnisse im Vergleich zu den Einzelentscheidungen bessere Ergebnisse liefert – ein empirischer Beleg für die These, dass man wichtige Entscheidungen überschlafen sollte. Erklärung dafür ist die Annahme eines Sampling-Prozesses, aufgrund dessen wir zu Urteilen kommen. Wiederholtes Ziehen und Aggregieren verbessert das Urteil.
Nachtrag 5.5.2009: „Bildgebung in der Krise? Von wegen!“ – so der Titel einer Replik von Jan Derrfuß, Christian Fiebach und Hauke Heekeren, zu finden in
http://www.gehirn-und-geist.de/alias/angemerkt/bildgebung-in-der-krise-von-wegen/993208