click and go to article
In den letzten 10 Jahren hat sich meine Heidelberger Arbeitsgruppe mit der computerbasierten Erfassung von Problemlösekompetenzen beschäftigt. Als Chairman 2009-2014 der von der OECD eingesetzten Internationalen „Problem solving expert group“ haben wir die Konzeption von PISA 2012 im Bereich „problem solving“ von statischen Aufgaben hin zu dynamischen Szenarien verändert. Das ging nur dank der erstmaligen Umstellung der weltweiten PISA-Testung von Papier- auf Computerdarbietung. Das war sicherlich ein großer Erfolg!
Die durch die Testinstrumente MicroDYN (Paradigma linearer Strukturgleichungen) und MicroFIN (Paradigma finiter Automaten) definierten Aufgabenformate haben sich für die Erzeugung größerer Itempools zum Bereich „problem solving“ im Rahmen von „large-scale assessments“ wie PISA als brauchbar erwiesen. Inwiefern die Forschung zum Umgang mit komplexen Situationen von diesen Tests profitiert und ob hier wirklich mehr als Intelligenz und Arbeitsgedächtnis gemessen werden, ist eine wiederholt (und lebhaft) diskutierte Frage.
Nun ist ein kleines Positionspapier von Andreas Fischer, Daniel Holt und mir erschienen, in dem wir die Validität von MicroDYN-Aufgaben gerade im Vergleich zu komplexeren Szenarien wie z.B. dem „Tailorshop“ kritisch diskutieren. Insbesondere die Frage, inwieweit mit linearen Strukturgleichungssystemen und finiten Automaten wirklich komplexes Problemlösen erfaßt werden kann, beschäftigt uns darin. Im wesentlichen sehen wir insbesondere in MicroDYN eine erhebliche Einschränkung des ursprünglichen Konzepts, wie es seit den 1970er Jahren von Dietrich Dörner und anderen propagiert wurde. Daß sich MicroDYN gut an Schulnoten validieren ließ, ist in unseren Augen eher kritisch zu sehen. Eine Validierung an einer Manager-Stichprobe wäre sicherlich besser. Leider sehen die diesbezüglichen Daten gar nicht so überzeugend aus.
Hier das Abstract unseres Beitrags:
In this commentary, we critically review the study of Greiff, Stadler, Sonnleitner, Wolff, and Martin, “Sometimes less is more: Comparing the validity of complex problem solving measures” (Intelligence, 2015, 50, 100–113). The main conclusion of Greiff et al. that the “multiple complex systems” (MCS) approach to measuring complex problem-solving ability possesses superior validity compared to classical microworld scenarios (“less is more”) seems to be an overgeneralization based on inappropriate analysis and selective interpretation of results. In its original form, MCS is a useful tool for investigating specific aspects of problem solving within dynamic systems. However, its value as an instrument for the assessment of complex problem solving ability remains limited.
Nachzulesen ist der komplette Beitrag (als Open Access) hier: Funke, J., Fischer, A., & Holt, D. (2017). When less Is less: Solving multiple simple problems is not complex problem solving—A comment on Greiff et al. (2015). Journal of Intelligence, 5(1), 5. http://doi.org/10.3390/jintelligence5010005 Übrigens ist neben unserer Kritik an der Arbeit von Greiff et al., die uns zu dieser Stellungnahme herausgefordert hat, auch eine weitere kritische Auseinandersetzung dazu erschienen: Kretzschmar, A. (2017). Sometimes less is not enough: A commentary on Greiff et al. (2015). Journal of Intelligence, 5(1), 4. http://doi.org/10.3390/jintelligence5010004
Eine interessante Randbemerkung: Eigentlich hatten wir unsere Replik beim Journal „Intelligence“ eingereicht und gehofft, dass unsere Kritik dort veröffentlicht werden würde. Der dortige Herausgeber Richard Haier hat zu meinem Erstaunen unseren Kommentar abgelehnt (im O-Ton: „Commentaries/Discussions and responses to them are not often published in Intelligence. They are rarely cited and rarely settle an issue.“) – mein Respekt vor dem Journal ist daraufhin etwas gesunken. Diskussionen gehören für mich zum Kern wissenschaftlicher Aktivitäten. Umso erfreulicher, dass der Editor eines inhaltlich verwandten „Journal of Intelligence„, Paul De Boeck, zum Abdruck unserer kritischen Stellungnahme bereit war, obwohl der Ursprungsartikel, auf den sich unser Kommentar und unsere Kritik bezieht, in einem Konkurrenzblatt erschienen ist. Eine (wie ich finde: schwache) Erwiderung der Autorengruppe zu unserer Kritik ist dort ebenfalls erschienen: Greiff, S., Stadler, M., Sonnleitner, P., Wolff, C., & Martin, R. (2017). Sometimes more is too much: A rejoinder to the commentaries on Greiff et al. (2015). Journal of Intelligence, 5(1), 6. http://doi.org/10.3390/jintelligence5010006