Am 21.11.2017 wurden Ergebnisse aus der internationalen Schulleistungsstudie PISA 2015 von der OECD öffentlich gemacht, an denen wir Heidelberger Problemlöseforscher natürlich interessiert sind: Wie steht es im weltweiten Vergleich 15jähriger Schülerinnen und Schüler um das Problemlösen im Team, das sogenannte „Kollaborative Problemlösen“? Ging es in PISA 2012 um individuelle Problemlöse-Kompetenzen (siehe hier), wurde der Fokus bei der Erhebung im Jahr 2015 erstmalig auf Problemlösen im Team gelegt. Insgesamt rund 125.000 Personen aus 52 Ländern haben an dieser Untersuchung teilgenommen.
Tatsächlich bestand das „Team“, das zur Lösung eines Problems zusammenarbeiten sollte, jeweils aus der Testperson selbst sowie aus weiteren computerbasierten „Agenten“, die vorgegebene Verhaltensweisen (nicht nur kooperative) in einem „chat-basierten Dialog“ per Textnachrichten verwirklichten. So richtig „sozial“ war es also nicht – konnte es auch nicht sein, da ja eine Aussage über jeden einzelnen Schüler gemacht werden sollte und daher alle Teilnehmenden auf vergleichbare Bedingungen treffen sollten. Hätte man reale Gruppen gebildet, wären unkontrollierbare Einflüsse (wie z.B. unterschiedliches Leistungsniveau von Mitspielern oder Sympathie- und Antipathie-Effekte gegenüber Team-Mitgliedern) zum Tragen gekommen, die eine faire individuelle Bewertung gestört hätten. Aber natürlich macht mir das Sorgen, ob blutleere Textnachrichten die verbalen und non-verbalen Kommunikationssignale einer realen Sozialsituation abbilden können…
Wie sah das Vorgehen bei PISA 2015 konkret aus? Am besten läßt sich dies an einem publizierten Beispiel („The Visit“) illustrieren (Quelle: PISA 2015 Released Field Trial Cognitive Items; Sample Screen #8 p. 61):
- „Unit Overview ‚The Visit‘: The premise for this unit is that a group of international students is coming to visit a school. The student must collaborate with 3 agent teammates and a faculty advisor to plan the visit, assign visitors to guides, and respond to an unexpected problem that arises.In Part 1 of The Visit, the student and three teammates collaborate to identify an appropriate trip to a local point of interest for the visitors. In order to make their recommendation, the team needs to share and discuss their preferences, repair a misunderstanding about when one of the sites is open, and make a final selection.
Challenges requiring collaborative skills include the need for the student to:
– solicit and take into account criteria for assessing the outing options
– clarify statements made by other teammates
– correct misinformation and avoid an impasse
– prompt team members to perform their tasks
– ensure that the final recommendation meets all specified criteria.“
Nachfolgend ist ein Screenshot dieses Items zu einem fortgeschrittenen Bearbeitungszeitpunkt gezeigt. Im linken Teil ist der Chatverlauf des Teilnehmers („You“) mit seinen (fiktiven) Mitspielern (George, Rachel, Brad) zu erkennen; im unteren Teil sind die derzeit zur Verfügung stehenden Optionen zu sehen (der Bearbeiter hat die zweite Option angewählt). Im mittleren Teil sind Informationsquellen und rechts oben ein Notizblock zu sehen, in dem bereits drei Erkenntnisse festgehalten sind.
(click to enlarge)
Der einzelne Teilnehmer sieht sich während der Bearbeitung also einer ganzen Reihe von Herausforderungen gegenüber, die er mit vorgebenen Antwortalternativen bewältigen soll. Auf der Seite http://www.oecd.org/pisa/test/ ist das interaktive Item „Xandar“ zu finden, bei dem man gemeinsam im Team (meine Mitspiel-Agenten Alice und Zach mit mir) durch eine Sequenz gut gewählter Multiple-Choice-Optionen 12 Antworten auf Fragen zur (fiktiven) Insel Xandar finden muss.
Was sind die wichtigen Erkenntnisse aus dieser internationalen Großuntersuchung? Deutschland schneidet mit 525 Punkten (Skalen: Mittelwert 500, Standardabweichung 100) im vorderen Mittelfeld der untersuchten 52 Länder ab. Die deutschen Schülerinnen und Schüler erzielten ähnliche Leistungen wie die in Australien, Dänemark, den Niederlanden, Chinesisch Taipeh, dem Vereinigten Königreich und den Vereinigten Staaten. Generell schneiden Mädchen besser ab als Jungens. Spitzenreiter sind Japan und Singapore, und zwar mit großem Abstand! Mehr zu den Ergebnissen hier.
Ich freue mich über die nun vorliegenden Ergebnisse, erlauben Sie doch einen differenzierenden Blick auf die verschiedenen Länder und die mit kollaborativem Problemlösen zusammenhängenden Variablen. Zugleich werden natürlich auch eine Reihe inhaltlicher Fragen aufgeworfen, denen man nachgehen sollte – die Validität der Testsituation gehört dabei sicher zu den wichtigeren Fragen.
Unser Heidelberger Testentwickler-Team (in alphabetischer Folge: Andreas Fischer, Julia Hilse, Florian Hofmann, Daniel Holt, Saskia Kraft, Ursula Pöll) hat übrigens bei der Aufgabenentwicklung tatkräftig mitgeholfen – Danke nochmals allen für ihren damaligen Einsatz, der jetzt schon ein paar Jahre zurückliegt!
Hier ist die deutsche Pressemitteilung und hier der Link zum vollständigen OECD-Report (in Englisch). Siehe auch:
Graesser, A. C., Forsyth, C. M., & Foltz, P. (2017). Assessing conversation quality, reasoning, and problem-solving performance with computer agents. In B. Csapó & J. Funke (Eds.), The nature of problem solving: Using research to inspire 21st century learning (pp. 245–261). Paris: OECD Publishing. https://doi.org/10.1787/9789264273955-17-en
Graesser, A. C., Foltz, P. W., Rosen, Y., Shaffer, D. W., Forsyth, C., & Germany, M. (2018). Challenges of assessing collaborative problem solving. In E. Care, P. Griffin, & M. Wilson (Eds.), Assessment and teaching of 21st century skills. Research and applications (pp. 75–91). Cham: Springer. https://doi.org/10.1007/978-3-319-65368-6
Kollaboration im 21. Jahrhundert: Vortrag von PISA-Chefplaner Andreas Schleicher über Future Skills 2.11.17: https://youtu.be/5h2TnJPdSc0