JDDM Cover Engelhart et al. (2017)
In einem gerade erschienenen Beitrag beschäftigen sich Michael Engelhart, Sebastian Sager und ich uns mit der Frage, unter welchen Bedingungen Rückmeldungen (Feedback) zu wirkungsvollen Verbesserungen bei der Steuerung dynamischer Systeme führen. Wir haben unsere Mikrowelt „IWR Tailorshop“ (mehr dazu hier) verwendet und den knapp 100 Teilnehmenden unterschiedliche Feedback-Varianten geboten.
In früheren Arbeiten haben wir nichtlineare Optimierungsmethoden herangezogen, um optimale Eingriffe in das komplexe Szenario zu bestimmen und Eingriffe unserer Teilnehmer zu bewerten (eine Variable trägt den schönen Namen „what is still possible?“). Hier haben wir diese optimalen Eingriffe den Teilnehmern in verschiedenen Varianten gezeigt. Tatsächlich lernen die Teilnehmer dann am besten, wenn ihnen die exakten optimalen Werte in der Lernphase zugänglich waren (Werte-Gruppe). Zwei Lern-Runden mit Feedback zu je 10 „Monaten“ (mit jeweils veränderten Startwerten) und zwei Leistungsrunden ohne Feedback dienten zur Überprüfung der Lerneffekte. Detaillierte Verlaufsanalysen der verschiedenen Bedingungen zeigen, dass die Werte-Gruppe zwar die beste Leistung zeigt, eine andere Bedingung (die Trend-Gruppe) aber ähnlich gutes (in Teilen sogar besseres) Modellwissen erwirbt. Hier sollten zukünftige Studien in die Tiefe gehen. Die Zusammenfassung unseres Artikels lautet:
„The question ‚How can humans learn efficiently to make decisions in a complex, dynamic, and uncertain environment‘ is still an open question. We investigate what effects arise when feedback is given in a computer-simulated microworld that is controlled by participants. This has a direct impact on training simulators that are already in standard use in many professions, e.g., flight simulators for pilots, and a potential impact on a better understanding of human decision making in general. Our study is based on a benchmark microworld with an economic framing, the IWR Tailorshop. N=94 participants played four rounds of the microworld, each 10 months, via a web interface. We propose a new approach to quantify performance and learning, which is based on a mathematical model of the microworld and optimization. Six participant groups receive different kinds of feedback in a training phase, then results in a performance phase without feedback are analyzed. As a main result, feedback of optimal solutions in training rounds improved model knowledge, early learning, and performance, especially when this information is encoded in a graphical representation (arrows).“
Wie immer ist der Beitrag als „Open Access“ frei zugänglich in unserem „Journal of Dynamic Decision Making“ (JDDM) erschienen:
Engelhart, M., Funke, J., & Sager, S. (2017). A web-based feedback study on optimization-based training and analysis of human decision making. Journal of Dynamic Decision Making, 3, 2. http://doi.org/10.11588/jddm.2017.1.34608