Tailorshop: Ein wiederentdecktes komplexes Problem

Screenshot der alten Tailorshop-Version in GW-Basic

Die „Schneiderwerkstatt“ (aka „Tailorshop“) (programmiert von Dietrich Dörner) war das erste komplexe Problem, mit dem ich mich als Jungwissenschaftler an der Uni Trier als Forschungsgegenstand herumgeplagt habe. Im Jahr 1982 bekam ich von Wiebke Putz-Osterloh (damals RWTH Aachen, heute Uni Bayreuth) eine Version, die in Maschinencode (Assembler) für den Taschenrechner Texas Instruments TI59 geschrieben war. Norbert Streitz (damals auch an der RWTH Aachen) hatte ein paar handschriftliche Erläuterungen dazu geschrieben. Diesen Assembler-Quellcode habe ich in ein GW-BASIC-Programm auf dem PET 2001 übertragen, so dass man als Vp interaktiv seine Eingriffe in das komplexe Szenario gestalten konnte.

Allerdings fand ich damals von Übel, dass man keine optimale Lösung angeben konnte – natürlich konnte man etwas über relative Verhältnisse zwischen Testpersonen sagen, aber ob diese Unterschiede wirklich substantielle Leistungsunterschiede bedeuteten oder nur besagten, dass eigentlich alle Teilnehmenden am Boden herumkrauchten, war nicht zu entscheiden. Das war einer der Gründe, warum ich dieses Szenario kritisch betrachtet habe und für den Einsatz in der Forschung als wenig nutzbringend ansah.

Inzwischen ist der Tailorshop für mich wieder zu einem gern gesehenen Tool aufgestiegen. Seit der Zusammenarbeit mit Sebastian Sager vom Institut für Wissenschaftliches Rechnen (IWR) sieht die Welt nämlich wieder anders aus: jetzt gibt es plötzlich Optimierungsverfahren (Stichwort: Nonlinear Mixed-Integer Dynamic Optimization), die nicht nur (unter bestimmten Annahmen) ex-post die Abweichung von der optimalen Lösung bestimmen, sondern noch besser: man kann auf der Ebene des einzelnen Eingriffs in einem beliebigen Takt eine Bewertung der Optimalität vornehmen und damit Feedback-Systeme etablieren, die z.B. sagen: „Jetzt – in diesem Monat – optimal 3 und nicht 1 Lieferwagen zusätzlich kaufen!“.

Conceptual relations for the new IWR version of the Tailorshop

Dass sich daneben auch die „alten“ und wesentlich einfacher zu bestimmenden pauschalen Gütemasse wie z.B. „TrendFu“ plötzlich als durchaus reliable Kennwerte herausstellen, ist die andere gute Nachricht, die von Daniel Danner und seinen Analysen in unserem gemeinsamen Hagemann/Funke DFG-Projekt „Intelligenz, implizites Assoziationslernen und komplexes Problemlösen“ ausgeht. In einem gerade bei „Intelligence“ erschienenen Paper zeigen wir nicht nur die Überlappung der Konstrukte „Implizites Lernen“, „Testintelligenz“ und „Dynamisches Problemlösen“ (gemessen u.a. mit Tailorshop), sondern können auch eine substantiell über Intelligenz hinausgehende Prädiktionskraft des dynamischen Problemlösens beim Vorgesetztenurteil feststellen.

Mit dem Tailorshop laufen heute eine Reihe von Studien zum Zusammenhang von Kognition und Emotion sowie Untersuchungen mit klinischen Stichproben (z.B. Schizophrenie, Borderline), deren Umgang mit komplexen Anforderungen wir analysieren. Ausserdem erfolgt in Kooperation mit der Juniorprofessorin Nina Zweig eine Netzwerk-Analyse von Log-File-Daten (ein Marsilius-Projekt soll daraus werden). Ebenfalls in der Warteschlange steht die Überarbeitung eines Papers zur Längsschnittanalyse von drei Einzelfällen, die den Tailorshop über mehrere Wochen hinweg bearbeitet haben.

Rezente Literatur zum Tailorshop:

Barth, C. M. & Funke, J. (2010). Negative affective environments improve complex solving performance. Cognition and Emotion, 24, 1259-1268. (0.2 MB) — beschreibt ein Experiment mit dem Tailorshop, in dem die Auswirkungen positiver und negativer Emotionen auf die Bearbeitung untersucht wurden.

Danner, D., Hagemann, D., Holt, D. V., Hager, M., Schankin, A., Wüstenberg, S., & Funke, J. (2011). Measuring performance in a complex problem solving task: Reliability and validity of the Tailorshop simulation. Journal of Individual Differences, 32, 225-233. (0.4 MB) — analysiert die testtheoretischen Eigenschaften eines Leistungsindikators beim Tailoshop und kommt dabei zu guten Ergebnissen.

Danner, D., Hagemann, D., Schankin, A., Hager, M., & Funke, J. (2011). Beyond IQ. A latent state trait analysis of general intelligence, dynamic decision making, and implicit learning. Intelligence, 39, 323-334. (0.5 MB) — zeigt, dass der Tailorshop eine inkrementelle Validität gegenüber Test-Intelligenz aufweist, und zwar gerade bei berufsrelevanten Aussenkriterien.

Engelhart, M., Funke, J. & Sager, S. (in press). A decomposition approach for a new test-scenario in complex problem solving. Journal of Computational Science (0.9 MB) — beschreibt eine Variante des Tailorshop, die unter Optimierungsgesichtspunkten erstellt wurde.

Funke, J. (2010). Complex problem solving: A case for complex cognition? Cognitive Processing, 11, 133-142. (0.5 MB) — beschreibt den Tailorshop als eines von mehreren Instrumenten zur Erfassung komplexer Kognition.

Funke, J., & Dombois, C. (revise and resubmit). Single-case learning of complex problem solving: A longitudinal perspective. Journal of Problem Solving. — beschreibt die Ergebnisse einer 10fachen Wiederholung des Tailoshop, die über mehrere Wochen stattfand.

Sager, S., Barth, C., Diedam, H., Engelhart, M., & Funke, J. (2011). Optimization as an analysis tool for human complex decision making. SIAM Journal of Optimization, 21, 936-959. — eine mathematische Analyse des Tailorshop unter Optimierungsaspekten: es kann für jede einzelne Entscheidung gezeigt werden, inwiefern sie das mögliche Endergebnis verbessert oder verschlechtert.

Sager, S., Barth, C., Diedam, H., Engelhart, M., & Funke, J. (2010). Optimization to measure performance in the Tailorshop test scenario – structured MINLPs and beyond. In P. Bonami, L. Liberti, A. J. Miller & A. Sartenaer (Eds.), Proceedings of the European Workshop on Mixed Integer Nonlinear Programming (pp. 261-269). Marseille: Université de la Méditerranée. (0.8 MB) — auch hier mathematische Analyse des Tailorshop in Hinblick auf die Bestimmung optimaler Eingriffe in das Szenario.

Schmid, U., Ragni, M., Gonzalez, C., & Funke, J. (2011). The challenge of complexity for cognitive systems. Cognitive Systems Research, 12, 211-218. — ein Rahmenpapier zum Umgang mit Komplexität.

Software:

Daniel Holt hat eine Re-Implementation des Tailorshop vorgenommen, zu der es (bislang) Sprachversionen in Deutsch, Englisch, Chinesisch und Griechisch gibt: http://atp.uni-hd.de/tools/tailorshop Ausserdem gibt es seit 11/2011 eine strukturgleiche Version mit der Semantik einer Erdnuss-Farm.

Die Arbeitsgruppe am IWR (Holger Diedam, Michael Engelhart, Sebastian Sager – http://mathopt.de) hat eine Re-Implementation vorgenommen, die unter OpenSource-Lizenz auf SourceForge frei verfügbar ist: http://sourceforge.net/projects/tobago/

PS: Nachtrag vom September 2016 mit weiteren Literaturangaben:

(a) Qualifikationsarbeiten:

Ainser, F., & Villioth, J. (2011). Schizophrenie und komplexes Problemlösen. Der Einfluss des lauten Denkens auf die Problemlöseleistung in der komplexen Mikrowelt Tailorshop. Ruprecht-Karls Universität Heidelberg (Bachelorarbeit).

Augenstein, A., & Ellerbrock, F. (2010). Schizophrenie und komplexes Problemlösen. Der Einfluss des lauten Denkens auf die Problemlöseleistung in der komplexen Mikrowelt Tailorshop. Ruprecht-Karls Universität Heidelberg  (Bachelorarbeit).

Burmeister, K. (2009). Komplexes Problemlösen im Kontext angewandter Eignungsdiagnostik. Ernst-Moritz-Arndt-Universität Greifswald (Dissertation).

Ebert, S., & Szasz, C. (2013). Komplexe Problemlösung – der Spiegel meiner Persönlichkeit? Über den Zusammenhang zwischen Persönlichkeit, Motivation und komplexer Problemlösung. Ruprecht-Karls-Universität Heidelberg (Bachelorarbeit).

Hadirahardjo, A. (2015). Zusammenhang zwischen der Problemlöseleistung des Tailorshops und den Six Thinking Hats. Ruprecht-Karls-Universität Heidelberg Fakultät (Bachelorarbeit).

Hammon, S. (2012). Does visualization enhance complex problem solving? The effect of causal mapping on performance in the computer-based microworld-scenario Tailorshop. Ruprecht-Karls-University Heidelberg (Masterarbeit).

Hofmann, F. (2011). Prozessanalyse mittels Handlungsketten bei der komplexen Problemlöseaufgabe Tailorshop. Ruprecht-Karls Universität Heidelberg (Bachelorarbeit).

Joseph, L. (2010). Analyse des Einflusses von Emotionen auf kognitive Prozesse anhand von Laut-Denk-Protokollen Entwicklung eines Kodierungsschemas. Ruprecht-Karls Universität Heidelberg (Bachelorarbeit).

Krieger, T. A., & Wagener, J. F. (2016). Training zur Lösung komplexer Probleme – Simples Training, komplexe Befunde. Ruprecht-Karls-Universität Heidelberg (Bachelorarbeit).

Purbs, A. (2013). Der Zusammenhang von komplexem Problemlösen und Work-Life-Balance. Universität Heidelberg.

Reinecke, L. (2011). The Role of Semantic Embedding during Complex Problem Solving And The Further Development of Complex Problem Solving Measures. Ruprecht-Karls-Universität Heidelberg (Diplomarbeit).

Rohe, M. S. (2015). Can motto goals outperform performance and learning goals? Ruprecht-Karls-University Heidelberg (Masterarbeit).

(b) Journal paper:

Engelhart, M., Funke, J., & Sager, S. (2013). A decomposition approach for a new test-scenario in complex problem solving. Journal of Computational Science, 4, 245–254. http://doi.org/10.1016/j.jocs.2012.06.005

Greiff, S., Stadler, M., Sonnleitner, P., Wolff, C., & Martin, R. (2015). Sometimes less is more: Comparing the validity of complex problem solving measures. Intelligence, 50, 100–113. http://doi.org/10.1016/j.intell.2015.02.007

Kretzschmar, A., & Süß, H.-M. (2015). A study on the training of complex problem solving competence. Journal of Dynamic Decision Making, 1(4), 1–14. http://doi.org/10.11588/jddm.2015.1.15455

Öllinger, M., Hammon, S., Grundherr, M. von, & Funke, J. (2015). Does visualization enhance complex problem solving? The effect of causal mapping on performance in the computer-based microworld-scenario Tailorshop. Educational Technology Research and Development, 63, 621–637. http://doi.org/10.1007/s11423-015-9393-6