Tests unter der Lupe

Seit über 100 Jahren (genauer: seit dem ersten von Binet & Simon 1905 erstellten Intelligenztest) produzieren Psychologen standardisierte Messverfahren für alle möglichen Konstrukte unter dem Namen „Psychologischer Test“. Testorientierte Diagnostik ist ein Markenzeichen unseres Berufs und gibt einem Teilgebiet des Faches Psychologie sogar den Namen. Spezielle Testverlage (wie z.B. Hogrefe oder Schuhfried; hier ein Anbieter-Verzeichnis) bieten für gutes Geld einsatzbereite Verfahren an. Allein die von Hogrefe-Verlag betriebene Testzentrale bietet derzeit mehr als 750 lieferbare Testverfahren an.

Martin Kersting, der neue Vorsitzende des Diagnostik- und Testkuratoriums, informiert nun gerade in einer Rundmail über die Qualitätssicherung und –optimierung im Bereich der Diagnostik. Das Testbeurteilungssystem des Testkuratoriums (TBS-TK) soll eine kurze, prägnante und standardisierte Bewertung veröffentlichter Testverfahren erlauben. Zitat von Martin Kersting (Rundmail vom 12.3.2012):

„Nach über fünf Jahren TBS-TK Rezensionen kann eine erste, vorläufige Bilanz gezogen werden. Unter Qualitätsgesichtspunkten fällt unsere Bilanz positiv aus. Es ist dem Diagnostik- und Testkuratorium (mit den aktuellen sowie mit den vorherigen Mitgliedern) gelungen, hervorragende Rezensent(inn)en zu gewinnen, die hochwertige, in Wissenschaft und Praxis ge- und beachtete, Rezensionen verfasst haben. Vor allem ist das TBS-TK System kulturprägend. Dies kommt etwas darin zum Ausdruck, dass in den Verfahrenshinweisen (Testmanualen) von Neupublikationen von Testverfahren mit einem hohen Qualitätsanspruch standardmäßig bereits Übersichten darüber vorgehalten werden, auf welcher Seite des Testmanuals die nach TBS-TK geforderten Informationen zu finden sind (Beispiele hierfür sind die Verfahrenshinweise zum BIP-6F, d2-R, FAKT, START-P und WIT-2).

Eine kritische Bilanz ziehen wir hinsichtlich der Quantität der TBS-TK Rezensionen. In fünf Jahren wurden insgesamt nur 16 TBS-TK Rezensionen entweder publiziert oder befinden sich „in Druck“ (siehe Liste der bisherigen TBS-TK Rezensionen am Ende der E-Mail). Zum Vergleich: Bereits im Jahre 2000 umfasste die “Documentation of Test and Test Research“ der niederländischen Kolleg(inn)en 372 Tests, die einheitlich nach dem so genannten COTAN-System analysiert und hinsichtlich vorgegebener Kriterien von jeweils zwei Rezensenten beurteilt worden waren.“

Tatsächlich ist das ein kein starkes Bild: in 5 Jahren sind unter Leitung eines prominent besetzten Gremiums ganze 16 Rezensionen zustande gekommen! Uff! Drei 2seitige Teste pro Jahr als Output der Community? [Ja, ich denke dass ich lästern darf, weil ich selbst eine ganze Reihe von ausführlichen Testrezensionen geschrieben habe!]

Der Testkritiker Ernst Fay vom ITB in Bonn hat zwischen 1996 und 2006 insgesamt 5 Bände seiner Reihe „Tests unter der Lupe“ herausgegeben, in denen mehr als 40 Tests sehr ausführlich und sehr kritisch seziert wurden. Lieber Ernst: eine tolle Leistung, die Du hier als Einzelkämpfer zustande gebracht hast! Die geballte Ladung professoraler Diagnostik-Vertreter tut sich offensichtlich schwer damit, Rezensenten zu finden – die Rezensionskultur (nicht nur für Tests, auch für Bücher!) ist ja zurecht beklagt worden. Darum ist es umso wichtiger, dass Rezensionen einen Lesespaß versprechen! In den Worten von Ernst Fay (1996, S. 108 – im Abschnitt „Einige Gedanken zum Rezensieren“):

„Es gehört somit zu den wesentlichen Anforderungen an einen Rezensenten, daß er eine Meinung habe und diese auch äußere. … Eine Rezension ist – nach meiner ganz persönlichen Auffassung – somit eine kritische, aber auch erfrischend zu lesende Besprechung eines jüngst erstellten bzw. veröffentlichten Werkes, in welcher der Rezensent nach Prüfung aller Umstände Stellung bezieht und eine dezidierte eigene Meinung äußert […]“.

Ganz meine Meinung! Dem ist nichts hinzuzufügen! Apropos Qualität der Rezensionen: zufällig gibt es drei inhaltliche Überschneidungen zwischen den Fay-Rezensionen und den TBS-TK-Rezensionen. Eine davon – den NEO-PI-R betreffend – habe ich mir mal genauer angeschaut. Auf der einen Seite die TBS-TK-Rezension von Andresen & Beauducel (2008), die auf zwei Seiten kompakt den NEO-PI-R vorstellen und (ziemlich positiv) bewerten (hier klicken zum Download). Auf der anderen Seite die Rezension von Muck (2006), die auf 23 Buchseiten wesentlich ausführlicher und an vielen Stellen kritischer mit dem Test umgeht. Mir persönlich gefällt die Muck-Rezension wesentlich besser als die von Andresen & Beauducel, die in ihrer Kürze viele kritische Aspekte des Tests gar nicht ansprechen kann (z.B. dass der Einsatz des NEO-PI-R im A&O-Kontext problematisch zu bewerten ist).

Tatsächlich sind selbst die >40 Rezensionen von Fay und seiner Gruppe sowie die 16 Rezensionen des TBS-TK ein Tropfen auf den heißen Stein des (gewinnträchtigen) Testmarkts – wenn man davon ausgeht, dass >1000 Tests für den deutschsprachigen Raum zur Verfügung stehen und auf diesem Markt verkauft werden, sind davon vielleicht ganze 5% rezensiert, 95% existieren dagegen ohne ein kritisches, unabhängiges Urteil. Darauf kann man nicht stolz sein…

Liste der 16 bisher vom TBS-TK rezensierten Testverfahren (abrufbar hier):

• Andresen, B. & Beauducel, A. (2009). TBS-TK Rezension: „NEO-Persönlichkeitsinventar nach Costa und McCrae, Revidierte Fassung (NEO-PI-R)“
• Deimann, P., Kastner-Koller, U., Esser, G. & Hänsch, S. (2010). TBS-TK Rezension: „FRAKIS Fragebogen zur frühkindlichen Sprachentwicklung. FRAKIS (Standardform) und FRAKIS-K (Kurzform)“.
• Dormann, C. & Krumm, S. (2010). TBS-TK Rezension: „OPQ32“.
• Gasteiger Klicpera, B. & Sticker, E. (2011). TBS-TK Rezension: „Deutscher Rechtschreibtest für das erste und zweite/ dritte und vierte Schuljahr, DERET 1-2+ / 3-4+“.
• Glöckner-Rist, A. & Stieglitz, R.-D. (2011). TBS-TK Rezension: „SCL-90-R – Die Symptom-Checkliste von L. R. Derogatis (Deutsche Version)“.
• Hallner, D., Hasenbring, M., & Hoyer, J. (2010). TBS-TK Rezension: „Psychopathic Personality Inventory – Revised, Deutsche Version (PPI-R)“.
• Hasselhorn, M. & Margraf-Stiksrud, J. (in press). TBS-TK Rezension: „Entwicklungstest für Kinder von 6 Monaten bis 6 Jahren (ET 6-6), 3. Auflage“.
• Herzberg, P. Y., Goldschmidt, S. & Heinrichs, H. (2008). TBS-TK Rezension: „Beck Depressions-Inventar (BDI-II). Revision“.
• Höft, S. & Muck, P. M. (2009). TBS-TK Rezension: „Golden Profiler of Personality (GPOP). Deutsche Adaptation des Golden Personality Type Profiler von John P. Golden“.
• Molz, G., Schulze, R., Schroeders, U. & Wilhelm, O. (2010). TBS-TK Rezension: „Wechsler Intelligenztest für Erwachsene WIE. Deutschsprachige Bearbeitung und Adaptation des WAIS-III von David Wechsler“.
• Ortner, T. M. & Sokolowski, K. (2008). TBS-TK Rezension: „Objektiver Leistungsmotivations-Test (OLMT)“.
• Rohrmann, S. & Spinath, F. M. (2011). TBS-TK Rezension: „Freiburger Persönlichkeitsinventar (FPI-R)“.
• Rollet, B. & Preckel, F. (in press). TBS-TK Rezension: „K-ABC: Kaufman – Assessment Battery for Children.“
• Schmidt-Atzert, L. & Rauch, W. (2008). TBS-TK Rezension: „Intelligenz-Struktur-Test 2000 R (I-S-T 2000 R)“.
• Steinmayr, R., Spinath, B. & Rindermann, H. (2010). TBS-TK Rezension: „Differentielles schulisches Selbstkonzept-Gitter mit Skala zur Erfassung des Selbstkonzepts schulischer Leistungen und Fähigkeiten (DISK-Gitter mit SKSLF-8)“.
• Weis, S. & Nuerk, H.-C. (2011). TBS-TK Rezension: „FAKT-II. Frankfurter Adaptiver Konzentrationsleistungs-Test“.

Liste der 41 von Ernst Fay zwischen 1996 und 2006 herausgegebenen Rezensionen:

Ernst Fay (Ed. 1996). Tests unter der Lupe. Aktuelle Leistungstests – kritisch betrachtet. Band 1. Heidelberg: Asanger.

• Vom Autor selbst vorgenommene Rezensionen von 8 Testverfahren: 3DM – d2 – HAWIE-R – ABAT-R – LPS 50+ – INKA – FAIR – Wiener Testsystem.

Ernst Fay (Ed. 1999). Tests unter der Lupe II. Lengerich: Pabst Science Publishers.

• E. Fay: Berliner Intelligenzstruktur-Test (BIS).
• J. Funke: Ein Simulationstest zur Erfassung des Entscheidungsverhaltens (ILICA).
• K. Heilmann: Das Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung (BIP).
• M. Kersting: Intelligenz-Struktur-Test 2000 (IST 2000).
• C. Quaiser-Pohl: Der Wiener Entwicklungstest (WET).
• P. Richter: Arbeitsbezogenes Verhaltens- und Erlebensmuster (AVEM).
• T. Rodenhausen: Der 16-Persönlichkeits-Faktoren-Test – Revidierte Fassung (16 PF-R).
• U. Schaarschmidt: Intelligenz-Struktur-Analyse (ISA).

Ernst Fay (Ed., 2000). Tests unter der Lupe III. Lengerich: Pabst Science Publishers.

• E. Fay: Advanced Bochumer Matrizentest (BOMAT)
• F. Gierschmann: Adaptiver Matrizentest (AMT).
• P. Kemter: Inventar zur Persönlichkeitsdiagnostik in Situationen (IPS).
• K.D. Kubinger: Kognitiver Fähigkeits-Test (KFT 4-12+R).
• W. Lehmann: Schnitte.
• C. Quaiser-Pohl: Der Teddy-Test.
• B. Reuschenbach & J. Funke: Management-Fallstudien (MFA).
• T. Rodenhausen: Das COGNITRONE.
• U. Schaarschmidt: Adaptives Intelligenz-Diagnostikum 2 (AID 2).

Ernst Fay (Ed., 2003). Tests unter der Lupe 4. Aktuelle psychologische Testverfahren – kritisch betrachtet. Göttingen: Vandenhoeck & Ruprecht.

• J. Deller & M. Kuehn: Occupational Personality Questionnaire (opq32).
• E. Fay: Bochumer Matrizentest (BOMAT advanced – short version).
• J. Funke & B. Reuschenbach: Standardisierte Link’sche Probe (SLP).
• F. Gierschmann: Ravens’s Progressive Matrices (RPM).
• U. Kieschke: Hamburger Persönlichkeitsinventar (HPI).
• U. Kleinemas: Hamburg-Wechsler Intelligenztest für Kinder – Dritte Auflage (HAWIK-III).
• V. Nell: Konzentrations-Leistungs-Test, revidierte Fassung (KLT-R).
• C. Quaiser-Pohl: Basisdiagnostik für umschriebene Entwicklungsstörungen im Vorschulalter (BUEVA).

Ernst Fay (Ed., 2006). Tests unter der Lupe 5. Aktuelle psychologische Testverfahren – kritisch betrachtet. Göttingen: Vandenhoeck & Ruprecht.

• E. Fay: Prüfsystem für Schul- und Bildungsberatung für 6. bis 13. Klassen – Revidierte Fassung (PSB-R 6-13).
• J. Funke: Heidelberger Fragebogen zu Schamgefühlen (HFS).
• U. Kieschke: Leistungsmotivationsinventar (LMI).
• U. Kleinemas: Trierer Integriertes Persönlichkeitsinventar (TIPI).
• S. Laube & J. Deller: EXPLORIX.
• P.M. Muck: NEO-Persönlichkeitsinventar nach Costa und McCrae (NEO-PI-R).
• C. Quaiser-Pohl: Bildbasierter Intelligenztest für das Vorschulalter (BIVA).
• A. Waszak, S. Laube & J. Deller: Shapes und Views.

PS: Ein wunderbares Kompendium von Testverfahren speziell für den neuropsychologischen Einsatz, in dem rund 100 Rezensionen gängiger Testverfahren (durchgeführt von 70 Rezensenten) nach einem standardisierten Muster zu finden sind, ist das folgende Werk:

• Schellig, D., Drechsler, R., Heinemann, D., & Sturm, W. (Eds.). (2009). Handbuch neuropsychologischer Testverfahren 1: Aufmerksamkeit, Gedächtnis und exekutive Funktionen. Göttingen: Hogrefe.

Hier darf man auf Folge-Bände gespannt sein!