on 22-Jul-2022 (Fri)

Theorien der Testkonstruktion und der Anwendung psychologischer Tests dienen der Entscheidungsfindung.

► Psychologische Diagnostik hat nicht die Genauigkeit von Vorhersagen, sondern die Optimierung von Entscheidungen zum Ziel.
► Die Unterscheidung Genauigkeit vs. Optimierung ist subtil, aber sinnvoll. In den meisten Anwendungsfällen hängt die Güte von Entscheidungen unmittelbar (aber eben nicht nur) von der Güte der Vorhersagen (≈ Validität eines Tests) ab.
► Das Design, die Auswahl und Interpretation eines Tests müssen die Entscheidungssituation berücksichtigen. Ein Test, der für eine Fragestellung „optimal“ ist, muss dies in einer anderen nicht sein.

Bsp: Forensisches Gutachten bei Tat (Nachsage statt Vorhersage), Kosten-Nutzen bei Personalentscheidungen

• Ein:e Entscheider:in trifft viele gleichartige Entscheidungen (z. B. Personalentscheidungen). Sie/er verwendet ein konstantes Wertsystem.
• Es wird die Entscheidung getroffen, die den maximalen Nutzen für die Organisation verspricht.
• Dabei spielt es keine Rolle, ob Individuen oder Gruppen von Individuen „Gegenstand“ der Entscheidung sind.
• Der Nutzen einer Serie von Entscheidungen soll maximiert werden. (Beispiel: Familienrechtsentscheidungen)

• Die Wahl vor der Entscheidung wird kaum jemals wieder in gleicher Weise gegeben sein (z.B. Studienfachwahl; aber nicht Studien-/ Berufsberatung).
• Entscheidungen werden entsprechend des individuellen Wertsystems getroffen.
• Entscheidungen können im Extrem nur einmal im Leben zu treffen sein (Studienfachwahl). Selbst wenn Sie erneut zu treffen sind, hat die getroffene Entscheidung in der Regel Konsequenzen für die ähnlichen Entscheidungen (Partnerwahl vs. Brötchenkauf vs. Hotelwahl).

=> Maximierung

Bei statistischen institutionellen Entscheidungen wird in der Regel ein maximaler, durchschnittlicher Gewinn (oder ein minimaler Verlust) über viele gleichartige Entscheidungen angestrebt.
ypisches Beispiel: Personalentscheidungen

Das Modell von Cronbach und Gleser bietet einen Rahmen, realistische diagnostische Prozesse zu analysieren und Entscheidungsprinzipien und Ziele offen zu legen.

• Klassifikation: meist Zuordnung zu einer Gruppe, wie z. B. ICD, DSM
• Platzierung: alle werden behandelt
• Selektion: Ausschluss

= meist Zuordnung zu einer Gruppe, wie z. B. ICD, DSM

Personen aufgrund best. Merkmale bestimmten „Klassen“ zuordnen Voraussetzung: Definition der Klassen und der Kriterien, Entscheidungsregeln

= alle werden behandelt

Klassifikation entlang nur einer Achse (=nur ein Klassifikationskriterium, zB Schulnote)

= Ausschluss

Auswahl („Auslese“) anhand von Personen mittels Kriterien

Durch Kombination 64 unterschiedliche Klassen:

• Individuelle vs. Institutionelle Entscheidungen
• Mit / ohne Begrenzung durch eine Quote
• Einfache oder mehrfache „Treatments“
• Selektion vs. Klassifikation/Platzierung
• Univariate oder multivariate Information
• Einstufiges oder mehrstufiges Vorgehen

• Eine Strategie ist eine feste Regel, um zu einer Entscheidung zu gelangen. Sie muss für jede (Stufe der) Information oder Kombination von Informationen eine Entscheidung spezifizieren. (Beispiel: Zulassung von Studierenden)
• Strategien lassen sich übersichtlich in Strategiematrizen zusammenfassen, aber auch in anderer Form explizieren.
• Generell: WENN (Informationskategorie), DANN (Entscheidungskategorie)
• Ziel: Optimale Entscheidungsregeln zu finden (Nutzenmaximierung).

• Das Ergebnis eines Entscheidungsprozesses besteht in allen Konsequenzen einer Entscheidung, die für die entscheidende Person (besser seine Institution) von Bedeutung sind.
• Da nur fehlerbehaftete Information vorliegt, hat die entscheidende Person lediglich eine Wahrscheinlichkeits- verteilung von Ergebnissen (Kriterienmaße, „outcomes“) zur Verfügung. Diese Wahrscheinlichkeitsverteilung gibt für jede Informationskategorie die über viele Entscheidungen erwarteten Ergebnisse an.
• WENN (Entscheidungskategorie), DANN p (Ergebniskategorie)

Bei der Bewertung der Entscheidungsfindung geht es darum, Fragen zu klären wie:

• Führt die gewählte Prozedur zu Entscheidungen, die auf der Basis der gegebenen Information optimal sind?
• Würde die Sammlung weiterer Informationen die Entscheidungen verbessern?
• Wie groß ist der Unterschied bezüglich der Güte von Entscheidungen zwischen zwei alternativen Entscheidungsprozedure?
• Jede Informationskategorie führt zu einer anderen Verteilung der erwarteten Ergebnisse für ein Treatment.
• Um alternative Strategien vergleichen und evaluieren zu können, muss die Wünschbarkeit jedes Kriterienzustandes bewertet werden.
• Jedem Kriterienzustand wird also ein Wert zugewiesen. Für viele weitere Überlegungen sollen diese Bewertungen auf einer Verhältnisskala vorgenommen werden.

Zusammenfassende Bezeichnung für eine Klasse „ähnlicher“ Modelle

• Rasch Modell (auch 1 PL; dichotome Antworten ja / nein, richtig / falsch)
• Birnbaum-Modelle (dichotome Antworten)
• Partial-Credit-Model (mehrkategorielle Antworten)
• Linear Logistisches Test Modell (LLTM)

• Es wird grundsätzlich unterschieden zwischen den beobachteten Antworten und dahinter liegenden nicht beobachtbaren Fähigkeiten oder Disposition. Die beobachtbaren Antworten werden als abhängig von der latenten Disposition der Fähigkeit angesehen.
• Dies muss sich in den beobachtbaren Korrelationen niederschlagen.
• Nur wenn die Testitems Indikatoren für die latente Eigenschaft sind, kann diese als Ursache für die Korrelationen der Items angesehen werden.
• Wann kann von einer solchen Itemhomogenität ausgegangen werden?

• Deterministische Modelle gehen davon aus, dass das Antwortverhalten der Proband*innen durch die Item- und Personenparameter vollständig bestimmt ist.
• Probabilistische Modelle hingegen nehmen eine stochastische Beziehung zwischen dem Antwortverhalten der/des Proband:in und den Personen- und Itemparametern an.
  • Unterschiedliche funktionalie Abhängigkeiten der Antwortwahrscheinlichkeit von dem latenten Trait Theta

Lokale stochastische Unabhängigkeit

• Wenn alle Items Manifestationen ein- und derselben latenten Dimension (ξ) sein sollen, so werden ihre Korrelationen nur durch die Unterschiede in der latenten Dimension ξ hervorgerufen.
• Diese Verursachung kann überprüft werden, indem man die latente Dimension auf einem bestimmten Wert (auf einer lokalen Stufe, z.B. ξv oder ξw) konstant hält. Sind die Items homogen, so muss sich nun die lokale stochastische Unabhängigkeit zeigen, welche darin besteht, dass die Korrelationen zwischen den Items auf diesen Stufen verschwinden.
• Folglich kann bei Vorliegen der lokalen stochastischen Unabhängigkeit auf Itemhomogenität bezüglich ξ geschlossen werden

Die Logik dabei ist, daß wenn nur die latente Merkmalsausprägung die Korrelation zweier Items auf einer Stufe verschwinden läßt (vgl. lokale stochachstische Unabhängigkeit), dann muß dies unabhängig von der Stichprobe sein! Oder anders herum: Ursache der Korrelation der manifesten Variablen ist dann einzig und allein die latente Variable.

• Eines der wichtigsten probabilistischen Testmodelle
• Etabliert erstmals ein eigentliches Messmodell (► Skalierbarkeit)
• Kernannahme: Itemlösung hängt von Personenparameter ξ bzw. θ (Fähigkeit) und Itemparameter σ (Schwierigkeit) ab
• θ und σ können in derselben Einheit (Logits) verrechnet werden
• Beziehung zwischen θ und σ: probabilistisch (► logistische Funktion)

--> Das Rasch-Modell beschreibt die Wahrscheinlichkeit, dass Testperson v Item i löst in Abhängigkeit eines Personenparameters ξv – die (wahre) Fähigkeit von v – und eines Itemparameters σi - die (wahre) Schwierigkeit von i. Eine bestimmte Fähigkeit bedingt nicht deterministisch, ob es zu einer Lösung kommt oder nicht, sondern nur probabilistisch in der Hinsicht, dass die Lösungswahrscheinlichkeit für größere ξ, bei konstantem σ, ebenfalls größer wird.

• Wenn Items lokal stochastisch unabhängig voneinander sind, d.h. wenn die Wahrscheinlichkeit, ein Item zu lösen ausschließlich von Fähigkeit und Itemschwierigkeit abhängt, dann liefert allein die Anzahl der gelösten Items (unabhängig davon, welche Items, bzw. welche Itemteilmengen gelöst worden sind) eine „erschöpfende Statistik“ für die Fähigkeit einer Person. --> dann müssen die Aufgaben des Tests notwendigerweise diesem Modell folgen, um zu garantieren, dass dieser Testwert tatsächlich die gesamte relevante Information in Bezug auf die fragliche Fähigkeit der Tp ausschöpft
• Ebenso liefern die Anzahl der Versuchspersonen (unabhängig davon welche Versuchspersonen das Item bearbeiten) eine erschöpfende Statistik für den Itemparameter. Weil sich das Rasch-Modell als stichprobenunabhängig herausstellt, kann ein Modelltest abgeleitet werden. Das Modell darf nie ungeprüft vorausgesetzt werden.
• Der Vergleich je zweier Items, zum Beispiel i und j, bezüglich ihrer Schwierigkeiten, σi und σj, ist unabhängig davon, welche Personenstichprobe dafür verwendet wird („Spezifische Objektivität" der Vergleiche).
• Diese Eigenheit des Modells zieht nun die Idee nach sich: Würde für einen bestimmten Test bzw. Datensatz das Rasch-Modell gelten, so müssten die Parameterschätzungen in verschiedenen Teilstichproben statistisch gleich sein; stellt sich jedoch empirisch heraus, dass wenigstens für ein Item diese Parameterschätzungen nicht gleich sind, dann folgt per Umkehrschluss logischerweise, dass das Rasch-Modell nicht gilt. Irgendeine seiner Annahmen ist dann verletzt.

Überspitztes Gedankenexperiment

• Gedächtnisleistungstest mit 5 Aufgaben für breite Stichprobe
• In Stichprobe mit drin: Extremgruppen (z. B. Demente, Hochbegabte etc.)
• Wunsch: Die 5 Aufgaben messen „gleich reliabel“ bei allen Personen

► Verfahren validiert mit Rasch-Modellierung: Die Messgenauigkeit kann für jede Stufe der Fähigkeitsausprägung geschätzt werden. --> Nicht bei Klassischer Testtheorie möglich

Wichtig weil:

• Keine Kontamination mit Messfehlern
• Keine unerwünschten Verzerrungen
• Fähigkeitskalibrierte Reliabilität

• Personenrangfolgen (nach Fähigkeit) sind unabhängig von Items.
• Itemrangfolgen (nach Schwierigkeit) sind unabhängig von Personen.

--> Stichprobenunabhängigkeit bei Personen und Items: Im Idealfall Invarianz der Ergebnisse gegenüber jeglicher Teilmengenbildung, da Personen und Items prinzipiell „austauschbar“ sind.

Implikation aus Teilmengeninvarianz (► spezifische Objektivität): Nicht alle Personen müssen alle Items durchführen
--> Rasch-Modell bei unvollständigen Daten möglich: Aussagen werden getroffen auch für Person-Aufgaben Paarungen, die nicht empirisch in den Daten vorliegen

Skala aus Rasch-homogenen Items:

• Ökonomisch
• Schneller

. . . weil nicht jede/r alles machen muss (was manchmal unmöglich oder unerwünscht ist)

Implikation aus Teilmengeninvarianz (► spezifische Objektivität) und Ökonomie: Verschiedene Items können zum gleichen oder zu unterschiedlichen Messzeitpunkten benutzt werden (Messwiederholung)

Ziel: Veränderungsmessung

Wunsch: Nicht genau dieselben Items zu zwei oder mehr Messpunkten verwenden (vgl. Lern- und Übungseffekte)

Abhilfe: Rasch-homogene Items verwenden

Rasch-homogene Items ermöglichen adaptives Testen (► Adaptive Tests):

• Personenparameter werden nach jedem Item neu berechnet
• Items entsprechend dem Personenparameter selektiert (um maximale Information zu bringen)
  • Leistungsangepasste Auswahl an Items, die maximal informativ sind
  • Nicht jede Person erhält alle Items in der gleichen Reihenfolge (► Ökonomie)

Nutzen:

• Personalauswahl
• Large-Scale Assessments (z. B. PISA-Studie)

• Um eine genaue Bestimmung der Personenparameter in allen Bereichen der latenten Merkmalsausprägungen vornehmen zu können, ist es gut und wünschenswert, über einen großen Itempool mit entsprechend breit gestreuten Schwierigkeits- parametern zu verfügen. Werden alle diese Items bei der/dem jeweiligen Proband*in zur Anwendung gebracht, dauert der Test sehr lange.
• Da jedoch nur Items, deren Schwierigkeiten mit der Fähigkeit der/s Proband*in gut übereinstimmen, wesentlich zur Testgesamtinformation beitragen, wird deutlich, dass alle Items, welche für die Person allzu schwierig oder auch allzu leicht sind, fast keine Information liefern – weshalb sie bei der Testvorgabe einfach weggelassen werden könnten, ohne die Testgenauigkeit beträchtlich zu verringern.

• Heterogene Stichproben
• Fehlende Werte
• „Unsaubere“ Daten
• Begrenzte Zeit zum Testen
• Messwiederholungen
• Interventionsstudien
• Pbn lernen dazu
• Personen vergleichen
• Personalselektion
• Itementwicklung