on 10-Apr-2021 (Sat)

• Pilotstudie, um eventuelle Probleme vor den eigentlichen Erhebungen identifizieren zu können
  • Z.B. Vortests, Expertenurteile
• Durchführung der Untersuchung unter Berücksichtigung der geplanten Schritte (z.B. Stichprobenziehung, Design, Verfahren/Instrumente)
• Instruktionen für MitarbeiterInnen bzgl. der Erhebung, Kodierung und Dateneingabe vorbereiten (z.B. Kodierschemata, Checklisten)
• Datensicherung (Backups)
• Bei langfristigen Aufträgen ist ggf. eine Anpassung der Erhebungsmethoden und Strategien zur Non-response-Reduktion möglich/notwendig
  • Ggf. Ergänzungen (z.B. neue Fragestellungen, Instrumente bzw. Geräte)
• Ggf. Vorläufige Auswertung (z.B. nach zwei Messzeitpunkten)

Vor der Beantwortung der Fragestellung muss die Datenqualität überprüft werden (z.B. Häufigkeitstabellen , Histogramme, Range von Werten nutzen)

• Kommen nur plausible Werte vor?
  • Beispiele für unplausible Werte: Alter = 201, Einkommen = Weiblich
• Gibt es fehlende Daten
  • Z.B. Item non response, Personen Dropout in Längsschnittstudien
  • Unterschiedliche Umgangsstrategien
    • Z.B. Ignorieren, multiple Imputation
    • Der optimale Umgang hängt davon ab, wie die fehlenden Werte zustande gekommen sind

Umgang mit fehlenden Werten

• ggf . auf fehlende Werte hinweisen und um Vervollständigung bitten Individualdiagnostik)
• Entfernung von Personen aus dem Datensatz
• Ignorieren fehlender Werte
• Datenimputation

• MCAR bzw. Missing completely at random
  • Die Daten fehlen zufällig
• MAR bzw. missing at random
  • Das Fehlen der Daten ist durch beobachtete Variablen bedingt (in diesem Fall Untersuchungsbedingung), aber innerhalb von diesen Gruppen fehlen die Daten zufällig
• NMAR bzw. not missing at random
  • Das Fehlen der Daten ist durch unbeobachtete Daten bedingt. In diesem Fall weiß man nicht, dass kleine Werte fehlen

In der Regel gibt es keine Möglichkeit herauszufinden, welcher Entstehungsmechanismus in einer bestimmten Untersuchung gilt

• auch: Complete Case Analysis
• Personen mit Missing data werden in den Analysen nicht berücksichtigt
• Man geht von MCAR aus. Die verfügbaren Daten unterscheiden sich nicht von den fehlenden Daten (oft unrealistisch)
• Wird durch manche Auswertungstechniken erzwungen (z.B. ANOVA)
  • Unter Umständen wird die Analysestichprobe sehr klein sein (Reduktion von Power und Präzision)
  • Verzerrung der Ergebnisse möglich (MCAR wird angenommen)

• Die Auswertung (Hypothesentestung) wird mit fehlenden Werten durchgeführt
  • Alle verfügbaren Daten werden genutzt, d.h. auch Informationen über Personen, die nicht an allen Messungen teilgenommen haben oder nicht alle Fragen beantwortet haben
  • Vorteil likelihoodbasierter Methoden (Strukturgleichungsmodellierung, Mehrebenenmodellierung) gegenüber ANOVA
• Ggf. kann eine Obergrenze festgelegt werden
  • Bsp. Der Skalenmittelwert wird nur dann bestimmt, wenn höchstens 30% der Daten einer Person fehlen

• Einzelimputation (single imputation): Ersetzung des fehlenden Wertes durch einen Wert
• Multiple Imputation
  • Die Ersetzung der fehlenden Werte wird mehrmals durchgeführt
  • Es entstehen mehrere Datensätze
  • Die Auswertung (Hypothesenüberprüfung) wird mit allen Datensätzen durchgeführt. Betrachtet werden
    • Ergebnisse der Einzelanalysen mit getrennten Datensätzen
    • Gepoolte Ergebnisse
  • R-Pakete: mice, mi, mitml
  • Auch in SPSS möglich, aber die imputierten Daten können nicht immer in weiteren Analysen verwendet werden

• Einfache Techniken werden nicht empfohlen, z.B.
  • Ersetzung der fehlenden Werte durch den Mittelwert, Median oder Modalwert, der anhand der verfügbaren Werte berechnet wurde
  • Einfache regressionsbasierte Imputation: Die fehlenden Werte werden anhand von anderen Variablen (z.B. andere Items, andere Konstrukte) „vorhergesagt“ (vgl. multiple Regression)
  • Probleme:
    • Vorhergesagte Werte sind nicht unbedingt plausibel, z.B. Negative Werte bei Items mit einem Antwortformat 1-5
    • Varianz wird unterschätzt (Lösung: Rauschen kann künstlich hinzugefügt werden)

• Wenn die Hypothesentestung mehrere Variablen involviert (z.B. multiple Regression), die fehlende Werte aufweisen, dann werden zwei komplexere Ansätze empfohlen
  • Joint Modelling (JM): Die fehlenden Werte werden für alle Variablen (z.B. Extraversion, Neurotizismus, Gewissenhaftigkeit) basierend auf der multivariaten Variablenverteilung simultan geschätzt. In der Regel geht man von einer multivariaten Normalverteilung aus (unrealistisch?)
  • Fully conditional specification (FCS): Die fehlenden Werte werden separat für jede Variable anhand ausgewählter Variablen (=conditional) geschätzt
• Imputation kann/soll auch auf solchen Variablen basieren, die nicht zur Hypothesentestung gehören (z.B. demografische Daten)
• Für stabile Ergebnisse werden i.d.R. 5-20 Imputationen benötigt
• Die ergänzten Datensätze können zur Hypothesentestung verwendet werden
• Zunächst wird die Analyse separat mit jedem imputierten Datensatz durchgeführt.
• Die Ergebnosse der separaten Analysen werden auf Schwankungen untersucht

• Muster der fehlenden Daten untersuchen (welche Art von Daten fehlen?)
• Darstellung imputierter Werte:
  • Zeile: Person
  • Spalte: Imputationsdurchgang
• Darstellung der Daten:
  • x-Achse: Imputationsnummer (0 = ohne Imputation)
  • y-Achse: Variablenwert (zB Alter = 20)
  • Blau: verfügbare Daten
  • Rot: imputierte Daten
• Plausibilitätsprüfung: sind die Kombinationen der Variablen in den imputierten Daten sinnvoll (zB Kinder mit Dr = unplausibel)
  • Verwendung von Einschränkungen möglich: zB Bildungsniveau = 5 erst ab Alter = 20 möglich

• Multiple Imputation ist häufig (MAR) besser als andere Methoden, aber auch sie kann u.U. (z.B. NMAR, viele fehlende Werte) die Ergebnisse verzerren
• Plausibilität der imputierten Werte muss überprüft werden (ggfs. kann bei der Imputation der zulässige Wertebereich festgelegt werden)
• In der Praxis gibt es keine Garantie, dass die MAR-Annahme korrekt ist
  • Erhöhung der Plausibilität von MAR durch Berücksichtigung mehrerer Prädiktoren,die fehlende Daten gut erklären können (nicht alle Variablen im Datensatz sind nützlich)

• Z.B. unterschiedliche Strategien des Umgangs mit fehlenden Werten ausprobieren (Imputation, Ignorieren, Löschen) und die Ergebnisse der Hauptanalysen (Hypothesenüberprüfung) miteinander vergleichen
• Ggf. kann der NMAR-Mechanismus modelliert werden
  • Eher schwierig und kann u.U. zu stärkeren Verzerrungen als MAR-Annahmen führen
  • Einfache Variante:
    • Die imputierten Werte anpassen (erhöhen/reduzieren)
    • Beispielsweise könnte man bei Interventionsstudien vermuten, dass v.a. hohe/niedrige Werte fehlen und die imputierten Werte entsprechend anpassen
    • Ändern sich die Ergebnisse stark, wenn solche Modifikationen vorgenommen werden?
• Selbst bei perfekter Übereinstimmung zwischen den angewendeten Strategien keine Garantie, dass die Ergebnisse richtig sind
  • Möglicherweise sind die Annahmen über das Zustandekommen der fehlenden Werte nicht angemessen
  • Replikationsstudien notwendig
• Leider wird der Umgang mit fehlenden Werten nur selten in Forschungsarbeiten adäquat beschrieben

Manchmal kann es sinnvoll sein, die Ergebnisse der Diagnostik/Evaluation in Normwerte (z, T, IQ, Stanine etc.) umzuwandeln, um die Interpretation der Untersuchungsergebnisse zu erleichtern

• Bsp. Auftraggeber/Leser/Gutachter mit einem Psychologie Abschluss, die mit einem konkreten Verfahren nicht vertraut sind, können eher den IQ Wert = 96 als einen Testrohwert 23 interpretieren
• Problem: Welche Ausprägungen sind normal/gut/schlecht/auffällig?
  • Abhängigkeit von der Fragestellung (z.B. was ist wichtiger? Identifikation potentieller Probleme oder Vermeidung unnötiger Interventionen)
  • Z.B. Normale Werte: M+-1SD? 2SD ?
• Rohwerte bzw. Normwerte können bei annähernd normalverteilten metrischen Variablen einfach transformiert werden (alte Skala --> neue Skala):
• Keine Normalverteilung? --> Prozentränge angeben
  • z.B. PR 65: 65% der Population haben diesen oder einen kleineren Testwert

• Entweder getrennt für einzelne Skalen bzw. Merkmale oder für zusammengesetzte Maße, die auf mehreren Merkmalen/Instrumenten basieren
• Anhand von Cut off Werten wird die Klassifikation vorgenommen
  • Bsp. 1: Kranke vs. gesunde Personen
  • Bsp. 2: Geeignete vs. ungeeignete BewerberInnen
  • Bsp. 3: Gute vs. schlechte Maßnahmen
• Bsp. Beck Depressionsinventar (BDI): 8 Als Cut off Wert (Werte 0-8 unproblematisch; 9-63 verschiedenschwere Depressionen)
• Cut-off-Werte können theoretisch oder empirisch bestimmt werden
  • Bei der theoretischen Bestimmung wird willkürlich festgelegt, wann ein Kriterium erfüllt is
    • Bsp. 1: 20 000 verkaufte Exemplare des Produktes als Erfolg
    • Bsp. 2: Verbesserung der sozialen Kompetenz um mindestens 20 Punkte als Trainingserfolg
    • Es kann vorkommen, dass die Kriterien sehr streng sind und von keiner Person erfüllt werden
    • Eine subjektive Bewertung durch die untersuchte Person (z.B. Messung der Therapiefortschritte) ist ebenfalls möglich
      • Zielerreichungsskalen (goal attainment scaling)

• Empirische Cut off Werte basieren auf Vergleichen zwischen Untersuchungsergebnissen und tatsächlichen Zuständen
• Tabelle enthält vier Häufigkeiten mit den möglichen Klassifikationsergebnissen in einer Stichprobe. Sie hängen vom gewählten Cut off Wert ab, d.h. für jeden potentiellen Cut off Wert (z.B. BDI = 8) lässt sich eine Tabelle generieren
  • Richtige Klassifikation beim gewählten BDI Cut off Wert: Richtig Positive, Richtig Negative
  • Falsche Klassifikation: Falsch Positive, Falsch Negative
• Bei der Interpretation individueller Untersuchungsergebnisse wird die Basisrate (Prävalenz) häufig ignoriert
  • Ein positives bzw. negatives Untersuchungsergebnis bedeutet nicht automatisch, dass eine konkrete Person krank bzw. gesund ist (geeignet bzw. ungeeignet usw.)
    • Bsp. Perfekte Sensitivität (= 1) bedeutet lediglich, dass kranke Personen als solche identifiziert werden. Wenn die Spezifität nicht perfekt ist, dann werden gesunde Personen u.U. fälschlicherweise eine Krankheitsdiagnose erhalten
      • Sensitivität soll also nicht mit dem positiven prädiktiven Wert (PPW) gleichgesetzt werden
      • Bei geringer Prävalenz (seltene Störungen, wenig geeignete Personen etc.) wird der positive prädiktive Wert (Erfolgsquote) deutlich schlechter als Sensitivität sein
• Die berechneten Kennwerte können unterschiedlich gewichtet werden, um die optimalen Cut off Werte zu finden
  • Häufig werden Sensitivität und Spezifität gleich gewichtet
  • Prinzipiell sind ungleiche Gewichte möglich (z.B. Sensitivität wichtiger als Spezifität), z.B. Berücksichtigung der Kosten von falschen Entscheidungen (Kosten für die Gesellschaft oder spezifische Interessengruppen:Fehlzeiten , Behandlungskosten, Stigmatisierung
  • Üblicherweise werden Cut Off Werte anhand von ROC Kurven identifiziert (Receiver Operator Characteristic Curve )

• ROC Kurve : Rote Kurve
• AUC (Area under the curve ): Fläche unter der ROC Kurve (.66) --> Wahrscheinlichkeit, dass eine Person mit dem gesuchten Merkmal (z.B. Depression) eher eine positive Diagnose (= krank) als eine Person ohne dieses Merkmal (Gesund) erhält
• Diagonale: Zufallsniveau (line of no discrimination). Die Klassifikation anhand des Tests wäre genauso schlecht wie Zufall (AUC = .5)
• AUC > .5 --> Test besser als Zufall; AUC < .5 --> Test schlechter als Zufall (unbrauchbar)
• Bestimmung des optimalen Cut Offs: Youden Index: Sensitivität + Spezifität 1
  • Cut off Wert für den größten Youden Wert ablesen
  • Grafische Bestimmung des optimalen Cut off Wertes: größte vertikale Distanz zwischen der Diagonalen und der ROC Kurve (grauer Pfeil)
  • Geringste Entfernung zur linken oberen Ecke : Koordinaten (1,1) [oder 0,1 wenn 1 Spezifität auf der x Achse steht]
  • Youden Index und (1,1) Methode führen nicht immer zu denselben Vorschlägen für die Cut Off Werte
  • Sensitivität + Spezifität 1
  • Größter Wert beim optimalen Cut Off Wert - Youden = 1 + 0.55 1= 0.55 --> Cut Off = 8.5

• Statistische Signifikanz (z.B. p < .05) als Bedeutsamkeitsmaß (z.B. Ist die Intervention wirksam?)
• Probleme
  • Abhängigkeit von der Stichprobengröße: Bei großen Stichproben (z.B. N = 5000) werden selbst sehr schwache Zusammenhänge (z.B. r = .03) statistisch signifikant sein
  • Dichotomes Denken: p = .049 bedeutsam und p = .051 nicht mehr?
• Isoliert als Entscheidungskriterium wenig geeignet

• Bestimmung statist . Signifikanz für unterschiedliche Parameter möglich
  • Z.B. Mittelwert , Mittelwertdifferenz, Varianz, Effektstärken
    • Z.B. Mittelwert (95% CI) = M 1.96 * SE; M = 5 [0.03; 9.97]  Statist. signifikant, weil 0 nicht imcKonfidenzintervall liegt
• Vermeintliches Unsicherheitsmaß
  • Breite Intervalle als Zeichen dafür, dass der wahre Wert deutlich kleiner/größer als der berechnete Wert sein kann
    • Nicht unbedingt… (vgl. Morey et al., 2016)
• Konfidenzintervalle werden selbst von Experten (Lehrbücher etc.) falsch interpretiert
• Korrekte Interpretation: Bsp. 95% CI = Hätte man die Untersuchung unendlich häufig wiederholt, dann würde der wahre Wert in 95% der Fälle in den Konfidenzintervallen liegen
  • Die Pluralform ist entscheidend: In jeder Untersuchung könnte man nämlich ein völlig anderes Konfidenzintervall bekommen
  • Es gibt nur zwei Möglichkeiten: entweder befindet sich der wahre Wert im Konfidenzintervall ( p = 1) oder nicht p = 0). Die Wahrscheinlichkeit kann also nicht 95%, 99% etc. betragen
    • Leider wissen wir nicht, ob der wahre Wert in einem konkreten Intervall liegt. Wenn man Pech hat, dann liegen sogar völlig unplausible Werte im Konfidenzintervall
      • Die Nützlichkeit der Konfidenzintervalle sehr umstritten
      • Alternative: Bayessche Statistik, z.B. 95% Credibility interval --> In welchem Bereich liegen die plausibelsten Werte?

= Quantifizierung der Stärke des untersuchten Phänomens

• Mögliche Effektstärkemaße
  • Mittelwertdifferenz
  • Korreltionskoeffizienten
  • risk ration (RR), odds ration (OR) (häufig bei gesundheitspolitischen Fragestellungen; Wertebereich 0; unendlich)
  • Andere Maße: Regressionskoeffizienten (β), Prävalenzrate usw.
• Berechnung der Effekstärken kann über Webseiten oder Softwarepakete erfolgen
• Interpretation:
  • Vorsicht, es gibt unterschiedliche Konventionen zur Deutung der praktischen Bedeutsamkeit (z.B. Wirksamkeit der Maßnahme)
    • Konventionen im Bereich Psychologie (Cohen, 1992)

      	r	d
      Kleiner Effekt	.10	.20
      Mittelgroßer Effekt	.30	.50
      Großer Effekt	.50	.80

  • Die Konventionen von Cohen sind u.U. zu wohlwollend/streng
    • Gignac und Szodorai (2016) analysierten die Verteilung der Effektstärken in 87 Metaanalysen und schlugen die folgenden Cut Off Werte für r im Bereich differentielle Psychologie vor: .10, .20, .30
    • Abhängigkeit von der Fragestellung und vom Forschungsbereich
      • Welche Arten von Variablen werden untersucht? (viele Korrelationen sind <= .33)
      • Die übliche Grenze für große Effekte (r = .50) wird sehr selten erreicht
      • Daher kann es sinnvoll sein, die Effektstärken mit anderen Effekten aus demselben Forschungsbereich zu vergleichen (relative Bewertung)

• Wertebereich: Minus Unendlich; Unendlich
• g als korrigiertes d
  • In kleinen Stichproben |g| < |d|. In großen Stichproben g ungefähr gleich d
  • Glass Delta oft größer als g und d, weil die Streuung der KG häufig kleiner als Streuung der EG ist

• zB Produkt-Moment-Korrelation(r), Spearmans rho, Phi-Koeffizient, Distanzkorrelation etc.
• Wertebereich: meistens -1; +1

• auch "Relatives Risiko" (RR)

• auch Quotenverhältnis, Chancenverhältnis (OR)
• Odds: Erfolgswahrscheinlichkeit (p)/ Misserfolgswahrscheinlichkeit (1-p)
• Odds Ratio: zwei Gruppen werden miteinander verglichen
  • Analog zum RR-Maß: 1 = keine Unterschiede zwischen den Gruppen, die Chancen sind gleich
  • RR und OR sind (fast) gleich bei geringer Prävalenzrate (<10%)

Prävalenz von Depression:

• Daten (D): N = 200, 29 Personen sind depressiv z = 29
• Die Prävalenzrate θ theta ) ist unbekannt und soll geschätzt werden
• Likelihood Funktion : Plausibilität der verfügbaren Daten (D) bei unterschiedlichen Parametervorschlägen θ (Prävalenzrate)
• Für jeden Parametervorschlag ( Prävalenzrate, x Achse) erhält man einen Likelihoodwert (y Achse)
• --> Bild
• In diesem Fall ist es nicht notwendig die Likelihood Werte von mehreren Parameter Vorschlägen zu bestimmen
• Der Maximum Likelihood Vorschlag lässt sich einfach bestimmen 𝑧/𝑁= 29/200= 0.145
• Bei relativ einfachen Auswertungsmethoden (Prävalenzrate, t test etc.) muss die Likelihood Funktion nicht untersucht werden, weil die Lösung (Maximum Likelihood ) eindeutig ist
• Bei komplexen Methoden (z.B. Logistische Regression) müssen unterschiedliche Parametervorschläge ausprobiert werden

Bei komplexen Modellen (z.B. mehr als 2 Gruppen, mehrere Prädiktoren, mehrere AVen , mehrere Messzeitpunkte) können die Ergebnisse (p Werte, Effektstärken etc.) stark zwischen den Modellen variieren und 𝑅2 liegt nicht immer vor (vgl. Pseudo 𝑅2). Welches Modell soll interpretiert werden?

Lösung: Modellvergleiche anhand von Informationskriterien

• Informationskriterien als Quantifizierung der Abweichung eines Modells von der Realität
• Berechnung von Informationskriterien : Üblicherweise werden Likelihood Werte (L) und Modellkomplexität (k) berücksichtigt , z.B
  • Akaike Information Criterion: AIC = 2ln(L) + 2k
  • Bayesian Information Criterion: BIC = 2ln(L) + k*ln(n)
  • Bestrafung komplexer Modelle z.B . viele Prädiktoren im Modell
  • Wertebereich : --∞, ∞ (negative Werte sind besser )

• Likelihood-Ratio-Tests
  • Likelihoods von zwei Modellen werden verglichen
  • Interpretation problematisch (z.B. Vergleich statistisch signifikant, obwohl keine praktisch bedeutsamen Unterschiede vorhanden)
• Modellgewichte (z.B. wAIC)
  • Die Informationskriterien mehrerer Modelle können verglichen werden
  • Unterschiedlich komplexe Modelle können verglichen werden (z.B. 3 vs. 5 Prädiktoren)
  • Modelle mit unterschiedlichen Sets von Prädiktoren können verglichen werden (z.B. 5 Prädiktoren vs. 5 andere Prädiktoren)

= Zusammenfassung der Ergebnisse mehrerer Untersuchungen zu einem bestimmten Thema

• Berechnung der durchschnittlichen Effektstärke
  • Ergebnisse sind generell aussagekräftiger als bei einzelnen Studien
• Quantifizierung und Erläuterung der Unterschiede zwischen den Studien
  • Z.B. wann ist die Intervention (Training interkultureller Kompetenzen, Psychotherapie etc.) besonders wirksam? --> Moderatoranalysen (z.B. Psychotherapierichtung, Kulturkreis)
• Metaanalyse als Entscheidungsgrundlage für wichtige Auftraggeber

• Im Gegensatz zu frequentistischen Verfahren kann bei der bayesschen Modellierung das Vorwissen der Diagnostiker/Evaluatoren berücksichtigt werden
  • z.B. welche Ergebnisse sind plausibel (Vorzeichen, Wertebereich usw.)?
  • --> Diese Annahmen werden als Priors bezeichnet
  • Priors werden mit Daten kombiniert und beeinflussen die Ergebnisse
• Weitere Vorteile: Häufig kleinere Stichproben ausreichend, weniger Konvergenzprobleme bei komplexen Modellen (z.B. logistische Regression, multilevel modelling), Mehr intuitive Interpretation der Ergebnisse (z.B. credibility interval)
• Problem: Wie wird das Vorwissen begründet? • Z.B. „default priors“, Empfehlungen der Experten, frühere Befunde, metaanalytische Ergebnisse

• Das Vorwissen von Diagnostikern/ Evaluatoren wird in Priors umgewandelt
• Priors können für verschiedene Modellparameter spezifiziert werden, z.B.
  • Regressionskoeffizienten
  • Konstante (Intercept)
  • Varianz
• Priors werden mit Hilfe von Verteilungen dargestellt
  • z.B . Normalverteilung, uniforme Verteilung, t Verteilung
  • Der Verteilung kann entnommen werden, welche Werte laut den Forschern plausibel sind (z.B. eher positive Korrelationskoeffizienten)
• Uniforme Verteilungen werden für Priors nicht empfohlen, weil solche Annahmen unrealistisch sind
  • Bsp. 1: I st ein Korrelationskoeffizient von 1 genauso plausibel wie r = .25?
  • Bsp. 2: Sind negative Varianzwerte genauso plausibel wie positive Varianzwerte?
• Priors haben v.a. in kleinen Stichproben einen großen Einfluss auf die Ergebnisse
  • In größeren Stichproben ist der Einfluss nur bei absurden Annahmen groß (z.B. r = 1, keine anderen Werte kommen in Frage), was meistens schnell auffällt, z.B.
    • langsame Auswertung
    • schlechte Diagnostikwerte
    • Vergleich der Auswirkungen unterschiedlicher Priorannahmen

Die Annahmen werden mit Daten kombiniert, um die endgültigen Ergebnisse zu erzielen --> Posterior Verteilung (welche Parameterwerte z.B. Prävalenz sind bei diesen Daten plausibel?)

• Posterior als Kompromiss zwischen Likelihood & Priors (Evidence unwichtig, nur bei bayesschen Modellvergleichen von Bedeutung)

Beispiel:

• 3 verschiedene Priors
  • 1 (rot): Uniforme Verteilung: alle Prävalenzwerte (0 1) sind plausibel
  • 2 (blau): Prävalenzrate ≈ 0 wird angenommen
  • 3 (grün): Prävalenzwerte um .50 werden postuliert (etwas niedrigere oder höhere Werte sind aber möglich)
• Die Likelihood Funktion (mittleres Diagramm) basiert auf denselben Daten und sieht somit in allen drei Fällen gleich aus (29 von 200 Personen sind depressiv)
• Eventuelle Unterschiede in den Posterior Verteilungen sind also auf die Priors zurückzuführen
• --> Bild
• Ähnlich zu frequentistischer Statistik lassen sich Intervalle um den geschätzten Parameter (z.B. Prävalenzrate) bilden --> Credibility interval (highest density interval bzw. HDI)
• Im Gegensatz zu Konfidenzintervallen können credibility intervals intuitiv interpretiert werden
  • Bsp Unter Berücksichtigung der Daten und Prior Annahmen liegen 95.1% der plausibelsten Werte für die Prävalenz im Bereich .13 -.23
    • Quantifizierung der Unsicherheit möglich (breite Intervalle = mehr Unsicherheit) --> Häufig sinnvoll bei Interventionen/Maßnahmen

• Analytische Bestimmung der Posterior Verteilung ist selten möglich, sodass Stichproben aus der Posterior Verteilung gezogen werden (vgl. MCMC)
• Die Form der Posterior Verteilung muss nicht bekannt sein, um aus ihr Stichproben ziehen zu können. Nur die Prior-Likelihood Beziehung muss bekannt sein (vgl. Puppies Folie)
• Markov Chain Monte Carlo (MCMC)
  • Kette von Werten wird generiert. Es handelt sich um Vorschläge für die gesuchten Parameterwerte (z.B. Regressionskoeffizienten b)
  • Bei jeder Durchführung wird eine neue Stichprobe gezogen, sodass eine neue Kette anders aussehen wird
• Die Form der Posterior Verteilung hängt davon ab, wie oft die einzelnen Parametervorschläge besucht wurden (siehe Bild)
• Gute Repräsentation der Posterior Verteilung wird dadurch erreicht, dass Sprünge zwischen Parametervorschlägen erzwungen werden
• Nicht alle Parametervorschläge müssen akzeptiert werden. Plausible Vorschläge für die gesuchten Parameterwerte werden häufiger als schlechtere Vorschläge durch die Algorithmen angenommen

• Kriterium: Neurotizismus
• Präiktoren: Geschlecht (1=m, 2=w) und Alter
• Priors für Regressionsgewichte b:
  • Geschlecht: NV; M=0.2, SD=0.1 -> Es wird angenommen, dass Frauen im Schnitt höhere Werte als Männer haben (Streuung um 0.2)
  • Alter: NV; M=0, SD=0.1 -> Es fehlt Vorwissen zu dem Zusammenhang Neurotizismus und Alter (Streuung um 0)
  • Auch für die Konstante (Intercept) wird eine Prior-Verteilung formuliert
• Mit Hilfe von MCMC werden die Daten und Priors miteinander kombiniert, um die Posterior Verteilung zu schätzen
• Estimate: Punktschätzung für den Parameter (z.B. 𝑏𝑎𝑔𝑒= 0.01). In der Regel der Mittelwert oder der Median der Posteriorverteilung
  • Intercept : Durchschnittliche Neurotizismusausprägung von Männern (gender = 1) im Alter von 0 J. (3.33)
  • age: Neurotizismus „nimmt mit dem Alter ab“ (-0.01 pro Jahr)
  • gender : Frauen (2) haben im Durchschnitt höhere Neurotizismuswerte (um 0.31) als Männer (1)
  • CI: Grenze des Credibility intervals (in welchem Bereich liegen die plausibelsten Parameterwerte
  • R2: 𝑅^2(durch das Modell erklärte Varianz)

Im Rahmen der Untersuchung müssen Diagnostiker/Evaluatoren viele Entscheidungen treffen, was manchmal mit der forking paths Analogie veranschaulicht wird (verzweigte Pfade)

• Wahl der Stichprobenziehungsmethode
• Wahl des Designs
• Wahl der Operationalisierungen
• Wahl der Ausschlusskriterien
• Wahl der Strategie zum Umgang mit fehlenden Werten
• Wahl der Auswertungsmethoden usw.

Diagnostiker/Evaluatoren können also an mehreren Stellen die Ergebnisse der Untersuchung mehr oder weniger bewusst verzerren

--> Transparanz (Dokumentation der Schritte, Open Data etc.) sehr wichtig

Neuerdings werden s.g. Sensitivitätsanalysen oder Multiverse Analysen durchgeführt, um die Robustheit der Ergebnisse zu kontrollieren

• Erhält man ähnliche Ergebnisse bei unterschiedlichen Strategien (z.B. andere Operationalisierungen oder Ausschlusskriterien)?
• Falls die Ergebnisse sehr stark von der gewählten Analysestrategie abhängig sind, dann sind sie nicht robust und diese Unsicherheit muss berichtet werden
• Oft gibt es deutlich mehr als „nur“ ca. 200 Szenarien, aber es ist nicht empfehlenswert/möglich alle Szenarien zu analysieren
• Man soll sich nur auf sinnvolle Szenarien (Operationalisierungen etc.) konzentrieren. Wenn man keine Effekte mit komischen Szenarien findet, dann wird dadurch nichts widerlegt
• Empfehlung: Nicht nur p Werte der Analysen vergleichen, sondern auch andere Informationen (z.B. Effektstärken, Vorzeichen der Effekte)

• Theoretische Überlegung: Wo hätte man etwas anders machen können?
  • Verschiedene Variablen Operationalisierungen
  • Verschiedene Methoden
  • Verschiedene Auschlussmethoden
• Bild:
  • Zellen: p-Werte
  • Abhängigkeit der statistischen Signifikanz von 5 (R, F, EC, ECL, NMO) untersuchungsbezogenen Entscheidungen (grau = p ≤ .05)
  • Man sieht, dass die Ergebnisse sehr stark von den gewählten Strategien abhängig sind (z.B. R2 oder NM03 führen selten zu kleinen p Werten)

Diagnostik/Evaluation erfordert oft eine Integration der Befunde (Testwerte, Effekte), z.B.

• Mehrere Konstrukte sind relevant (z.B. positive und negative Merkmale/Effekte)
• Doppelbelegregel: Verschiedene Methoden wurden verwendet um ein Konstrukt zu erfassen (z.B. Selbstbericht vs. Fremdbericht, Fragebogen vs. Beobachtung)

Im Rahmen von Auswahlverfahren (Personen, Produkte, Maßnahmen) ist eine Unterscheidung zwischen kompensatorischen und non- kompensatorischen Entscheidungsstrategien sinnvoll

• Kompensatorisch
  • Schlechte Ausprägungen bestimmter Merkmale können durch gute Ausprägungen anderer Merkmale kompensiert werden
  • Bsp. Eine relativ niedrige Intelligenzausprägung kann durch hohe Gewissenhaftigkeit kompensiert werden
• Non-kompensatorisch
  • Kompensation durch andere erfasste Merkmale ist nicht möglich
    • Disjunktives Vorgehen = Min. eine Anforderung musst erfüllt sein
    • Konjunktives Vorgehen = Alle Anforderungen müssen erfüllt sein
    • Lexikographische Ordnung
      • Die Wichtigkeit der Merkmale wird festgelegt
      • Vergleich der Kandidat:innen in Bezug auf das wichtigste Merkmal
      • Wenn Ausprägungen im wichtigsten Merkmal gleich, dann zweitwichtigstens Merkmal
• Individuelle Ausprägungen können mit Hilfe von tabellen und Radar plots veranschaulicht werden

Sowohl bei der diagnostischen Veränderungsmessung (z.B. 1. Therapie Sitzung vs. 15. Therapiesitzung) als auch bei der Evaluation von Maßnahmen/Interventionen ist man oft an Effekten interessiert

• Problem: Konzepte wie Wirkung , Wirksamkeit Erfolg und Effekt werden oft austauschbar verwendet
  • Am ehesten wird zwischen Wirksamkeit und Wirkung differenziert
    • Wirksamkeit als Nachweis intendierter erwünschter Effekte
    • Wirkungen können beabsichtigte und unbeabsichtigte positive und negative Effekte umfassen
• Bei der Nutzenbestimmung von Maßnahmen soll man möglichst viele relevante Aspekte berücksichtigen (z.B. psychisches Wohlbefinden, körperliche Konsequenzen, monetäre Vorteile)
• Idealerweise soll die Entscheidungsfindung auf Kosten-Nutzen-Vergleichen basieren, z.B.
  • Netto-Nutzen: 𝑁𝑢𝑡𝑧𝑒𝑛 - 𝐾𝑜𝑠𝑡𝑒𝑛
  • Nutzen-Quote: 𝑁𝑢𝑡𝑧𝑒𝑛 / 𝐾𝑜𝑠𝑡𝑒𝑛
  • Profitrate: (𝑁𝑒𝑡𝑡𝑜−𝑁𝑢𝑡𝑧𝑒𝑛) / 𝐾𝑜𝑠𝑡𝑒𝑛
• Der Nutzen kann z.B. auf mehreren Effektstärken basieren, die sich auf unterschiedliche Outcomes beziehen (z.B. psychisches Wohlbefinden, Reduktion körperlicher Symptome). Ggfs. eine Umrechnung in finanzielle Ersparnisse (z.B. für das Gesundheitssystem, den Steuerzahler usw.)
• Kosten können ebenfalls auf Effektstärken basieren (z.B. negative Wirkungen) oder monetär betrachtet werden (z.B. Behandlungskosten, Fehlzeiten, erforderliche Umstrukturierungen im Unternehmen)

In manchen Bereichen gibt es Datenbanken, die zur Nutzenbestimmung genutzt werden können

• Whatworksgrowth.org: Bewertung von wirtschaftlichen Maßnahmen
• Crime Reduction Toolkit: Bewertung von kriminalitätsbezogenen Maßnahmen
• Education Endowment Foundation: Bewertung von Interventionen im Bildungsbereich

Die verfügbare Evidenz wird manchmal anschaulich zusammengefasst, z.B.

• Effektgröße
• Sicherheit
• Kosten

• Wann ist eine Analyse vollständig? Welche Informationen werden benötigt?
• Die monetäre Umrechnung der Wirkungen ist oft arbiträr (z.B. wie viel ist eine hohe Lebenszufriedenheit wert?)
• Für manche Schätzungen gibt es keine Quellen/Studien, sodass die Annahme nicht unbedingt plausibel ist

• Auftraggeber bzw. Geldgeber verlangen meistens, dass die Untersuchungsergebnisse intern und/oder öffentlich kommuniziert werden
• Die Richtlinien variieren dabei sehr stark (Umfang/Dauer, Sprache etc.)
  • Oral: z.B. Vorträge, Workshops, Persönliche Gespräche
  • Schriftlich: Evaluationsbericht, Gutachten, Fachzeitschriftenartikel
• Verwendung von Tabellen und Diagrammen sinnvoll
  • Begründung: Manche Leser lesen die Texte nicht gründlich

• • Unterschiedliche Anforderungen (Krankenkassen, Gericht usw.):
  • Umfang, Aufbau etc.
• Häufig wird der Konjunktiv verwendet, z.B. „Der Patient berichtete mehrfach, dass er depressiv sei
• Kenntnis der relevanten Gesetze wichtigz.B. § 20 (Strafgesetzbuch) Schuldunfähigkeit wegen seelischer Störungen:
  • "Ohne Schuld handelt, wer bei Begehung der Tat wegen einer krankhaften seelischen Störung, wegen einer tiefgreifenden Bewußtseinsstörung oder wegen Schwachsinns oder einer schweren anderen seelischen Abartigkeit unfähig ist, das Unrecht der Tat einzusehen oder nach dieser Einsicht zu handeln"
    • Krankhafte seelische Störung: Psychosen (z.B. durch Alkohol oder Schizophrenie)
    • Tiefgreifende Bewusstseinsstörung: akute Belastungsreaktion (z.B. Erschöpfung, Ermüdung)
    • Schwachsinn: Intelligenzminderung
    • Schwere andere seelische Abartigkeit: Persönlichkeitsstörungen, Drogenabhängigkeit

• Fachsprache, d.h. Vorwissen in bestimmten Bereichen wird vorausgesetzt
  • Vgl. designspezifische Empfehlungen der APA
    • Z.B. Experimente, Längsschnittstudien, Einzelfallstudien, Metaanalysen, Qualitative Analysen, Mixed methods Studien