Im Rahmen der Untersuchung müssen Diagnostiker/Evaluatoren viele Entscheidungen treffen, was manchmal mit der forking paths Analogie veranschaulicht wird (verzweigte Pfade)

• Wahl der Stichprobenziehungsmethode
• Wahl des Designs
• Wahl der Operationalisierungen
• Wahl der Ausschlusskriterien
• Wahl der Strategie zum Umgang mit fehlenden Werten
• Wahl der Auswertungsmethoden usw.

Diagnostiker/Evaluatoren können also an mehreren Stellen die Ergebnisse der Untersuchung mehr oder weniger bewusst verzerren

--> Transparanz (Dokumentation der Schritte, Open Data etc.) sehr wichtig

Neuerdings werden s.g. Sensitivitätsanalysen oder Multiverse Analysen durchgeführt, um die Robustheit der Ergebnisse zu kontrollieren

• Erhält man ähnliche Ergebnisse bei unterschiedlichen Strategien (z.B. andere Operationalisierungen oder Ausschlusskriterien)?
• Falls die Ergebnisse sehr stark von der gewählten Analysestrategie abhängig sind, dann sind sie nicht robust und diese Unsicherheit muss berichtet werden
• Oft gibt es deutlich mehr als „nur“ ca. 200 Szenarien, aber es ist nicht empfehlenswert/möglich alle Szenarien zu analysieren
• Man soll sich nur auf sinnvolle Szenarien (Operationalisierungen etc.) konzentrieren. Wenn man keine Effekte mit komischen Szenarien findet, dann wird dadurch nichts widerlegt
• Empfehlung: Nicht nur p Werte der Analysen vergleichen, sondern auch andere Informationen (z.B. Effektstärken, Vorzeichen der Effekte)