Seit einigen Jahren wird in verschiedenen Wissenschaftsbereichen eine „Replikationskrise“ diskutiert, da viele Studien nicht durch Replikation bestätigt werden konnten. Das Projekt „Konzeptuelle Replikationen“ untersucht Faktoren, die die Replizierbarkeit von Forschungsergebnissen beeinflussen. Ziel des methodologischen Projektes ist es, einen Überblick über Faktoren zu geben, die die Replizierbarkeit in verschiedenen Disziplinen beeinflussen, und Richtlinien für die Durchführung systematischer Replikationsstudien bereitzustellen.

Dabei werden insbesondere disziplinäre Herausforderungen für Replikationsstudien untersucht, mit Berücksichtigung von verschiedenen psychologischen Disziplinen, die im Fokus der Replikationskrise stehen (Sozialpsychologie, Kognitionspsychologie, Pädagogische Psychologie). Zentrale Anliegen des Projekts sind die Entwicklung, die Evaluation und der interdisziplinäre Vergleich von Design- und Analysetechniken zur Untersuchung von Replikationsfaktoren.

Das Projekt ist in das DFG-Schwerpunktprogramm SPP 2317 integriert: Ein metawissenschaftliches Programm zur Analyse und Optimierung der Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften (META-REP).

Konzeptuelle Replikationen werden durchgeführt, um die Stabilität von Studienbefunden unter veränderten Bedingungen zu prüfen. Dabei liegt der Fokus auf der Frage, ob Abwandlungen im Untersuchungsdesign den Studienbefund kritisch beeinflussen.

Anforderungen an die systematische Ausgestaltung von Replikationsstudien wurden unter anderem von der National Science Foundation und dem Institute of Education Sciences, U.S. Department of Education (2018) formuliert. Die dort beschriebene gezielte Variation von Studienfaktoren wurde jedoch nur selten in die Praxis umgesetzt. Das Causal Replication Framework (CRF) von Vivian Wong (Universität Virginia) und Peter Steiner (Universität Maryland) bietet eine theoretische Grundlage für Replikationsstudien und eine Anleitung zur systematischen Variation von Studienfaktoren. Ausführliche Informationen zum Framework, zu designbasierten Replikationsansätzen sowie zu Analysetechniken für die Sicherstellung und Prüfung der CRF-Annahmen finden sich auf der Website Collaboratory Replication Lab (edreplication.org). Bislang wurde das CRF für konzeptuelle Replikationen in der pädagogischen Psychologie angewandt. In Verbindung mit diesen Arbeiten, wird das CRF in diesem Projekt für verschiedene Disziplinen nutzbar gemacht und es werden praktische Beispielstudien sowie Richtlinien für die Durchführung konzeptueller Replikationen zur Verfügung gestellt. Damit soll die Lücke zwischen dem theoretischen CRF, den Design- und Analysemethoden und der Anwendung in inhaltlichen Forschungsfeldern geschlossen werden. 

• Literaturreview zur aktuellen Praxis: Überblick über die gezielte Variation von Studienfaktoren bei konzeptuellen Replikationen
• Studienaufbau und Präregistrierung: Design von iterativen Replikationsstudien in der Sozial- und Kognitionspsychologie basierend auf dem Causal Replication Framework
• Implementierung und Datenmanagement: Durchführung der Replikationsstudien
• Datenanalyse und Zusammenfassung der empirischen Ergebnisse: Untersuchung der Einflussfaktoren für Effektheterogenität innerhalb und zwischen den Disziplinen
• Ableitung von Richtlinien: Meta-Perspektive zu Design und Analysemethoden für konzeptuelle Replikationen
• Ergebnistransfer und Informationsverbreitung: Workshops und Online-Material

• Projektleitung am LIfBi: Dr. Marie-Ann Sengewald
• Antragstellung:
  • Dr. Marie-Ann Sengewald / LIfBi
  • Prof. Dr. Steffi Pohl / Freie Universität Berlin
  • Prof. Dr. Anne Gast / Universität Köln
  • Dr. Mathias Twardawski / Ludwig-Maximilians-Universität München

• Projektlaufzeit: 01/2022 – 12/2024
• Förderer: Deutsche Forschungsgemeinschaft, DFG-Schwerpunktprogramm SPP 2317: Ein metawissenschaftliches Programm zur Analyse und Optimierung der Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften (META-REP)

• Link zu dieser Seite: www.lifbi.de/Konzeptuelle-Replikationen