Mehrebenen-Designparameter und Beurteilungsmaßstäbe von Effektgrößen für die Kompetenzentwicklung von Schülerinnen und Schülern
Ziel
MULTI-DES ist das erste Projekt, das systematisch Designparameter und Beurteilungsmaßstäbe von Interventionsstudien im Bildungsbereich im Mehrebenenkontext des deutschen Schulsystems untersucht. Es trägt damit wesentlich zur Evidenzbasierung im Bildungswesen bei.
Das Projekt MULTI-DES ist federführend an der Universität Potsdam (Prof. Dr. Martin Brunner, Professur Quantitative Methoden in den Bildungswissenschaften) angesiedelt. Mitwirkend tätig sind Prof. Dr. Oliver Lüdtke (IPN Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik, Kiel) und Prof. Dr. Cordula Artelt (LIfBi Leibniz-Institut für Bildungsverläufe, Bamberg).
Hintergrund
Die Entwicklung evidenzbasierter Bildungspolitik und -praxis hängt von der Verfügbarkeit belastbarer Forschungsergebnisse ab. Um zu prüfen, ob pädagogische Maßnahmen in der Praxis wirken, sollten Interventionsstudien im Bildungsbereich in ökologisch-validen Settings durchgeführt werden. Dafür werden oftmals Cluster-Stichproben gezogen, in denen vollständige Gruppen (z.B. ganze Schulen) zufällig den experimentellen Bedingungen zugewiesen werden.
Um eine ausreichende statistische Power sicherzustellen, muss die Stichprobengröße dieser sogenannten „cluster-randomisierten Studien“ sorgfältig geplant werden, d.h. wie viele Schülerinnen und Schülern, Klassen und Schulen erfasst werden müssen. Für die Qualität dieser Studien sind mehrere Designparameter essentiell:
- Die Intraklassenkorrelationen, die Kompetenzunterschiede von Klassen innerhalb von Schulen bzw. zwischen Schulen quantifizieren sowie
- die durch Kovariaten (z.B. Prätestwerte) erklärte Varianz auf Individual-, Klassen- und Schulebene.
- Empirisch fundierte Beurteilungsmaßstäbe von Effektgrößen, um die Ergebnisse von Interventionsstudien zu interpretieren. Sie sind besonders wichtig, um beurteilen zu können, wie stark die Interventionen auf die Kompetenzentwicklung der Schülerinnen und Schülern wirken.
- Und schließlich die sorgfältige Abstimmung von Designparametern und Beurteilungsmaßstäben auf die Zielpopulation.
Vorgehen
Im Projekt MULTI-DES werden nun erstmals diese Designparameter und Beurteilungsmaßstäbe im Mehrebenenkontext des deutschen Schulsystems untersucht. Dazu werden vier Studien durchgeführt, die auf den repräsentativen Daten von drei deutschen, längsschnittlich angelegten Large-Scale-Assessmentstudien basieren: das Nationale Bildungspanel (NEPS), die nationale Erweiterung der internationalen PISA-2003-Studie (PISA-I+) und die DESI-Studie (Deutsch-Englisch-Schülerleistungen-International).
- Studie 1 untersucht für cluster-randomisierte Studien Designparameter für die generelle Schülerpopulation und für verschiedene Schularten.
- Studie 2 analysiert, inwiefern verschiedene Kovariaten die statistische Power und Schätzgenauigkeit von cluster-randomisierten Studien verbessern.
- Studie 3 untersucht das durchschnittliche Kompetenzwachstum als Beurteilungsmaßstab von Effektgrößen für die generelle Schülerpopulation und getrennt nach Schulformen.
- Studie 4 beschäftigt sich schließlich mit Kompetenzunterschieden zwischen leistungsschwachen und durchschnittlichen Schulen als Beurteilungsmaßstab.