Sprach- und Schriftsprachförderung wirksam gestalten: Evaluation umgesetzter Konzepte. Группа авторов

      4 Besondere Herausforderungen für die Arbeit der Projekte und Konsequenzen für die Reichweite und Belastbarkeit der Ergebnisse

      Aufgrund der spezifischen Bedingungen, unter denen die Evaluationsprojekte im Rahmen von BiSS geplant werden mussten, ergaben sich für die Projektteams einige strukturelle, konzeptionelle und methodische Herausforderungen bei der Durchführung der Vorhaben, die sich von klassischen Forschungsprojekten unterscheiden. So konnten einige Rahmenbedingungen der Projektdurchführung (z. B. Rekrutierung der Stichprobe, Entwicklung und Ablauf der Intervention) nicht vorab von den wissenschaftlichen Projektteams geplant bzw. mit den Verbünden abgestimmt werden, da diese in der Regel feststanden und die Durchführung der Maßnahmen in den Verbünden bereits erfolgte. Gleichzeitig waren den Wissenschaftlerinnen und Wissenschaftlern die Details zur Arbeit in den Verbünden zum Zeitpunkt der Antragstellung nicht bekannt. Entsprechend mussten die Evaluationsteams ihr Evaluationsdesign sowie teilweise auch Fragestellungen und Methoden der Datenerhebung und -auswertung im Verlauf des Projekts auf die teils sehr unterschiedlichen und sich verändernden Bedingungen in den beteiligten Verbünden bzw. in einzelnen Einrichtungen abstimmen. So lagen beispielsweise im Vorfeld der Antragstellung nur allgemeine Informationen über die strukturellen Bedingungen und Vorgehensweisen in den Verbünden vor. Diese veränderten sich bis zum Projektstart oder auch während der Projektlaufzeit mitunter, sodass das Evaluationsdesign teilweise mehrfach angepasst werden musste. Aufgrund der maximal dreijährigen Projektlaufzeiten führte dies wiederum dazu, dass einzelne Fragestellungen nicht wie geplant untersucht werden konnten. Als besondere Herausforderung erwies sich in vielen Projekten zudem die ausgeprägte Fluktuation von Fach- und Lehrkräften bzw. von gesamten Einrichtungen, was teilweise einen hohen Datenausfall zwischen den Messzeitpunkten zur Folge hatte. Dadurch wird sowohl die Belastbarkeit und Aussagekraft der Ergebnisse als auch deren Nutzung für eine kontinuierliche Weiterentwicklung der umgesetzten Maßnahmen im Rahmen formativer Evaluationsprozesse eingeschränkt.

      Eine weitere Herausforderung ergab sich aus der konzeptionellen Anlage der Evaluationsprojekte, die eine besondere Form der Zusammenarbeit von Praxis und Wissenschaft vorsah. Um mit der Evaluation dem Standard der Nützlichkeit (DeGEval, 2002, 2016) gerecht zu werden, also den tatsächlichen Informationsbedürfnissen der Beteiligten zu entsprechen, sollten sich diese zunächst über die Ziele der Evaluation verständigen. Häufig wurde zu Beginn der Projektarbeit jedoch deutlich, dass die Evaluationskonzepte, die die Wissenschaftlerinnen und Wissenschaftler basierend auf eingeschränkten Informationen im Rahmen der Projektbeantragung entwickelt hatten, nicht immer mit den Interessen der Praktikerinnen und Praktiker übereinstimmten. Über einen intensiven Austausch mit den Praktikerinnen und Praktikern konnte in vielen Fällen Transparenz zum geplanten Vorgehen geschaffen, ein Kompromiss gefunden und sich auf gemeinsame Ziele verständigt werden. In diesem Prozess war die Funktion der Verbundkoordinatorinnen und -koordinatoren, zwischen Praxis und Wissenschaft zu vermitteln, von zentraler Bedeutung. Nicht immer konnte den Beteiligten jedoch der Nutzen der Evaluation im Projektverlauf verdeutlicht werden, was die Zusammenarbeit teilweise erschwerte.

      Insbesondere bei den formativen, prozessbegleitenden Evaluationen erwiesen sich die dreijährigen Projektlaufzeiten als deutlich zu kurz. Da im Rahmen des BiSS-Programms primär Maßnahmen evaluiert wurden, die aus der Praxis heraus (Bottom-up) entstanden waren, erforderten die formativen Prozessevaluationen, bei denen es um die gemeinsame Weiterentwicklung der Maßnahmen ging, einen intensiven, kooperativen und gleichberechtigten Austausch über die Ziele der Evaluation, ein gemeinsames Arbeitsprogramm und gemeinsame Begrifflichkeiten sowie eine klare Rollenklärung. Ein solcher Prozess braucht Zeit, wofür eine dreijährige Projektlaufzeit kaum ausreichte. Insbesondere in den vergleichsweise umfangreichen Projekten mit vielen Verbünden und Einrichtungen, die über mehrere Länder verteilt waren, konnten die Abstimmungen mit der Praxis zumeist nicht in ausreichendem Umfang erfolgen.

      Ergebnisse, die die Wirksamkeit der Maßnahmen betreffen, sind zudem dadurch eingeschränkt, dass die teils unterschiedlichen Bedingungen zwischen Verbünden sowie die häufig sehr kleinen Stichproben kaum verallgemeinernde Schlussfolgerungen zulassen. Die Erkenntnisse bleiben daher oft auf die spezifischen regionalen Rahmenbedingungen der untersuchten Verbünde begrenzt. Zudem konnte häufig keine Kontrollgruppe einbezogen werden, wodurch sich in vielen Fällen nicht ausschließen lässt, dass etwaige Fördereffekte natürliche Entwicklungen abbilden, die auch ohne die besondere Förderung aufgetreten wären, oder dass sie auf andere Einflussfaktoren zurückzuführen sind. Einschränkungen in der Aussagekraft der Ergebnisse ergeben sich überdies daraus, dass der Zeitpunkt der Evaluation nicht auf Fortbildungs- oder Förderzyklen abgestimmt werden konnte, d. h. teilweise setzte die Evaluation zu einem Zeitpunkt ein, zu dem die Professionalisierung von Fach- und Lehrkräften bereits begonnen hatte, sodass die Ausgangsbedingungen vor der Maßnahme nicht mehr erfasst werden konnten. Gleiches gilt für Follow-up-Erhebungen, die in fast keinem Evaluationsprojekt realisiert werden konnten, für Aussagen über eine längerfristige bzw. nachhaltige Wirksamkeit aber wesentlich sind.