– zumal solche in öffentlich finanzierten Bildungsprogrammen – demokratischen Aushandlungsprozessen hinreichend öffnen. In den «Standards für Evaluationen» finden sich hierfür zahlreiche Anknüpfungspunkte (DeGEval – Gesellschaft für Evaluation e.V., 2016; SEVAL – Schweizerische Evaluationsgesellschaft, 2016; Yarbrough, Shulha, Hopson & Caruthers, 2011). Dies ist auch die Erklärung dafür, dass Evaluation vorrangig im demokratisch gesteuerten öffentlichen Bereich und in Non-Profit-Organisationen, ja auch in auf öffentliche Legitimation angewiesenen Stiftungen verbreitet ist, während sie in Profit-Organisationen auf enge Felder wie die Weiterbildung beschränkt ist und dort auch in Konkurrenz steht zu anderen, managementnäheren Ansätzen wie dem Bildungscontrolling.
2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung
Evaluationsfeld Bildung
Bildung als ein zentrales gesellschaftliches Handlungsfeld ist durch zahlreiche Wertspannungen und Interessenkonflikte gekennzeichnet. Stichwörter sind: selektive Zugänge, schichtspezifische Beteiligungsquoten, Lernwiderstände, Lernmüdigkeit, Pflicht und Chance zu lebenslangem Lernen. Die gesellschaftlichen und die individuellen Bildungsziele und ihre Abstimmung aufeinander sind ebenso umstritten wie die didaktischen Ansätze, die optimal zu ihnen hinführen. Die wissenschaftlichen oder wissenschaftstheoretischen Positionen der vergangenen 50 Jahre weisen in höchst unterschiedliche Richtungen (Beispiele: geisteswissenschaftliche Pädagogik, Positivismus, Kritische Theorie, Konstruktivismus, Pragmatismus). Die Beschleunigung der Modernisierungszyklen in der Arbeitswelt und die damit erhöhten Anforderungen an eine flexible, individualisierte, passgenaue Aus- und Weiterbildung stellen diesen Bereich vor große Herausforderungen: «‹Mittlere Systematisierung› kennzeichnet auch die internen Strukturen des Weiterbildungsbereichs. Verglichen mit Schule und Hochschule ergibt sich fast ein reziprokes Bild: Wo auf der einen Seite Erstarrung droht, gibt es hier riskante Offenheit und Zerbrechlichkeit» (Faulstich, 2003, S.291).
Gesellschaftliche Relevanz
Evaluation ist ein wissenschaftlicher Ansatz, der die verschiedenen Akteure im Handlungsbereich der Bildung bei der systematischen Beschreibung und Bewertung von Programmen und Maßnahmen unterstützt. Die dafür speziell ausgebildeten Fachleute verwenden Methoden der empirischen Sozialforschung und passen sie an die Erfordernisse der Evaluationszwecke und -fragestellungen an. Evaluationen sind beauftragt – meist von öffentlichen Auftraggebenden, Non-Profit-Organisationen und Stiftungen oder von Personalentwicklungs- und Trainingsabteilungen von Unternehmen. Die Kriterien, nach denen bewertet wird, müssen möglichst früh geklärt werden, oft unter Einbezug mehrerer Beteiligtengruppen. Evaluation erfordert auch Klären und Transparentmachen der Werte, auf deren Basis die Werturteile gefällt werden. Sowohl diese Wertesensibilität als auch eine grundsätzliche Offenheit für Partizipation – auch bei der Festlegung von Wertmaßstäben – unterscheiden Evaluation von Steuerungsansätzen wie Controlling oder Qualitätsmanagement, die als Werkzeuge im Interesse der obersten Leitung von Organisationen fungieren. In der Praxis können sich die verschiedenen Ansätze stark annähern, wobei sie an Alleinstellungsmerkmalen einbüßen (Beispiele hierfür finden sich in Kempfert & Rolff, 2018, Kap. I). Gelegenheiten zur Partizipation erhöhen die Wahrscheinlichkeit, dass Evaluationsergebnisse genutzt werden und dass bereits die Durchführung der Evaluation positive Effekte auf die Bildungsmaßnahme hat.
Inhaltlich folgt dieses Buch der folgenden Position: Systematische Evaluationen sind von unschätzbarem Wert für aktuelle und zukünftige Bemühungen zur Verbesserung der Lebensumstände der Menschheit. «Our position is clear: Systematic evaluations are invaluable to current future efforts to improve the lot of humankind» (Rossi, Lipsey & Freeman, 2004, S.419). Oder, etwas nüchterner: Es kann «die Schlussfolgerung gezogen werden, dass Evaluation noch nie so notwendig war, wie heute» (Stockmann & Meyer, 2014, S.22). Diese beiden Autoren bescheinigen der Evaluation eine bemerkenswerte und globale Erfolgsgeschichte. In neuerer Zeit sei es kaum einem anderen wissenschaftlichen Ansatz gelungen, sich mit vergleichbarem Erfolg zu verbreiten: «In general, the history of evaluation is a remarkable and globally effective success story. It is hard to find another academic approach which has been diffused with comparable success» (Stockmann & Meyer, 2016, S.9). Für die Schweiz halten die Politikwissenschaftler Sager, Widmer und Balthasar (2017, S.313) fest: «Die Entwicklung einer Evaluationskultur in der Schweiz ist gerade in der letzten Dekade weiter vorangeschritten.» Förderlich hierfür dürfte auch die Einführung von Artikel 170 in die Bundesverfassung gewesen sein, der verlangt, dass Maßnahmen des Bundes auf ihre Wirksamkeit hin überprüft werden müssen (Bussmann, 2017). Somit erhielt evaluatives Handeln quasi Verfassungsrang.
➞ Lösung auf Seite 230
| Übungsaufgabe 4: | ||
| «Definitionsmerkmale von Evaluation»Lösen Sie nun die Übungsaufgabe 4: | ||
| a) Woran erkennt man, dass Evaluation eine Dienstleistung ist?b) Begründen Sie, weshalb die Beherrschung sozialwissenschaftlicher Methoden unverzichtbar für die Durchführung professioneller Evaluation ist.c) Benennen Sie, was zur Beherrschung sozialwissenschaftlicher Methoden hinzukommen muss, um gute Evaluationen durchzuführen.d) Wenn ein Computerlehrgang evaluiert werden soll: Was können zwei oder drei ganz unterschiedliche Evaluationszwecke sein?e) Das zentrale Ergebnis in einem Schlussbericht lautet: «75 Prozent der Ziele des Weiterbildungsprogramms, das in den vorangegangenen Kapiteln detailliert beschrieben worden ist, wurden erreicht.» Welches Element fehlt dann offensichtlich, um von einer vollständigen Evaluation sprechen zu können? | ||
VERTIEFUNGSLITERATUR
❙ Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis, 24 (2), 105–131.
❙ Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation – A Systematic Approach (7th ed.). Thousand Oaks: Sage Publications.
1 Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum Verständnis ist die Kenntnis der anderen Sprache allerdings nicht erforderlich, da alle fremdsprachigen Zitate sinngemäß ins Deutsche übersetzt und die übersetzten Passagen in den erläuternden Text um das Zitat herum integriert sind.
3 Evaluationsprozess und Auftrag
| Lernziele von Kapitel 3: | ||
| ❙ Begründen können, weshalb Evaluationen nicht standardisiert nach Rezeptbuch, sondern als Einzelanfertigung erstellt werden müssen❙ Eine systematische Schrittfolge zu Planung und Durchführung von Evaluationen skizzieren können❙ Bestandteile von Evaluationsauftrag und -vertrag benennen können | ||
Nachdem Evaluation als wissenschaftliche Dienstleistung definiert und abgegrenzt worden ist, soll nun geklärt werden, wie eine Evaluation systematisch geplant und durchgeführt wird, und wie entsprechende Vereinbarungen zwischen den beteiligten Parteien festzuhalten sind.
Erarbeitung eines Evaluationsplans
Wie im einleitenden Kapitel herausgearbeitet, sind die Erarbeitung eines Evaluationsplans und seine Umsetzung herausfordernde Aufgaben. Jede Evaluation findet in einem zu identifizierenden organisatorischen,
