aufgenommen, und daraus muss ein jeweils einzigartiges Vorgehen entwickelt werden.
Es wird vielfach gefordert, Evaluationen, wie in Verfahrensanweisungen des Qualitätsmanagements beschrieben, zu standardisieren, indem fixe Musterabläufe festgelegt werden. Hiervon erhofft man sich, Kosten für die Evaluationsplanung zu senken. Darüber hinaus soll es dadurch möglich werden, dass weniger umfangreich ausgebildete Evaluierende eine Evaluation nach engen Vorgaben sicher durchführen können. Auf dem Markt sind einige solcher Evaluationssysteme z.B. für Schulen, die Hochschulbildung oder die betriebliche Weiterbildung erhältlich. Allerdings widerspricht diese Idee einer «Evaluation von der Stange», so attraktiv sie aus Kostenüberlegungen auch sein mag, der Grundannahme, dass Evaluationen Einzelanfertigungen sein müssen – eventuell unter Nutzung einiger vorgefertigter Einzelteile –, um nützliche Ergebnisse für die jeweiligen Adressatengruppen in jeweils einzigartigen Praxissettings zu erzeugen (vgl. Stake, 2004).
Schrittfolgen zur Evaluationsdurchführung als Anhaltspunkt
Um zur Planung maßgeschneiderter Evaluationen systematisch anzuleiten, haben sich in der Praxis sechs- bis zwölfstufige Schrittfolgen bewährt. Das nachfolgend vorgeschlagene Schema greift Erfahrungen auf, wie sie z.B. in Beywl (2007) und Balzer (2005) beschrieben sind. Damit werden Anhaltspunkte für konkrete Planungsarbeiten gegeben. Das Schema darf allerdings nicht als rigides, immer exakt in dieser Abfolge anzuwendendes Strickmuster missverstanden werden. Vielmehr ist es in der konkreten Ausgestaltung den spezifischen Rahmenbedingungen des konkreten Evaluationsprojektes anzupassen. Dabei ist es möglich, einzelne Schritte parallel mit anderen zu planen und durchzuführen, oder während der Bearbeitung einen früheren Schritt nochmals aufzugreifen und an diesem Anpassungen vorzunehmen.
Keine Bevorzugung bestimmter Evaluationsmodelle und Methoden
Die in diesem Buch dargestellte Vorgehensweise favorisiert kein bestimmtes Evaluationsmodell, keine bestimmte Methodik (z.B. qualitativ oder quantitativ) und keine bestimmten Evaluationsgegenstände. Es wird davon ausgegangen, dass Evaluationen je nach spezifischem Gegenstand und Kontext auf unterschiedliche Kombinationen erkenntnistheoretischer und methodologischer Zugänge zurückgreifen müssen. Der Gegenstand und sein Kontext, der Zweck der Evaluation und die Evaluationsfragestellungen entscheiden darüber, wie die skizzierte Schrittfolge konkret angewendet wird, und welchen relativen Stellenwert der jeweilige Schritt hat. Die effektive Vorgehensweise darf nicht vorab aufgrund der Verpflichtung auf bestimmte – aus welchen Gründen auch immer – bevorzugte Evaluations- und Forschungsparadigmen festgelegt werden. Evaluationsplanung verlangt eine aktive, adaptive und dialogische Auseinandersetzung der Evaluierenden mit dem jeweiligen Evaluationsgegenstand in seinem sozialen, ökonomischen und organisatorischen Kontext.
BEISPIEL 1
Es soll ein standardisierter eintägiger Computerkurs zum Thema «Betriebssystem» evaluiert werden. Dieser wird zum einen für Nutzende verschiedener Programmversionen aus Steuerberatungsbüros aus der Innenstadt Frankfurts und zum anderen für Leiterinnen und Leiter von Mikrofinanzagenturen im Süden Sri Lankas angeboten. In beiden Fällen soll untersucht werden, in welchem Maße die Teilnehmenden das im Lernfeld erworbene Wissen im Transferfeld tatsächlich einsetzen, welche Transferhindernisse es gibt und wie diese durch ein optimiertes Transfermanagement im Kurs vermindert werden können.
Anmerkung: In diesem Beispiel liegt ausnahmsweise ein stark standardisierter/standardisierbarer Evaluationsgegenstand vor. In vielen Bildungssettings sind die Evaluationsgegenstände einmalig, erstmalig (Pilotvorhaben oder Modelle), oder es handelt sich um Anpassungen mit starken lokalen Besonderheiten – in all diesen Fällen sind maßgeschneiderte Evaluationen umso mehr erforderlich.
➞ Lösung auf Seite 231
| Übungsaufgabe 5: | ||
| «Kontexte zweier Evaluationen»Lösen Sie nun die Übungsaufgabe 5: Notieren Sie einige Stichwörter zu den Unterschieden der beiden Kontexte im vorangegangenen Beispiel zum Betriebssystem-Umsteigerkurs in Frankfurt bzw. Sri Lanka. Nutzen Sie dafür die Tabellendarstellung mit drei Spalten: A: Kontextmerkmal, B: Frankfurt, C: Sri Lanka | ||
Schrittfolgen sind kein Rezeptbuch
Mit dem nachfolgenden Schema wird ein großer Bogen über die Hauptschritte eines Evaluationsprozesses gespannt, die je nach Kontext und Situation unterschiedliche Bedeutungen und Prioritäten haben. Die Auseinandersetzung mit den einzelnen Schritten wird dabei helfen, begründete Entscheidungen darüber zu treffen, welcher Schritt im spezifischen Fall mit welchem Gewicht zu bearbeiten ist.
Evaluationsprozess
Einen Überblick über den Evaluationsprozess gibt ➞ Abbildung 1. Die detaillierte Darstellung erfolgt in den nachfolgenden Kapiteln.
Abbildung 1: Der Evaluationsprozess
Evaluationsauftrag
Um den Evaluationsprozess ist zumeist ein formaler Rahmen gespannt: der Evaluationsauftrag, ohne den es zu keiner Evaluation kommt. Wenn die Evaluation an einen externen Dienstleister vergeben wird («externe Evaluation», ➞ Kapitel 5.7), kommt es zumeist zu einem schriftlich fixierten Vertrag zwischen Auftraggebenden und Auftragnehmenden. Dies ist z.B. der Fall, wenn die Qualitätsbeauftragte einer Weiterbildungseinrichtung ein Evaluationsbüro mit einer Evaluation zu einem Zertifikatskurs beauftragt. Auch interne Evaluationen werden in Auftrag gegeben; allerdings geschieht dies (leider) oft informell. Dabei kann ein Auftrag viel sicherer durchgeführt werden, wenn beide Seiten einen Konsens über dessen Details erzielt haben und dies auch schriftlich fixieren. Ein Sonderfall ist die Selbstevaluation (➞ Kapitel 5.6), in der eine programmzuständige Person sich selbst den Auftrag gibt, die eigene Maßnahme zu evaluieren.
Evaluationsvertrag mit Blick auf alle nachfolgenden Evaluationsschritte formulieren
Die besondere Herausforderung besteht darin, dass die in den folgenden Kapiteln zu behandelnden Schritte des Evaluationsprozesses in den Evaluationsplan aufgenommen und die vereinbarten Details im Auftragstext festgehalten werden. Ein Vertragsabschluss setzt voraus, dass Einigkeit über zentrale Elemente der Evaluation erzielt worden ist. Was schlussendlich Bestandteil des Vertrages wird und was nicht, muss von Evaluation zu Evaluation neu entschieden werden.
Wie kommt ein Evaluationsauftrag zustande?
Unterschiedliche Abläufe sind möglich, damit ein Evaluationsauftrag zustande kommt (vgl. DeGEval – Gesellschaft für Evaluation e.V., 2007). Die Initiative geht normalerweise von den Auftraggebenden aus. In einer Ausschreibung wird die gewünschte Evaluation beschrieben; sie wird öffentlich bekannt gemacht oder potenziellen Auftragnehmenden (z.B. einem Evaluationsbüro) direkt zugestellt. Die Ausschreibung kann dabei mehr oder weniger ausführlich sein. Im «kurzen» Fall wird das geplante Evaluationsprojekt nur knapp umrissen. Im «ausführlichen» Fall wird der Auftrag durch die sogenannten Terms of Reference (ToR) (Independent Evaluation Group/World Bank, 2011) bzw. das Pflichtenheft (z.B. Widmer, 2005, S.7–9) detailliert beschrieben: der Evaluationsgegenstand und sein Kontext, der Anlass für die Evaluation, der Evaluationszweck, die Evaluationsfragestellungen, die vorgesehenen Nutzenden
