die Festlegung von Evaluationsfragestellungen und Bewertungskriterien. Sie will die Erarbeitung von Interpretationen und Bewertungen transparent und nachvollziehbar, auf Daten basierend und die verschiedenen Perspektiven der Beteiligten und Betroffenen einbeziehend gestalten. Der Anspruch des systematischen, regelgeleiteten, wissenschaftlichen Vorgehens wird ausgedehnt vom Begründungszusammenhang auf den vorgelagerten Entdeckungszusammenhang und den nachgelagerten Verwertungszusammenhang. Dabei droht, dass Evaluation an distanzierter Objektivität verliert. Ein weiteres Dilemma, dem sich Evaluation stellen muss.
➞ Lösung auf Seite 229
| Übungsaufgabe 3: | ||
| «Bewertungsmaßstäbe verschiedener Beteiligter»Lösen Sie nun die Übungsaufgabe 3: Versetzen Sie sich in die folgende Situation und schreiben Sie auf, nach welchen Bewertungsmaßstäben aus der Sicht der verschiedenen Beteiligten diese Bildungsmaßnahme zu bewerten sein könnte. Ergänzen Sie z.B. folgenden Satz: «Für Person x ist besonders wichtig, dass …»Die Volkshochschule in Musterstadt bietet einen Kurs «Internet für Einsteiger» an. Die Teilnehmerschaft, die sich zur ersten Unterrichtsstunde im Kursraum einfindet, ist sehr heterogen. Da sitzt Frau Wunder, die mit ihren 70 Jahren einfach einmal wissen möchte, was es mit diesem ominösen Internet auf sich hat. Sie hat schon viel darüber gelesen, aber wirklich vorstellen kann sie sich nichts darunter.Mitgebracht hat sie ihren Enkel Lukas, der schon toll mit seinem Tablet umgehen kann, dessen Eltern aber wünschen, dass er sich einmal systematisch mit diesem Thema auseinandersetzt.Herr Mazzini wurde von seinem Chef geschickt. Er soll über kurz oder lang die Firmenhomepage betreuen, die schon eine ganze Weile nicht mehr aktualisiert worden ist.Frau Schulze hat ein eigenes Geschäft, und sie sucht nach Möglichkeiten, neue Kundenkreise zu erschließen. Ihr wurde geraten, sich einmal intensiv mit den Möglichkeiten des Internets auseinanderzusetzen.Herr Scheid ist ebenfalls Senior, und dieser neumodische Kram war ihm schon immer suspekt. Da will er doch einmal sehen, was das für Leute sind, die sich stundenlang vor den Computer setzen wollen, und welche vielleicht unlauteren Beweggründe dahinterstecken.Frau Özoğuz ist die Dozentin im Kurs. Sie hat viele Jahre Erfahrung im IT-Unterricht und hat auch schon Senioren- und Kinderkurse gegeben. Am meisten Spaß macht es ihr aber, wenn alle zusammen bei ihr im Unterricht sitzen. Diese Heterogenität sei eine ganz besondere Herausforderung, sagt sie.Herr Felix hat nichts direkt mit dem Unterrichtsgeschehen zu tun, aber als IT-Verantwortlicher in der Volkshochschule Musterstadt ist er für ein kundengerechtes IT-Angebot verantwortlich. Für ihn sind es schwierige Zeiten, denn die Belegungszahlen sind schon seit einigen Semestern rückläufig. Die goldenen Computerzeiten im Schulungsbereich scheinen vorbei zu sein. | ||
Die nachfolgende Definition schließt an die vorangegangenen Ausführungen an und verdichtet die Besonderheiten von Evaluation in den diskutierten Dimensionen. Bei der Verwendung der Definition wird auf die vorangegangenen Abschnitte zurückgegriffen.
DEFINITION
Evaluation ist eine wissenschaftliche Dienstleistung, die für festgelegte Zwecke und nach begründeten Kriterien insbesondere Programme und Maßnahmen beschreibt und bewertet. Die Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.
Nach unserem Verständnis müssen Personen für diese Tätigkeit besonders qualifiziert sein. Das bedeutet aber nicht, dass ausschließlich Personen aus dem Umfeld von Hochschulen und Forschungseinrichtungen mit hoher wissenschaftlicher Expertise für diese Aufgabe infrage kommen. Auch Daten von Evaluationen, die nicht von solchen Forschenden oder in anderen Zusammenhängen als großen Forschungsprojekten erhoben worden sind, können sehr nützlich sein (vgl. Gutknecht-Gmeiner, 2009). Allerdings sind an jede Evaluation Qualitätsansprüche zu stellen, die Thema dieses Buches sind.
Wie ein roter Faden zieht sich dabei die Idee durch das Buch, sowohl bei der Festlegung von Evaluationsfragestellungen und Bewertungskriterien als auch bei der Gewinnung von Informationen und besonders bei der Rückmeldung und Vermittlung der Evaluationsergebnisse Beteiligte wie auch Betroffene angemessen einzubeziehen. So kann eine hohe Nützlichkeit nicht erst der Evaluationsergebnisse (Ergebnisnutzen), sondern bereits des Evaluationsprozesses selbst (Prozessnutzen) unterstützt werden. Dies erfordert eine frühzeitige Planung auch dazu, wie die Verwendung der Evaluation eingeleitet werden soll.
2.3 Evaluation als Qualitätsmanagement bzw. Controlling?
Evaluation wird in diesem Buch als Ansatz dargestellt, der eigenständige wissenschaftliche Grundlagen, ein spezifisches Leistungsspektrum, typische Einsatzfelder und besondere Qualifikationsanforderungen hat und sich darin von anderen Ansätzen substanziell unterscheidet.
Manche Autorinnen und Autoren sehen dies anders, was hier kurz referiert sei.
Evaluation – ein Hilfsmittel der Steuerung?
Stockmann (2007, S.97) subsumiert Evaluation in einem umfassenden Vergleich von Ansätzen – wie anderen «Instrumenten» zur Steuerung im öffentlichen und privatwirtschaftlichen Sektor – unter die Hilfsmittel des Qualitätsmanagements wie Controlling, Balanced Scorecard, Benchmarking, Audit und außerdem das Monitoring, welches wie Evaluation einen stärker sozialwissenschaftlichen Entstehungshintergrund habe. All diese «Managementwerkzeuge […] stellen Instrumente einer modernen an Rationalitätskriterien orientierten Unternehmensführung bzw. Politiksteuerung dar».
Hummel (2001, S.23) schließt sich der Auffassung anderer Vertreterinnen und Vertreter des Bildungscontrollings an, dass Evaluation eine Teilmenge des Controllings sei. Schöni (2009, S.54–57) setzt sich einerseits kritisch davon ab und räumt der Evaluation einen eigenen Stellenwert ein, bezeichnet sie andererseits – wie Bedarfsabklärung, Zielbestimmung und Planung – als «Controlling-Element» in Unternehmen. Auch in seinem Fallbeispiel einer Berufsschule für Weiterbildung (Schöni, 2009, S.158) kommt Evaluation mit Stichwörtern wie «Unterrichts-Evaluation» oder «Service-Evaluation» primär als Verfahren der Datenzulieferung eines umfassenden, systemischen Controllingansatzes zum Einsatz.
Der Auffassung, Evaluation sei im Kern eine Werkzeugsammlung, die sich in Qualitätsmanagement- oder -sicherungssysteme von Unternehmen oder Non-Profit-Organisationen integrieren und unter sie subsumieren lasse, begegnet man häufig bei Qualitätsmanagerinnen und -managern, Qualitätsbeauftragten oder Controllingfachleuten. Diese verstehen unter Evaluation im Wesentlichen die Datenerhebungsinstrumente, die z.B. im Rahmen von Kundenbefragungen oder als Seminar-Feedbackbogen eingesetzt werden. Evaluation wird oft reduziert auf Datenerhebungsverfahren, die meist mit (Kunden-)Zufriedenheitsmaßen arbeiten oder Lernzieltests darstellen. Fragen zu den Quellen und der Legitimität von Bewertungskriterien, der Notwendigkeit von Zielsystemen oder curricularen, didaktisch-methodischen Modellen, der Angemessenheit der Beteiligung verschiedener Anspruchsgruppen bei der Festlegung von Evaluationsfragestellungen oder von Bewertungskriterien für Bildung, die ganze Frage nach Evaluationsstandards sowie der evaluationstheoretische Hintergrund etc. spielen hierbei keine oder eine sehr untergeordnete Rolle.
Evaluation braucht genügend Freiheit und Unabhängigkeit
Der Evaluation werden im Verständnis dieses Buches nicht die unbeschränkten Freiheitsgrade zugestanden, wie Grundlagenforschung sie benötigt. Sie braucht jedoch deutlich mehr Freiheit und Unabhängigkeit, als üblicherweise unternehmensinternen, managementgesteuerten Funktionen wie dem Controlling, dem Benchmarking oder dem Qualitätsmanagement zugestanden wird. Evaluation bewertet nicht nur, sondern macht auch die Bewertungskriterien transparent und damit dem Diskurs zwischen den verschiedenen Stakeholdergruppen zugänglich.
