und -können verfügen: wie sie zu relevanten und beantwortbaren Evaluationsfragestellungen kommen; wie sie Evaluationspläne an diese Fragestellungen anpassen; wie sie Evaluationskriterien festlegen; welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben; welche methodischen Herausforderungen sie meistern müssen; wie sie gewonnene Daten verarbeiten; wie sie die Nutzung der erzielten Ergebnisse fördern können und vieles Weitere mehr.
Dieses Buch ist ein praxisnaher Leitfaden für die Planung, Durchführung und Bewertung einer Evaluation und bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der dafür erforderlichen Kompetenzen.
Wenn Sie sich mit Unterstützung dieses Buches erarbeiten, wie Sie nützliche und glaubwürdige Evaluationen planen und durchführen, dann nutzen Sie Erfahrungen aus vielen erfolgreichen und oft herausfordernden Lerngeschichten. Personen, die mit verschiedenen Vorgängerversionen dieses Buches autodidaktisch oder in einer der zahlreichen Aus- und Weiterbildungsveranstaltungen gearbeitet haben, hatten es mit unterschiedlichen Problemstellungen und Hindernissen der Evaluation zu tun, und konnten vielfach entsprechende Lösungen für diese finden.
Der vorliegende Text hat seine Wurzeln in Veranstaltungsskripten und Studienbriefen (z.B. Beywl & Balzer, 2009, Balzer & Beywl, 2014) und natürlich in seiner ersten Auflage (Balzer & Beywl, 2015), die mit dem vorliegenden Text grundlegend überarbeitet und erweitert worden ist: Dazu gehören einerseits Ergänzungen und Präzisierungen vorhandener Kapitel. So wird die einheitliche Begriffsverwendung weiter geschärft – z.B. wird nun konsequent die Bezeichnung «Evaluationsprojekt» verwendet, wenn eine geplante oder realisierte Evaluation gemeint ist. Das Wort «Projekt» als eine Klasse von Evaluationsgegenständen wird hingegen wenn immer möglich durch Bezeichnungen wie «Programm» oder «Maßnahme» ersetzt. Ebenso ist das Designkapitel grundlegend überarbeitet, und Evaluationszwecke werden nun konsistenter als verbesserungsorientiert, rechenschaftslegungsorientiert, grundsatzentscheidungsorientiert und wissensgenerierend unterschieden. Die aktuellen Revisionen der DeGEval- und SEVAL-Evaluationsstandards sind eingearbeitet. In der deutschsprachigen Fachliteratur bislang wenig ausgeführte Themen wie die Typisierung von Evaluationsfragestellungen, das Verständnis von «Daten» in der Evaluation, die Festlegung der Evaluationskriterien, die Bewertungssynthese sowie der Einfluss durch Evaluation sind weiter vertieft. Darüber hinaus kommen Kapitel zur Fragebogenkonstruktion und zur Text-Sortier-Technik sowie zwei ausführliche Fallbeispiele hinzu. Sowohl neue wie aktualisierte Literatur ist eingearbeitet.
Der Titel dieses Buches ist ein Vorgriff auf das, was Sie nach einer systematisch durchgeführten Evaluation erreicht haben, und markiert den Abschluss eines Dreischritts:
❙ evaluiert? – Ein legitimer, vielfach notwendiger Checkpunkt, der in der Lebensphase eines Programms anzuwenden ist.
❙ evaluiert! – Ein Planungsentschluss, der gefasst wird, wenn die Evaluation einer Maßnahme als möglich und nutzenversprechend eingeschätzt wird.
❙ evaluiert. – Der Schlusspunkt hinter der Durchführung einer Evaluation, an den sich gelegentlich ein neuer Dreischritt anschließt.
Mit dem im Untertitel genannten «Bildungsbereich» sind auch zahlreiche benachbarte Felder angesprochen. Zum einen sind dies alle Bildungsstufen von der frühen Bildung über die allgemeinbildenden Schulstufen und die grundständige Berufsbildung bis hin zur hochschulischen Bildung sowie der allgemeinen und beruflichen Weiterbildung. Zum anderen sind dies Handlungsfelder der Sozialen Arbeit, des Gesundheitsbereichs, der Verbraucherarbeit, der Beratung, des Coachings und viele andere mehr. Wichtig ist, dass es zumindest im weitesten Sin- ne um intentionales, also zielgerichtetes Lernen geht, das im Rahmen von Programmen stattfindet. Was hier unter einem Programm verstanden wird, schlagen Sie am besten gleich im ➞ Glossar am Ende des Buches nach – das Wort bzw. der Wortbestandteil wird über 500-mal in diesem Buch genutzt. Sie werden das Buch auch nutzen können, wenn das Gegenstandsfeld ein anderes ist als Bildung – vieles lässt sich 1:1 übertragen. Die Erarbeitung der für Evaluationen kennzeichnenden Methodologie wird dadurch erleichtert, dass die Beispiele aus dem Bereich Bildung aus einem für viele bekannten Kontext stammen.
Adressierte dieses Buches sind alle, die sich die fachlichen Grundlagen der Evaluation erarbeiten wollen, um Evaluationen Schritt für Schritt planen und schließlich erfolgreich umsetzen zu können. Angesprochen sind zum einen Studierende in den grundständigen Bachelor-, besonders den Masterstudiengängen im Bereich der Bildungswissenschaften und auch der sozialen Arbeit sowie ihrer Bezugsdisziplinen, u.a. Psychologie, Soziologie und Wirtschaftswissenschaft. Zum anderen richtet sich das Buch an Weiterbildungsstudierende in Programmen, die ein substanzielles Element zur Evaluation enthalten, z.B. im Bereich des Projekt-, Change- oder Qualitätsmanagements. Schließlich gehören auch Fachpersonen in Bildungsorganisationen und -abteilungen, die ihr Wissen und Können im Prozess der Arbeit auf- und ausbauen wollen, zu den Hauptadressierten.
Erfahrene Evaluierende können dieses Buch im Rahmen eines kombinierten Schulungs- und Beratungsangebotes einsetzen. Präsenzzeiten der Teilnehmenden können – wie schon vielfach mit den Vorläufern dieses Buches umgesetzt – durch die vorbereitende Lektüre und evtl. in Kombination mit der Bearbeitung der Übungsaufgaben reduziert werden. Durch ein solches Konzept eines «inverted classroom» kann diese Präsenzzeit effektiver für kollegiale Beratung und Coaching durch Evaluationsexpertinnen und -experten genutzt werden. Dabei kann z.B. eine reale Evaluation über zehn – jeweils durch ein Buchkapitel erläuterte – Schritte geplant und gegebenenfalls danach tatsächlich umgesetzt werden.
Detaillierte Lernziele dieses Buches finden sich je zu Beginn der ➞ Kapitel 2–13. Durch ein intensives Studium dieses Buches können Sie u.a.:
❙ wissenschaftliche Evaluation definieren,
❙ eine systematische Schrittfolge für eine für den Auftrag maßgeschneiderte Evaluation planen,
❙ den jeweiligen Evaluationsgegenstand differenziert beschreiben,
❙ die im Rahmen einer Evaluation zu berücksichtigenden Akteure identifizieren,
❙ Evaluationszwecke und -fragestellungen präzise formulieren,
❙ Kriterien für die systematische Bewertung klären und anwenden,
❙ geeignete Erhebungsdesigns auswählen und Erhebungsmethoden bestimmen,
❙ die Erhebungsarbeiten effizient und flüssig in den Bildungsalltag einbetten, mit einem Schwerpunkt bei Fragebogen,
❙ Auswertungs- und Bewertungsarbeiten konzipieren und abstimmen, mit einer Vertiefung bei qualitativen Daten,
❙ Evaluationsberichte auf die Adressierten zeitlich und inhaltlich abstimmen,
❙ die effektive Nutzung der Evaluation und ihrer Ergebnisse vorbereiten,
❙ sowie Voraussetzungen für eine Evaluation der Evaluation – die sogenannte Meta-Evaluation – schaffen.
Es empfiehlt sich, das Buch von vorne nach hinten durchzuarbeiten. ➞ Kapitel 1 enthält eine kleine Fallbeschreibung dazu, welche Herausforderungen sich schon ganz zu Beginn der Evaluation einer Bildungsmaßnahme stellen. Das Beispiel ist bewusst einfach gewählt. Dennoch entfaltet sich in seinen fiktiven Dialogen bereits die Komplexität, deren Bewältigung auch für erfahrene Evaluierende immer wieder eine große Herausforderung darstellt. In vielen der 39 Beispielkästen der nachfolgenden Kapitel wird auf dieses Eingangsszenario zurückgegriffen. Andere enthalten verdichtete kurze Fallbeispiele von Evaluationen, jeweils bezogen auf das im Kapitel behandelte
