Methodologie und Fachsprache der Evaluation ein. Die Kompetenzen der Datenerhebung müssen Sie entweder bereits aus anderen Studien mitbringen oder durch Bearbeitung von einschlägigen Lehrbüchern zu empirischen Methoden evtl. in Kombination mit entsprechenden Studienangeboten erwerben. Gleiches gilt für die qualitativen und quantitativen Auswertungsverfahren. In den entsprechenden Kapiteln dieses Buches geben wir Literaturempfehlungen, welche durch Internetquellen ergänzt werden.
Für die zweite Auflage wurden alle Kapitel überarbeitet. Das gilt besonders für die ➞ Kapitel 7 (Bewertungskriterien) und 8 (Erhebungsdesign). In ➞ Kapitel 10 ist die Bewertungssynthese ausführlicher behandelt. Neu erarbeitet sind auch die Übungsaufgabe zur Unterscheidung von Fragestellungs-Arten sowie die Ausführungen zur Verbindung von Evaluationsfragestellungen und Erhebungsmethoden in ➞ Kapitel 6. Von den knapp 320 Literaturangaben ist mehr als ein Viertel neu hinzugekommen oder aktualisiert.
Eine exemplarische Erweiterung und Vertiefung bei Erhebung und Auswertung bilden die neu aufgenommenen ➞ Kapitel 14 und 15, welche unter einer evaluationsspezifischen Perspektive in die Konstruktion von Fragebogen sowie in die qualitative Auswertungsmethode Text-Sortier-Technik einführen. Ebenfalls neu ist ➞ Kapitel 16, in dem zwei reale Fallbeispiele den zuvor geschilderten zehnschrittigen Evaluationsprozess illustrieren.
Vielfach wird in späteren Kapiteln das Wissen der vorangehenden vorausgesetzt. Eine Besonderheit besteht darin, dass alle Fachbegriffe nach bestimmten Regeln definiert sind und sie bei jeder Verwendung im Buch stets dieselbe Bedeutung haben. Sie finden die Begriffserklärungen im angehängten Glossar, das – wie einige andere im Literaturverzeichnis aufgeführte aktuelle Publikationen – auf dem noch umfangreicheren Online-Glossar des Evaluationsinstituts Univation basiert (vgl. Schobert, Beywl & Niestroj, 2016). Es ist unter http://eval-wiki.org/glossar/Eval-Wiki:_Glossar_der_Evaluation verfügbar.
Die meisten Kapitel des Evaluationsprozesses enthalten Übungsaufgaben. Diese ermöglichen es, Ziele unterschiedlicher Anspruchsniveaus zu verfolgen, von der Erarbeitung des Begriffsverständnisses über die Anwendung von Wissen auf vorgegebene Fallbeispiele bis hin zum Transfer auf reale Praxisbeispiele aus den Bildungsfeldern, in denen Sie tätig sind. Im Anhang des Buches finden Sie passende Musterlösungen. Für am Selbststudium Interessierte empfiehlt es sich, alle Übungsaufgaben durchzuarbeiten. Wenn Sie in Lerngruppen arbeiten, tauschen Sie sich zu Ihren Lösungen aus. Wenn Sie an einer Präsenzweiterbildung teilnehmen, in der Sie von Evaluationsexpertinnen und -experten begleitet werden, ist auf die Bearbeitung der Übungsaufgaben eventuell zu verzichten.
Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum leichteren Verständnis haben wir diese sinngemäß ins Deutsche übersetzt und die übersetzten Textteile in den Text integriert. In den Kapiteln zur Fragebogenerstellung und zur Text-Sortier-Technik sowie in den beiden Fallbeispielen werden Originaldokumente aus Evaluationen in der Deutschschweiz genutzt, mit leicht abweichender Rechtschreibung.
Sollten Sie bei der Lektüre des Buches auf Fehler oder unklare Passagen stoßen, schreiben Sie uns bitte eine E-Mail an: [email protected].
Lars Balzer und Wolfgang Beywl, Zollikofen und Bern, im Oktober 2018
1 Einstieg ins Thema
Was ist eigentlich eine Evaluation?
Fallbeispiel
Stellen Sie sich einen Weiterbildungskurs zum Thema «Wie erstelle ich meine erste Homepage?» vor, in dem an vier Abenden Basiswissen über die Erstellung von Internetseiten vermittelt wird.
Nachdem dieser Kurs als Pilot gestartet ist, fragen sich die Weiterbildungsverantwortlichen in einem Teamgespräch, wie gut ihre Arbeit eigentlich ist. Nach Kursende gehen die Teilnehmenden ihrer Wege, man trifft sie nicht mehr. Ob mehr Wissen vorhanden ist als zuvor und ob tatsächlich eigene Internetseiten erstellt worden sind, ist den Weiterbildungsverantwortlichen normalerweise nicht bekannt. «Wir brauchen eine Evaluation, um zu überprüfen, ob wir gute Arbeit leisten», schlägt einer der Verantwortlichen vor. Bevor sie einen Evaluationsauftrag an eine interne oder eine externe Evaluationsfachperson formulieren, diskutieren sie die Möglichkeiten.
Erfolg = Zufriedenheit?
Herr Schmidt ist von dieser Idee sogleich begeistert: «Lasst uns doch am Ende des Kurses unsere Teilnehmenden fragen, ob sie mit uns und unserer Arbeit zufrieden sind. Wenn z.B. 85 Prozent von ihnen mit unseren Veranstaltungen zufrieden sind, gerne zu weiteren Veranstaltungen kommen würden und uns weiterempfehlen, können wir doch mit Recht sagen, dass wir Gutes geleistet haben.» – «Ja, das stimmt», ist man sich schnell einig, «doch hilfreicher und interessanter wäre zu wissen, was den restlichen 15 Prozent oder auch den Zufriedenen nicht gefallen hat, damit wir uns weiter verbessern können!»
Erfolg = kurzfristiges Wissen?
«Darüber hinaus», stellt Frau Zbinden fest, «sollten wir mehr wissen als nur, wie zufrieden unsere Teilnehmenden sind. Ich glaube, bei uns geht es auch mal ganz lustig zu und her, und das gefällt allen. Zufriedenheit ist wichtig, denn das erhöht die Chance, dass unsere Kunden wiederkommen. Aber hauptsächlich sollen sie doch etwas lernen.» Kopfnicken macht die Runde. «Wir könnten unsere Teilnehmenden also ergänzend befragen, ob sie etwas gelernt haben.» – «Wobei: Können das unsere Teilnehmenden wirklich selbst beurteilen? Wie wäre es anstelle dessen mit einem Wissenstest am Ende der letzten Stunde? So könnten sie sich einerseits selbst überprüfen, und wir könnten andererseits erkennen, was von den Inhalten tatsächlich behalten worden ist!» – «Ja, das würde uns sicher helfen», ist die einhellige Meinung.
Erfolg = nachhaltiges Wissen?
«Aber was heißt eigentlich ‹behalten›?», wirft Frau Lavric ein. «Ein Wissenstest im Anschluss an eine intensive Fortbildung überprüft vielleicht das Kurzzeitgedächtnis oder den Fleiß, also wie intensiv sich jemand auf die Abschlussprüfung vorbereitet hat. Ist aber nicht vielmehr interessant, was längerfristig noch gewusst wird?» Ratlosigkeit macht sich breit. «Sollen wir unsere Teilnehmenden vielleicht zwei Monate später noch einmal testen?», fragt Herr Schmidt ungläubig, gar nicht mehr so begeistert wie noch zu Beginn der Diskussion. «Und wie sollen wir sie dazu motivieren? Der ganze Aufwand!» Ein leises Stöhnen in der Runde ist nicht zu überhören.
Erfolg = Anwendung?
«Es wird noch viel schwieriger, bei genauer Überlegung.» Frau Lavric spricht sich in Fahrt: «Selbst wenn nach zwei Monaten noch alles richtig gewusst wird, ist das zwar schön, aber unser eigentliches Ziel ist doch, dass die Teilnehmenden nicht nur bei einem Wissenstest gut abschneiden, sondern dieses Wissen auch tatsächlich anwenden. Denn selbst wenn der Wissenstest zu einem späteren Zeitpunkt erfolgreich ablaufen sollte: Wer sagt uns, dass jemand auch vernünftige Internetseiten erstellen kann? Und vielleicht auch tatsächlich solche erstellt hat? Wissensvermittlung ist nur ein Zwischenziel; schöne, funktionelle, sichere und suchmaschinenoptimierte Internetseiten sind hingegen das, was wir eigentlich erreichen wollen.» – «Stimmt, also lasst uns doch die Teilnehmenden zwei Monate nach Abschluss
