eine Rolle spielen. So mögen Teilnehmende zwar viel gelernt haben, was einem wichtigen Ziel der Schulung entspräche, aber gleichzeitig kann eine Reihe neuer Probleme auftauchen und eine sich in der Evaluation widerspiegelnde Unzufriedenheit erzeugt werden. Darüber hinaus kann eine langweilige Schulung demotivierend statt motivierend wirken, oder Streit zwischen Teilnehmenden kann Kommunikationskanäle nicht öffnen, sondern für lange Zeit verschließen. Und was würde ein Bildungsträger sagen, wenn das eingesetzte Schulungsmaterial derartig gut wäre, dass niemand mehr eine Schulung bucht, dafür aber jeder das Begleitheft erwirbt?
Unübersichtlichkeit bei komplexen Evaluationsgegenständen
Die Erstbeschreibung und das Zielsystem sind Kernelemente einer Gegenstands- oder Programmbeschreibung. Bei größeren, auf längere Zeit angelegten Bildungsmaßnahmen können beide so zahlreiche Daten und Informationen so liefern, dass diese sowohl für die Programmmitarbeitenden als auch für die Evaluierenden schwer zu fassen sind und die Programmbeschreibung unübersichtlich werden kann.
Logische Modelle als Visualisierungen von Evaluationsgegenständen
Um dieser Herausforderung zu begegnen, sind textlich-visuelle Darstellungen entwickelt worden, welche es ermöglichen, die wesentlichen Bestandteile des Programms und ihre Hauptverbindungen auf einen Blick zu sehen. In der Evaluationsfachsprache werden diese als «Logische Modelle» bezeichnet. Der Begriff bringt zum Ausdruck, dass ein (vereinfachtes) Abbild des Programms «modelliert» wird, und dass die gedachte Logik der Abläufe oder des Ineinandergreifens der Programm-Elemente sichtbar gemacht werden soll. Hoch gegriffen kann auch von der «Wirklogik» des Programms gesprochen werden, wobei eine solche Bezeichnung zusätzlich theoretisch begründete und empirisch bewährte Aussagen über die Wirkmechanismen erfordert, welche dazu führen, dass die Interventionen (unter bestimmten, anzugebenden Bedingungen) die angestrebten Zielzustände tatsächlich auslösen. Solche im Vergleich zu Logischen Modellen anspruchsvolleren «Programmtheorien» schließen deren wesentliche Elemente mit ein und sind dabei umfassender und differenzierter ausgearbeitet. Insbesondere werden die für den gedachten Programmablauf und die Verbindungen zwischen den Programmelementen relevanten Annahmen expliziert. Solche Wirkmechanismen werden möglichst durch vorliegende Forschungs- oder Evaluationsergebnisse bzw. für den Evaluationsgegenstand einschlägige Theorien begründet (vgl. Giel, 2013; Haubrich, 2009).
Giel (2013, S. 230) schreibt dazu: «Außerdem ist auch bestehendes Wissen einzubeziehen und auf bereits überprüfte Hypothesen zurückzugreifen. Eine Strategie, die oftmals vernachlässigt wird.» Dabei bieten auf den Bildungsbereich spezialisierte Online-Forschungsdatenbanken leichten Zugang zu einschlägigen Berichten und Fachartikeln. Beispielsweise genannt seien der Deutsche Bildungsserver, das Fachportal Pädagogik und pedocs für Deutschland, die Datenbank der Schweizerischen Koordinationsstelle für Bildungsforschung in der Schweiz, schule.at in Österreich, Eurydice für die EU und das Education Resources Information Center ERIC für den englischsprachigen Raum.
Neben Logischen Modellen und Programmtheorien existieren weitere Wirkmodelle. Balthasar und Fässler (2017) vergleichen z. B. «Logic Model», «Theory of Change» und den «realistischen Evaluationsansatz» miteinander.
Ein sehr einfaches Logisches Modell nutzt Michael Patton in seinen Workshops und Präsentationen. Ein Programm kann stark vereinfacht mit drei Elementen dargestellt werden:
Ein einfaches Logisches Modell für die Planungsphase des Programms
Abbildung 3: Einfaches Logisches Modell nach Patton in der Planungsphase des Programms
Bei Bildungsprogrammen ist die Ausgangslage oft dadurch charakterisiert, dass die Lerneingangssituation bei den Zielgruppen des jeweiligen Bildungsprogramms (IST) gegenüber den gesellschaftlich, von den Finanzierenden des Bildungsprogramms oder von den Teilnehmenden selbst gesetzten Zielen (SOLL) eine Lücke aufweist. Diese wird auch als «Bildungsbedarf» bezeichnet. Um diese Lücke zu schließen oder zumindest zu verkleinern, werden Interventionen geplant – also Bildungsmaßnahmen mit auf die Ziele zugeschnittenen Inhalten und Methoden. Eine wichtige Voraussetzung für einen Programmerfolg ist, dass die drei Elemente gut aufeinander abgestimmt sind, wofür die Programmverantwortlichen ihr Fachwissen zum jeweiligen Bildungsgebiet sowie pädagogisches Fachwissen (u.a. Lerntheorien, didaktische Theorien) einsetzen. Evaluation hat hier die Aufgabe, die Passung der Ziele auf die Bedarfe, die Passung der Interventionen auf die Ziele und die Gesamtkonsistenz des Programmkonzeptes samt seiner grundsätzlichen Umsetzbarkeit zu beschreiben und zu bewerten (vgl. proaktive und klärende Evaluation in ➞ Kapitel 6.1.1)
Ein einfaches Logisches Modell für die Realisierungsphase des Programms
Mit der Umsetzung der Interventionen werden (insbesondere intendierte, also den Zielen entsprechende) Resultate erzielt. Damit verändert sich die Darstellung in Bezug auf das dritte Element:
Abbildung 4: Einfaches Logisches Modell nach Patton in der Realisierungsphase des Programms
Bei den Resultaten handelt es sich im Bildungsbereich meist um Veränderungen oder Stabilisierungen bei den Zielgruppen des Programms (z.B. erweitertes Wissen oder neue Kompetenzen). Auch daraus entstehende Vorteile fallen darunter, wie z.B. Einstieg in das Beschäftigungssystem, beruflicher Aufstieg oder eine Gehaltserhöhung. Diese durch die Detailziele des Programms operationalisierten (gewünschten) Zustände bei den Zielgruppen nennt man auch «Outcomes». Evaluation hat hier die Aufgabe, Informationen darüber bereitzustellen, inwieweit die vorgesehenen Interventionen tatsächlich umgesetzt wurden, in welchem Umfang die Outcomes bei den Zielgruppen erreicht wurden und gegebenenfalls auch, inwiefern dies tatsächlich auf das Bildungsprogramm und seine Interventionen zurückführbar ist (interaktive, dokumentierende und wirkungsfeststellende Evaluation; ➞ Kapitel 6.1.1).
Nutzen der einfachen Logischen Modelle
Bereits diese beiden einfachen Drei-Elemente-Modelle erweisen sich in der Evaluationspraxis als sehr nützlich: Indem die Evaluierenden mit den Bildungsverantwortlichen die Elemente mit konkreten Angaben zum Programm füllen, entsteht ein konkretes und übersichtliches gemeinsames Bild des Programms, das in der weiteren Zusammenarbeit ergänzt oder korrigiert werden kann. Für die Evaluierenden ist es essenziell, dass ihr Bild vom Evaluationsgegenstand möglichst deckungsgleich mit dem der Bildungsverantwortlichen ist. Eine Annäherung beider Sichtweisen, was auch ein Kennenlernen des Gegenstandes seitens der Evaluierenden einschließt, entsteht im Dialog beider Seiten und wird von den Programmverantwortlichen sehr häufig als hilfreich empfunden.
In der Evaluations-Fachliteratur gibt es seit den 1960er-Jahren zahlreiche Gliederungsvorschläge für Logische Modelle mit unterschiedlich vielen Elementen, stärkerer Differenzierung oder bewusster Vereinfachung. Einen kurzen Überblick dazu geben Farrokhzad und Mäder (2014).
Der Programmbaum als anschauliches Logisches Modell
Als eine besonders anschauliche Version eines Logischen Modells hat sich im deutschsprachigen Raum der von Univation entwickelte «Programmbaum» stark verbreitet (vgl. zum Folgenden ausführlich Bartsch, Beywl & Niestroj, 2016). Die Metapher des Baumes (➞ Abbildung 5) streicht die Bedeutung der Outcomes als «Früchte» des Programms heraus. Unter der «Krone» befindet sich der Stamm mit den Programmaktivitäten, welche die Nährstoffe zuführen. Darunter befindet sich das Wurzelwerk, welches das Programm in seiner Umwelt verortet und die Ressourcen für das Programm
