Evaluation
Wird eine interne Evaluationsstelle des Bildungsanbieters, die nicht auch hauptverantwortlich für das zu evaluierende Bildungsangebot ist, mit der Evaluation des Angebotes der eigenen Institution beauftragt, handelt es sich um eine Inhouse-Evaluation, einer Unterform der internen Evaluation.
Merkmale interner Evaluation
Internen Evaluationen wird oft zugeschrieben, dass sie schneller seien und weniger Aufwand erforderten, da hier die Evaluierenden mit den organisatorischen und personellen Gegebenheiten besser vertraut seien und über gesicherte Sachkenntnis zum Evaluationsgegenstand verfügten. Sie arbeiteten ohnehin vor Ort und hätten einfachen Zugang auch zu vertraulichen Informationen (Kromrey, 2001, S.118). Damit verbunden ist die Erwartung sowohl einer kostengünstigeren Evaluationsdurchführung, einer größeren Akzeptanz von Ergebnissen als auch einer (potenziell) gesicherten Umsetzbarkeit von Schlussfolgerungen in die Praxis. Doch geraten sie eher in Rollenkonflikte, da sie täglich Umgang mit den Mitarbeitenden der evaluierten Programme haben (Volkov & Baron, 2011, S.107–108), und nicht selten werden die für eine professionelle interne Evaluation erforderlichen Ressourcen und Kompetenzen unterschätzt (Meyer, 2017). Wenn interne Evaluationen – wie in vielen Bundesländern im Schulbereich – als extern auferlegt und mit zusätzlichen Arbeitsbelastungen verbunden werden, kann dies ihren produktiver Beitrag zur Entwicklung von Bildungsangeboten deutlich schmälern (Rückmann, 2016a).
Merkmale externer Evaluation
Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen, oder sie werden von relevanten Informationen ferngehalten, ohne dass sie dies bemerken.
Selbst- und Fremdevaluation
Der Begriff «interne Evaluation» wurde oftmals synonym mit dem Begriff «Selbstevaluation» (Beywl, Bestvater & Friedrich, 2011; Buhren, 2018; Deutsche Gesellschaft für Evaluation, 2004; Hense, 2006), und der Begriff «externe Evaluation» synonym mit dem Begriff «Fremdevaluation» verwendet (Balzer, Frey & Nenniger, 1999, S.406). Im englischsprachigen Raum ist das zweite Begriffspaar nicht verbreitet, und es fehlt gar eine Übersetzung für «Fremdevaluation».
extern/intern und selbst/fremd
Man unterscheidet hier zwei Dimensionen (vgl. Beywl & Balzer, 2016, S.195): Während extern/intern leicht als (Nicht-)Mitgliedschaft operationalisiert werden kann, ist dies für fremd/selbst schwieriger. Diese zweite Unterscheidung kann aus einer kulturellen Perspektive erfolgen. Evaluierende handeln stärker als Insider oder aber als Outsider in Bezug auf Werte, Kultur oder Fachlichkeit des zu evaluierenden Gegenstandes. Demgemäß ist Selbstevaluation in das Werte- und Normengefüge einer Organisation oder eines Programms eingebunden. Hier können auch Professionskulturen eine wichtige Rolle spielen, z.B. von Lehrkräften oder sozialpädagogisch Tätigen, die Evaluationsgegenstände beschreiben und bewerten, für deren Qualität sie qua Funktion und Beruf privilegiert zuständig und verantwortlich sind. Hingegen stehen Fremdevaluierende als Outsider solchen professionellen oder auch weltanschaulich geprägten Qualitätsvorstellungen eher neutral gegenüber – die Bewertungskriterien anderer Stakeholder sind für sie grundsätzlich ebenso gültig (➞ Kapitel 7 und ➞ Kapitel 10).
Um eine Selbstevaluation handelt es sich dann, wenn Evaluierende von ihnen selbst geführte Bildungsmaßnahmen beschreiben und bewerten, und zwar auf dem Hintergrund der von ihnen verantworteten fachlichen Ziele und Qualitätskriterien. In diesem Fall geben sich die Evaluierenden selbst einen Auftrag (oder sie werden von Dritten dazu aufgefordert), den von ihnen fachlich und inhaltlich verantworteten Gegenstand zu untersuchen und zu bewerten. Dies geschieht in aller Regel mit dem Zweck, ihn zu verbessern, also in formativer Absicht. Hingegen ist eine summative Evaluationsrolle in diesem Fall wenig angemessen. Es wird ja eine komplexe Dienstleistung an sich selbst erbracht (Selbsthilfe), bei der Auftragsvergabe, Programmverantwortlichkeit und Evaluationszuständigkeit in einer Hand liegen. Interessenkonflikte sind kaum zu vermeiden und beeinflussen für Dritte womöglich intransparent den Evaluationsverlauf. Die Glaubwürdigkeit einer summativ angelegten Selbstevaluation ist chronisch bedroht (zur Unterscheidung formativ-summativ ➞ Kapitel 3 und ➞ Kapitel 6.1).
Inhouse-Evaluierende können sowohl eine Insider- als auch eine Outsider-Position einnehmen. Mit letzterer werfen sie einen «fremden» Blick auf die Maßnahmen eines Bildungsträgers, wenn sie z. B. nicht selbst Bildungsfachleute sind, sondern aus einem ganz anderen Berufsfeld stammen oder ihre Berufserfahrung z.B. im Gesundheitswesen oder in der Umweltevaluation gesammelt haben – dann sind sie interne Outsider.
Externe schließlich können eine Insider-Perspektive mitbringen, wenn es Fachkolleginnen und -kollegen sind mit einem gleichen Fachhintergrund wie bei den Programmverantwortlichen. Bei dieser Evaluationsart stammen die Evaluierenden aus einer anderen Institution, sind dem konkreten Evaluationsgegenstand also nicht verpflichtet, haben aber ein ähnliches Wertesystem und messen dem Typus des Evaluationsgegenstandes folglich einen grundsätzlich eher hohen Wert bei. Diesen Ansatz kann man als Peer-Evaluation bezeichnen (Gutknecht-Gmeiner, 2007a, 2007b).
Es ist keinesfalls so, dass generell intern Evaluierende besser geeignet wären als Externe, oder Insider versus Outsider. Je nach Situation bringt einmal die eine, einmal die andere Position und Perspektive mehr Vorteile für ein den Standards der Evaluation entsprechendes Vorgehen. Oft bietet sich auch eine Kombination der verschiedenen Evaluationsarten an, wenn z. B. interne Insider die Evaluation steuern und durchführen, dabei mit Unterstützung von externen Outsidern ihr Vorgehen reflektieren und sich methodischen Support sichern (Beywl, Speer & Kehr, 2004).
BEISPIEL 8
Das Direktorium eines großen Bildungsträgers mit einer hauseigenen Evaluationsstelle, die fachkompetent mit auf Bildung spezialisierten Evaluierenden besetzt ist, beschließt, eines seiner einjährigen Hauptprogramme in der beruflichen Weiterbildung zu evaluieren. Nach mehrjährigem Erfolg hinsichtlich Teilnehmendenzahlen und Rückmeldungen von Teilnehmenden und deren Betrieben kommt es in letzter Zeit vermehrt zu Abbrüchen. Sollte sich dies herumsprechen, müsste auch mit einem Rückgang der Teilnehmendenzahlen gerechnet werden. Die Evaluationsstelle wird daher beauftragt, das Programm zu evaluieren und insbesondere herauszuarbeiten, welche Faktoren für die Abbrüche entscheidend sind. Sie soll außerdem klären, wie das Programm angepasst werden kann, damit die Studierbarkeit im vorgegebenen Zeitraum bei Aufrechterhaltung der Ansprüche an die am Ende des Programms vorzuweisenden Kompetenzen gesichert ist. Die gut dreimonatige Evaluation zeigt sowohl im Umfeld (insbesondere Arbeitsmarktlage) wie im Programm selbst liegende Schwachstellen auf, für die in den kommenden zwölf Monaten durch die verantwortliche Programmleiterin Abhilfe geschaffen werden soll (u.a. Mentorensystem, bessere Vorbereitung auf Zwischenprüfungen, bei besonders schwierigen Programmteilen kleinere unterrichtsnahe Selbstevaluationen, die von den Unterrichtenden eigenständig durchgeführt werden, methodisch unterstützt von den Mitarbeitenden der Fachstelle). Nach erfolgter Umsetzung nehmen die Abbrüche zwar deutlich ab, die Teilnehmendenzahlen gehen dennoch langsam zurück. So beschließt das Direktorium, bei einem unabhängigen Evaluationsbüro – das nicht
