bereits vorhandene Informationen und Daten, relevante Termine, das vorgesehene Budget, die verlangten Evaluationskompetenzen, einige methodische Richtlinien, die Gliederung des erwarteten Angebots sowie Hinweise zur Beurteilung der eingehenden Angebote. Potenzielle Evaluierende bewerben sich, stellen eventuell Rückfragen und unterbreiten ein Angebot. Aus den eingegangenen Angeboten wählen die Auftraggebenden (gegebenenfalls unter Rücksprache mit übergeordneten Stellen) aus. Alternativ kommen Aufträge ohne Ausschreibung zustande, z.B. beim «Einholen eines einzigen Angebots bei einem besonders vertrauten oder als besonders kompetent geltenden Experten» (Wottawa & Thierau, 2003, S.113).
Je nach Erfahrungen der Auftraggebenden mit Evaluation und mit dem zur Verfügung stehenden Budget variieren Umfang und Detailliertheitsgrad einer Ausschreibung.
Selten geht die Initiative zu einer Evaluation von den Auftragnehmenden aus, wie z.B. bei der Durchführung des Vorhabens im Rahmen einer Qualifizierungsarbeit (z. B. Diplomarbeit, Masterarbeit, Dissertation).
Ausrichtung des Evaluationsauftrages: formative oder summative Evaluation
Unabhängig vom Zustandekommen des Evaluationsauftrages führt dessen Ausrichtung zu einer frühen Weichenstellung des gesamten Evaluationsvorhabens:
SCHLÜSSELAUSSAGE
Bereits in der Ausschreibung bzw. im Rahmen erster Vorgespräche ist entweder explizit geklärt – oder es ist implizit enthalten – ob die durchzuführende Evaluation eher eine formative oder eine summative Evaluationsrolle einnehmen soll oder eine Mischform von beiden. Diese entscheidende Weichenstellung ist prägend für die spätere Evaluationsdurchführung.
Die formative Evaluation soll zur optimalen «Ausformung» des Evaluationsgegenstandes, also z.B. einer noch im Erprobungsstadium befindlichen Bildungsmaßnahme, beitragen. Sie führt oft zu einer Veränderung oder einer Stabilisierung eines Programms. Hingegen will die summative Evaluation einen «Summenstrich», eine Bilanz zum Evaluationsgegenstand ziehen, damit sich die Beteiligten und Betroffenen ein zusammenfassendes Bild von seinem Wert machen können bzw. damit sie eine Basis für zu treffende Grundsatzentscheidungen haben, also z.B. Fortführung oder Einstellung, Ausweitung oder Verkleinerung eines Bildungsprogramms.
Je nach Reifegrad eines Programms können Evaluationen unterschiedliche Funktionen erfüllen, z.B. eine klärende oder interaktive Funktion (eine Domäne der formativen Evaluation), oder sie sollen die Umsetzung einer schon im Regelbetrieb befindlichen Maßnahme dokumentieren oder ihre Wirkung feststellen (eine Domäne der summativen Evaluation). Verbesserung oder Stabilisierung sind typische Zwecke einer formativen Evaluation; in summativen Evaluationen geht es meist um Rechenschaftslegung oder Grundsatzentscheidungsfindung (ausführlich in ➞ Kapitel 6.1).
Auftraggebende wünschen sich oft gleichzeitig eine formative und eine summative Evaluationsrolle. Werden diese gleichrangig und zeitgleich eingenommen, können die Durchführbarkeit und Genauigkeit (zu diesen beiden von insgesamt vier Bewertungsdimensionen ausführlicher in ➞ Kapitel 13) einer Evaluation gefährdet werden, da z.B. Mitarbeitende angesichts anstehender Grundsatzentscheidungen taktisch antworten und es damit erschwert wird, die verbesserungsbedürftigen Schwächen eines Programms zu entdecken. Es empfiehlt sich daher, entweder klare Prioritäten zu setzen oder aber eine Phaseneinteilung vorzuschlagen, indem zunächst die formative und dann die summative Evaluationsrolle eingenommen wird.
Finanzierung
Die notwendigen Mittel stammen zumeist von der ausschreibenden Institution; manchmal stehen den Evaluierenden eigene Haushaltsmittel zur Verfügung. Auch eine komplette Fremdfinanzierung über Stiftungs- oder sonstige Fördermittel ist möglich. In besonderen Fällen (z.B. bei Qualifizierungsarbeiten) steht kein Budget zur Verfügung, und der Aufwand muss entsprechend klein gehalten werden.
Abschließende Auftragsklärung und schriftliche Fixierung
Sind die Evaluierenden ausgewählt, kommt es zur mündlichen Auftragsklärung mit den Auftraggebenden. Es werden Details des in den folgenden Kapiteln geschilderten Evaluationsprozesses besprochen und möglichst schriftlich fixiert. Dies wird zugleich Bestandteil des rechtsverbindlichen oder im Innenverhältnis gültigen Vertrages.
Die Aushandlung eines Vertrages ist sorgfältig vorzunehmen. Hier treffen erstmals die Vorstellungen der Auftraggebenden (die sich auch innerhalb dieser Gruppe unterscheiden können) auf diejenigen der Auftragnehmenden über das zukünftige Evaluationsprojekt.
Verantwortlichkeiten
Es ist wichtig festzuhalten, dass nach Auftragsvergabe die Verantwortung und Entscheidungskompetenz für die Durchführung der Evaluation bei den Auftragnehmenden liegen. Dies ist von entscheidender Bedeutung dafür, dass Letztere aus einer unabhängigen Position handeln können und der Evaluation und ihren Ergebnissen hohe Glaubwürdigkeit zugemessen werden kann.
In Bezug auf die verschiedenen Evaluationsschritte gibt es solche, bei denen die Evaluierenden aufgrund ihrer fachlichen Kompetenz Vorrang und letztinstanzliche Entscheidungsbefugnis haben sollen. Dies gilt insbesondere für die Schritte «Auswahl von Erhebungsdesign und -methoden» (➞ Kapitel 8), «Durchführung der Erhebungen» (➞ Kapitel 9), «Datenauswertung, Interpretation und Bewertungssynthese» (➞ Kapitel 10) sowie «Berichterstattung» (➞ Kapitel 11), wobei hinsichtlich der Ergebnisvermittlung die Auftraggebenden wiederum stärker einzubeziehen sind.
Hingegen sind die Interessen und Bedarfe der Auftraggebenden, aber auch weiterer Akteure bei den anderen Schritten vorrangig zu berücksichtigen; die Evaluierenden treten hierbei in eine Moderations- oder Beratungsrolle zurück.
Ein guter Evaluationsauftrag braucht Zeit
Je mehr bereits im Vertrag an Vorarbeit zu den verschiedenen Punkten geleistet worden ist, desto weniger Klärungsbedarf entsteht im Verlauf der Evaluation. Damit weiterhin genügend Flexibilität erhalten bleibt – denn schnell kann sich Grundlegendes im Evaluationsgegenstand selbst (z.B. Neukonzeption eines fehlgeschlagenen Teilkurses) oder seinem Kontext (z.B. neue Förderrichtlinien der Arbeitsagentur für Qualifizierungsmaßnahmen) ändern –, müssen Öffnungsklauseln enthalten sein: Wann können Neuverhandlungen begonnen werden und durch wen werden sie ausgelöst? Wie kurzfristig verpflichten sich die Vertragsparteien, auf dringende Anfragen zu reagieren? In jedem Fall muss für die Phase der Auftragsklärung und -fixierung genügend Zeit eingeplant werden.
Konkrete Vertragsinhalte als Fixierung des Auftrages
Konkret sind die folgenden Punkte Bestandteil eines Evaluationsvertrages, der den Evaluationsauftrag fixiert (vgl. auch die «Checkliste für den Abschluss eines Evaluationsvertrages» in Farrokhzad & Mäder, 2014, S.129):
❙ Bestimmung des Evaluationsgegenstandes (➞ Kapitel 4)
❙ Bestimmung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6)
❙ Bereits verfügbare Informationen bzw. Zugang zu
