Daten der qualitativen Forschung (→ Reichertz, S. 571 ff.) und ihrer Interpretation kann die Diskussion zum Qualitätsmanagement (Kamiske/Brauer 1995) im Bereich der industriellen Produktion, Dienstleistungen oder im Gesundheitswesen sein. Dieser Ansatz lässt sich auf die medienwissenschaftliche Forschung übertragen, um eine Diskussion über Qualität in der Forschung voranzutreiben. Über das Konzept des Auditings ergeben sich bereits erste Anknüpfungspunkte. So wird für die Überprüfung der Verlässlichkeit qualitativer Daten von Lincoln/Guba (1985) ein Prozess des »Auditings« vorgeschlagen, der am Vorgang der Buchprüfung im Finanzwesen orientiert ist. Dafür wird ein »Überprüfungspfad« (»auditing trail«) skizziert: Ein Auditing Trail erfasst
• die Rohdaten, ihre Erhebung und Aufzeichnung;
• Datenreduktion und Ergebnisse von Synthesen durch Zusammenfassung, theoretische Notizen, Memos etc., Summarys, Kurzdarstellungen von Fällen etc.;
• Datenrekonstruktionen und Ergebnisse von Synthesen anhand der Struktur entwickelter und verwendeter Kategorien (Themen, Definitionen, Beziehungen), Erkenntnisse (Interpretationen und Schlüsse) sowie die erstellten Berichte mit ihren Integrationen von Konzepten und den Bezügen zu existierender Literatur;
• Prozessnotizen, d. h. methodologische Notizen und Entscheidungen auch hinsichtlich der Herstellung von Vertrauens- und Glaubwürdigkeit der Erkenntnisse;
• Materialien in Bezug auf Absichten und Anordnungen wie die Forschungskonzeption, persönliche Aufzeichnungen und Erwartungen der Beteiligten;
• Informationen über die Entwicklung der Instrumente einschließlich der Pilotversionen und vorläufigen Pläne (vgl. Lincoln/Guba 1985, S. 320 f.).
Damit ist bereits die Prozessperspektive angelegt, die alle relevanten Schritte des Forschungsprozesses umfasst, der zu den Daten und ihrer Interpretation geführt hat. Im Kontext des Qualitätsmanagements ist ein Audit »die systematische, unabhängige Untersuchung einer Aktivität und deren Ergebnisse, durch die Vorhandensein und sachgerechte Anwendung spezifizierter Anforderungen beurteilt und dokumentiert werden« (Kamiske/Brauer 1995, S. 5). Insbesondere das »Verfahrensaudit« ist für die Forschung interessant. Ein Verfahrensaudit soll sicherstellen, »dass die vorgegebenen Anforderungen eingehalten werden und für die jeweilige Anwendung zweckmäßig sind. […] Vorrang hat immer das nachhaltige Abstellen von Fehlerursachen, nicht die einfache Fehleraufdeckung« (ebd., S. 8). Solche Qualitätsbestimmungen werden nicht abstrakt – etwa an bestimmten Methoden per se – vorgenommen, sondern mit Blick auf die Kundenorientierung und die Mitarbeiterorientierung (ebd., S. 95 f., S. 110 f.). Dabei ergibt sich die Frage, wer eigentlich die Kunden medienwissenschaftlicher Forschung sind. Im Qualitätsmanagement wird zwischen internen und externen Kunden unterschieden. Während Letztere die Abnehmer des jeweiligen Produktes sind, gehören zu den Ersteren die Beteiligten an der Herstellung im weiteren Sinn (z. B. Mitarbeiter anderer Abteilungen). Für die Forschung lässt sich diese Unterteilung übersetzen in diejenigen, für die das Ergebnis nach außen produziert wird (Auftraggeber, Gutachter etc. als externe Kunden), und diejenigen, für die und an denen das jeweilige Ergebnis zu erzielen gesucht wird (Interviewpartner, untersuchte Institutionen etc. als interne Kunden). Zur Überprüfung lassen sich beide Aspekte explizit analysieren: Inwieweit ist die Untersuchung so verlaufen, dass sie die Fragestellung beantwortet (externe Kundenorientierung) und den Perspektiven der Beteiligten ausreichend Raum lässt (interne Kundenorientierung)?
Die Mitarbeiterorientierung will berücksichtigen, dass »Qualität unter Anwendung geeigneter Techniken, aber auf der Basis einer entsprechenden Geisteshaltung entsteht«, wobei die »Übertragung von (Qualitäts-) Verantwortung auf die Mitarbeiter durch die Einführung von Selbstprüfung anstelle von Fremdkontrolle« (ebd., S. 110 f.) ein weiterer Ansatzpunkt ist. Entsprechend bezeichnet Qualitätsmanagement »Tätigkeiten […], die die Qualitätspolitik, die Ziele und Verantwortlichkeiten festlegen sowie diese durch Mittel wie Qualitätsplanung, Qualitätslenkung, Qualitätssicherung/Qualitätsmanagement-Darlegung und Qualitätsverbesserung verwirklichen« (ISO 1994; zit. nach Kamiske/Brauer 1995, S. 149).
Qualität im qualitativen Forschungsprozess (→ Reichertz, S. 27 ff.; Flick 2018b) wird sich nur realisieren lassen, wenn sie mit den beteiligten Forschern gemeinsam hergestellt und überprüft wird. Zunächst wird gemeinsam festgelegt, was eigentlich unter Qualität in diesem Zusammenhang zu verstehen ist und verstanden wird:
• eine möglichst klare Festlegung der zu erreichenden Ziele und einzuhaltenden Standards des Projekts; daran müssen alle Forscher und Mitarbeiter beteiligt werden;
• eine Festlegung, wie diese Ziele und Standards und allgemeiner die angestrebte Qualität zu erreichen sind; damit sind eine Einigung über die Weise der Anwendung bestimmter Methoden und ihre Umsetzung, etwa durch gemeinsame Interviewtrainings und deren Auswertung, Voraussetzungen für Qualität im Forschungsprozess;
• die klare Festlegung der Verantwortlichkeiten für die Herstellung von Qualität im Forschungsprozess und
• die Transparenz der Beurteilung und Sicherstellung der Qualität im Prozess.
Dabei sind die Bestimmung, was Qualität ist, deren Herstellung und Sicherstellung im Prozess und die Erfahrung, dass Qualität sich nur in der Kombination von Methoden und einer entsprechenden Haltung realisieren lässt, Anknüpfungspunkte zur Diskussion um Qualitätsmanagement in der medienwissenschaftlichen Forschung. Im Unterschied zu anderen Ansätzen der Qualitätsprüfung in der qualitativen Forschung wird beim Qualitätsmanagement zunächst mit allen Beteiligten geklärt, was unter Qualität verstanden wird, welche Qualitätsziele sich daraus ableiten lassen und wie diese im Einzelnen zu erreichen sind. Hier wird der Gedanke, Forschungsqualität ließe sich allgemein, abstrakt und von außen bestimmen, zu Gunsten einer gemeinsamen Klärung des Qualitätskonzeptes und seiner Umsetzung aufgegeben (vgl. hierzu ausführlicher Flick 2016, Kap. 29; → Reichertz, S. 27 ff.).
Validität qualitativer Forschung
Validität (vgl. Kvale 1995) wird für die qualitative Forschung häufig diskutiert. Die Frage der Validität lässt sich auch darin zusammenfassen, ob »der Forscher sieht, was er […] zu sehen meint« (Kirk/Miller 1986, S. 21). Bei der Übertragung und unmittelbaren Anwendung klassischer Validitätskonzeptionen in der qualitativen Forschung ergeben sich verschiedene Probleme. Die interne Validität soll z. B. erhöht bzw. sichergestellt werden, indem man ausschließt, dass andere als die in der Untersuchungshypothese enthaltenen Variablen den beobachteten Zusammenhang bestimmen (z. B. Bortz/Döring 2001, S. 53). In diesem Verständnis liegen bereits die Probleme bei der Übertragung auf qualitative Forschung begründet: Die interne Validität soll durch eine möglichst umfassende Kontrolle der Kontextbedingungen in der Untersuchung erhöht werden. Dazu dient die weitgehende Standardisierung der Erhebungs- bzw. Auswertungssituation. Der dafür notwendige Grad an Standardisierung ist jedoch mit dem größten Teil der gängigen qualitativen Methoden nicht kompatibel bzw. stellt ihre eigentlichen Stärken in Frage. Ähnlich lässt sich für die anderen Formen der Validität aufzeigen, warum sie nicht direkt auf qualitative Forschung übertragen werden können (vgl. hierzu Steinke 1999).
Insgesamt betrachtet wird der Anspruch formuliert, qualitative Forschung müsse sich zumindest den Fragen stellen, die mit Konzepten wie Reliabilität und Validität (z. B. bei Morse 1999, S. 717) oder Objektivität (Madill u. a. 2000) verknüpft sind (vgl. hierzu Flick 2018b). In der Umsetzung überwiegt jedoch die Modifikation oder Reformulierung der Konzepte.2 Generell stellt sich bei der Übertragung der klassischen Kriterien quantitativer
