ist deswegen elementar, weil nur so weitere, unkontrollierte Einflussfaktoren in ihrer Wirkung ausgeschaltet werden können. Man geht davon aus, dass durch die Randomisierung mögliche Störgrößen zufällig auf Treatment- und Kontrollgruppe [116]verteilt werden und sich in ihrer Wirkung aufheben. Damit dies wahrscheinlich wird, ist eine gewisse Mindestbesetzung beider Gruppen notwendig. Weiterhin kann die Setzung des Treatments misslingen oder beeinträchtigt werden. In diesem Fall ist die interne Validität nicht gegeben. Externe Validität bezieht sich auf die Verallgemeinerbarkeit des Treatmenteffekts aus der experimentellen Situation, häufig in Laboren, auf nicht-experimentelle Situationen.
Ein allgemeines Problem experimenteller Forschung ist die mögliche Reaktivität der Erhebungssituation auf die Probanden. Sie reagieren nicht nur auf das gegebene Treatment, sondern unkontrolliert auf die Randbedingungen der Durchführung des Experiments. Bekannt sind etwa Versuchsleitereffekte. Je nachdem, wer die Experimente durchführt, zeigen sich andere Resultate. Wenn Probanden oder Versuchsleiter über die Forschungshypothese Bescheid wissen oder nur meinen, Bescheid zu wissen, kann dies die Ergebnisse beeinflussen. Diesbezüglich werden Doppeltblindversuche, bei denen weder Probanden noch Versuchsleiter wissen, wer in der Treatment- und wer in der Kontrollgruppe ist, empfohlen. Außerdem sind in vielen Experimenten die Probanden eine selektierte Gruppe, oftmals handelt es sich um Studierende. Selbst wenn man diese Probanden zufällig auf Treatment- und Kontrollgruppe verteilt, sind die Ergebnisse des Experiments hinsichtlich der Generalisierbarkeit oft stark beeinträchtigt.
Feld- und natürliche Experimente
Man kann neben Laborexperimenten auch sog. Feldexperimente durchführen, die in für die Versuchspersonen gewöhnlichen (Alltags-)Kontexten stattfinden. Bei Feldexperimenten wissen die Probanden in der Regel nicht, dass sie an Experimenten teilnehmen. In solchen Fällen sind Feldexperimente nicht reaktiv. In den letzten Jahren haben sich zur Aufdeckung von Diskriminierung sog. Audit-Studien und Korrespondenztests etabliert (Überblick bei Pager/ Sheperd 2008). Dabei variiert man in realen Bewerbungssituationen etwa in Anschreiben und Lebensläufen den ethnischen Hintergrund von Bewerbern und analysiert die Reaktionen der Adressaten. Hier stellt sich die Frage der externen Validität nicht, allerdings müssen die Forscher den erzielbaren Wissensfortschritt gegenüber ethischen Bedenken abwägen. Von Feldexperimenten, bei denen die Versuchsleiter in einer gewohnten Umgebung experimentelle Bedingungen herstellen, sind natürliche Experimente zu unterscheiden, bei denen ein exogenes (oft natürliches, nicht vorhersehbares) Ereignis eine Randomisierung in Treatment- und Kontrollgruppe bewirkt. Joshua Angrist und William Evans wollten beispielsweise die Auswirkungen eines dritten Kinds auf die Arbeitsmarktbeteiligung von Müttern untersuchen (1998). Sie betrachteten die Geschlechtermischung von Familien mit zwei Kindern als eine Art von Zufallsaufteilung, weil der Geschlechtermix nicht manipulierbar erscheint. Bei zwei gleichgeschlechtlichen Kindern ist die exogen (d. h. nicht durch Präferenzen oder Arbeitsmarktchancen) beeinflusste Wahrscheinlichkeit größer, ein drittes Kind zu bekommen, als bei Familien mit zwei gegengeschlechtlichen Kindern. Die Ergebnisse natürlicher Experimente müssen besonders sorgfältig daraufhin geprüft werden, ob die gewünschte Zufallsaufteilung nicht durch kaum zu bemerkende Selektionsprozesse unterlaufen wurde. In diesen Fällen wäre der Kausalschluss wiederum gefährdet.
Experimente in der Evaluationsforschung
Ein wichtiges Anwendungsfeld experimenteller Forschung in den Sozialwissenschaften ist die methodisch kontrollierte Evaluationsforschung. Selten kann in Evaluationsstudien (»was bewirkt eine bestimmte Maßnahme«?) ein reines Experiment durchgeführt werden. Etwa ist eine wirkliche Randomisierung auf die Treatment- und Kontrollgruppe nicht möglich. Man spricht dann von sog. Quasi-Experimenten. In der Evaluationsforschung haben sich verschiedene Methoden etabliert, die experimentelle Idealsituation möglichst gut anzunähern. So wird etwa über das sog. Propensity-Matching, eine statistische Technik zur Bildung von Treatment- und Kontrollgruppe, angestrebt, in beiden Gruppen möglichst ähnliche Verteilungen hinsichtlich gemessener Störgrößen zu erreichen. Solche Verfahren waren in den letzten Jahren sehr hilfreich, die Logik experimenteller Designs mit dem Ziel kausalen Schließens auch in der empirischen Soziologie zu verbreiten (Gangl 2010). Hauptprobleme in Evaluationsstudien sind die Selbstselektion in die Treatment- und Kontrollgruppe. Dies kann man sich leicht an Hand der in vielen Universitäten üblichen Evaluation der Lehrveranstaltungen [117]verdeutlichen. Die Studierenden verteilen sich nicht zufällig auf die unterschiedlichen Veranstaltungen. Präferenzen nach Fach bzw. Wahloder Pflichtveranstaltung oder Rahmenbedingungen der Veranstaltungen (Uhrzeit, Gruppengröße, etc.) machen einen Vergleich der Resultate pro Veranstaltung schwierig bis unmöglich.
In der Praxis der (quasi-)experimentellen Forschung muss man sich mit dem Problem der Randomisierungsverzerrung beschäftigen. Es sollte ausgeschlossen sein, dass mit der Teilnahme an der Treatmentgruppe (und nicht durch das Treatment) eine Veränderung gegenüber der Kontrollgruppe einhergeht. Weiterhin sollte vermieden werden, dass Probanden, die der Treatmentgruppe zugeordnet wurden, aus systematischen, also nicht-zufälligen Gründen das Treatment verweigern. Eine Substituierungsverzerrung tritt auf, falls Mitglieder der Kontrollgruppe das nicht erhaltene Treatment ersetzen.
Der Einsatz von Experimenten in der Soziologie
Der vergleichsweise seltene Einsatz von Experimenten in der Soziologie hat mit ihren Forschungsgegenständen zu tun. Die in der Soziologie interessierenden sozialen Prozesse lassen sich vielfach nicht sinnvoll in Laboren nachstellen – etwa wenn es um die Wirkung von Bildung auf berufliche Chancen geht. Selbst wenn man hinsichtlich der institutionellen Variation von Bildungssystemen, in denen Probanden beschult wurden, von einer angenäherten Randomisierung ausgehen könnte (allerdings unter der Annahme: Eltern und ihre Kinder wählen das Bundesland, in dem sie wohnen, nicht nach dem Schulsystem), sind doch zu viele unkontrollierte Faktoren bedeutsam, etwa die wirtschaftliche Situation der Bundesländer, die dadurch ausgelöste regionale Mobilität etc. Oder: Bei der Untersuchung geschlechtsspezifischer Lohnunterschiede kann man nicht davon ausgehen, dass sich Männer und Frauen randomisiert auf unterschiedliche Treatment-Bedingungen verteilen – etwa in den öffentlichen Dienst und die Privatwirtschaft. Es bleiben bei der Auswertung von sog. ex post facto Daten nur die nachträglichen Versuche, die Probleme durch Selektionsprozesse und (beobachtete und unbeobachtete) Störgrößen durch geeignete statistische Verfahren möglichst zu reduzieren bzw. auszuschalten.
Dennoch gibt es neben der verhaltenswissenschaftlichen Ökonomik Bereiche, in denen experimentelle Designs in der empirischen Soziologie an Bedeutung gewinnen. Z. B. integriert man experimentelle Versuchsaufbauten in die Umfrageforschung. In Umfragestudien werden spieltheoretische Experimente integriert (Naef/Schupp 2009). Weiterhin finden sich interessante Studien zu stated preferences in sog. Choice Experimenten. Probanden werden mit hypothetischen Alternativen konfrontiert, die sich hinsichtlich verschiedener Dimensionen systematisch unterscheiden (Auspurg/Liebe 2011). Ähnlich werden in faktoriellen Surveys Situationsbeschreibungen, etwa zur Geltung von Normen und zu Prinzipien von Gerechtigkeit, manipuliert (Jasso 2006). In diesen Anwendungen werden zunächst die Entscheidungsalternativen bzw. Situationsbeschreibungen experimentell variiert, dann erfolgt eine Randomisierung der Entscheidungsalternativen bzw. Situationsbeschreibungen auf die ausgewählten Befragten, die im Idealfall eine Zufallsstichprobe aus der Bevölkerung darstellen. Beide Verfahren können damit die Beschränkungen herkömmlicher Experimente auf die üblichen Probanden vermeiden (Mutz 2011).
Auswertung experimenteller Daten
Die Auswertung von experimentellen Daten ist im Vergleich zu anderen Designs verhältnismäßig einfach (Brown/Melamed 1990; Kirk 1982). Es müssen – sofern echte Experimente vorliegen – keine Drittvariablenkontrollen in komplexen statistischen Modellen eingesetzt werden. Es genügen einfache Tests, etwa Mittelwertvergleiche (sog. T-Tests bei metrischen Variablen). Sofern Daten mittels mehrfaktorieller Designs erhoben wurden, arbeitet man meist mit der Varianzanalyse (ANOVA), um die erwähnten Moderatoreffekte (die Wirkung von T auf Y fällt je nach Ausprägung der Drittvariablen Z anders aus) zu identifizieren und sie besonders anschaulich darzustellen.
