3.2 richtet zunächst die Aufmerksamkeit auf Designstrukturen, Auswahlwahrscheinlichkeiten und Zufallsziehung. Abschnitt 7.1 befasst sich genauer mit der Herleitung von Gewichten und veranschaulicht das Berechnen deskriptiver Maße unter Zuhilfenahme von Gewichten.
1.2 Was ist deskriptive Statistik nicht?
Die deskriptive Statistik wird, eventuell abgesehen von der zugrunde liegenden Mathematik oder Statistik, überwiegend als recht unproblematisch vermittelt. Die Erfahrung zeigt, dass in der praktischen Anwendung der deskriptiven Statistik oft etwas großzügig (meist unbedacht) mit dem Sinn, aber vor allem mit den Grenzen der deskriptiven Statistik umgegangen wird. Was sind erfahrungsgemäß häufige Fallstricke bei der Arbeit mit der deskriptiven Statistik?
■ Kein Plan: Keinen Plan zu haben, kann manchmal etwas Befreiendes an sich haben; bei der Erstellung einer deskriptiven Statistik könnte dies u.U. zu heiklen Situationen führen. Nach allgemeiner Erfahrung ist die deskriptive Statistik ein unterschätztes Instrumentarium an Methoden, Kriterien und Voraussetzungen. Keinen Plan zu haben, meint weniger die Anforderung einer deskriptiven Statistik „auf Knopfdruck“, sondern, dass dabei wesentliche Hintergrundinformationen (Metadaten) über die Daten nicht bekannt sind oder berücksichtigt werden. Hilfreiche Stichworte für einen Plan können z.B. sein: Vollerhebungen vs. Stichproben; falls Stichproben: Ziehungs-/Erhebungsgesamtheit (inkl. Ausfälle), Ein-/Ausschlusskriterien, Erhebungsdesign (Strukturen, Ziehungsplan, Gewichte, usw.), Variablen (Definitionen, Messniveaus, Einheiten, Maße, usw.), Analysepläne (Designstrukturen, Klassifikationsvariablen), (Grad der) Datenqualität oder auch, wie Zahlen im Text dargestellt werden sollen. Abschnitt 7.2 stellt diverse Vorschläge für das Schreiben von „zahlenlastigen“ Texten zusammen.
■ Verwechslung: Explorative Analyse, konfirmatorische Analyse und Inferenzstatistik haben andere Ziele wie die deskriptive Statistik – die deskriptive Statistik reduziert und beschreibt die Daten, so wie sie sind. Mit einem Quentchen Salz könnte man vielleicht sagen: Die deskriptive Statistik ist daten-geleitet, die konfirmatorische Analyse ist modell-geleitet, die Inferenzstatistik ist hypothesen-geleitet und die explorative Analyse ist neugierdegeleitet: Die explorative Analyse sucht nach neuen Strukturen und Zusammenhängen in den Daten (meist auch mit den Methoden der deskriptiven Statistik!). Die konfirmatorische Analyse prüft, ob die Verteilung der Daten vorgegebenen Modellen folgt (Modelltests). Die Inferenzstatistik schließt über Hypothesentests von Stichproben auf Grundgesamtheiten.
■ Sicherheit: Die deskriptive Statistik beschreibt die Daten, so wie sie sind. Nicht weniger, aber auch nicht mehr. Dies bedeutet auch, dass die deskriptive Statistik keine „Sicherheit“ von Aussagen einzustellen bzw. zu errechnen erlaubt, wie z.B. Alpha, p- Werte, „Fehler“ usw. Auf der einen Seite braucht es diese Sicherheit auch gar nicht, weil keine Aussagen über Grundgesamtheiten getroffen werden. Auf der anderen Seite hilft eine kluge Kombination von Lagemit Streumaßen abzusichern, dass sie eine Verteilung von Daten ohne substantiellen Informationsverlust repräsentieren.
■ Datenqualität: Die deskriptive Statistik setzt Datenqualität voraus, z.B. vollständige und geprüfte Daten. Nur weil eine deskriptive Statistik „auf Knopfdruck“ abgerufen werden kann, bedeutet dies nicht automatisch, dass die Daten auch in Ordnung sind. Das Resultat ist höchstens eine vorläufige deskriptive Statistik. Keine deskriptive Statistik ohne zuvor geprüfte Datenqualität. Dieses Thema ist so wichtig, das ihm eine Einführung (Abschnitt 3.3) und eine Vertiefung (Kapitel 6) gewidmet sind.
Erfahrungsgemäß ist die deskriptive Statistik eine erste Belohnung für die harte Arbeit des Erhebens, Eingebens, Korrigierens und oft auch häufig genug komplizierten Transformierens von Daten. In der IT werden diese oft auch als ETL-Prozesse bzw. -Strecken abgekürzt („Extract“, „Transform“, „Load“). Entsprechend groß ist die Begeisterung, erste Einblicke in den (wünschenswerten) Erfolg der ganzen Unternehmung haben zu können. Wie die Erfahrung zeigt, treten an dieser Stelle gleich mehrere Fehler bei der Interpretation der deskriptiven Statistik auf. Um sie besser auseinanderhalten zu können, werden sie separat dargestellt; allesamt könnte man sie als Varianten des Über- bzw. Fehlinterpretierens der deskriptiven Statistik zusammenfassen:
■ Projektionsfläche (Messgegenstand): Eines der häufigsten, größten und unerklärlicherweise immer noch stiefmütterlich behandelten „Fettnäpfchen“ ist, den in der deskriptiven Statistik wiedergegebenen Daten Bedeutungen zu unterstellen, die gar nicht Gegenstand der Messung waren. Oft werden z.B. soziodemographische Variablen (z.B. Alter, Geschlecht, Einkommen) erhoben, und dann in der Gesamtschau als z.B. psychologische Merkmale (z.B. „extrovertierter Konsumhedonist“) überinterpretiert (vgl. Schendera, 2010, 20–21). Diese verkaufsfördernde bzw. arbeitserleichternde, jedoch an (Selbst-)Täuschung grenzende Unsitte ist leider nicht selten anzutreffen und keinesfalls auf eine bestimmte Disziplin beschränkt. Beispiele sind allgegenwärtig. In anderen Forschungsfeldern kann man es durchaus erleben, dass deskriptive Statistiken zu Einstellungen zum Lernen erhoben, aber als Kognitionen interpretiert werden (was inhaltlich etwas völlig anderes ist).
■ Hemmungsloses Verallgemeinern (Merkmalsträger): Ein- und Ausschlusskriterien legen die Stichprobe, ggf. auch die Grundgesamtheit fest, auf die die deskriptive Statistik verallgemeinert werden kann. Mit dem „hemmungslosen Verallgemeinern“ ist ein Interpretieren über diese Grenzen hinaus gemeint. Häufige Verstöße sind z.B. (1) die deskriptive Statistik einer Stichprobe als die einer Grundgesamtheit zu überinterpretieren. Die deskriptive Statistik einer Stichprobe kann nicht auf eine Grundgesamtheit verallgemeinert werden. Aussagen über die Grundgesamtheit, allein auf der Grundlage von Stichprobendaten, sind ohne Absicherung nicht zulässig. (2) Zu den Verstößen zählt auch, die deskriptive Statistik einer Teilmenge (z.B. alte Menschen) auch für andere Teilmengen (z.B. junge Menschen) zu verallgemeinern. (3) „Projektion“ ist z.B. die nicht seltene Praxis, z.B. bei der Korrelations- oder auch der Trendanalyse, die deskriptive Statistik über den Bereich der erhobenen Werte hinaus zu interpretieren.
■ jumping to conclusions (Extrapolieren und Schlussfolgerung innerhalb einer Erwartungshaltung, dem „frame“): Der Begriff „jumping to conclusions“ drückt, meine ich, schön aus, wie man bei der Interpretation der deskriptiven Statistik aus Begeisterung, und damit fehlender Zurückhaltung, leider vorschnellen Schlüssen über die darin wiedergegebenen Daten verfallen kann. Dieses „jumping to conclusions“ ist, meiner Erfahrung mit Statistik-Einsteigern nach, eine Erscheinungsform des gezielten Suchens von Zusammenhängen oder Unterschieden innerhalb eines Frames. Dieses Phänomen lässt sich wohl am besten als kognitiver Ersatz eines erwartungsgeleiteten Hypothesen tests umschreiben. Bei der Überinterpretation der deskriptiven Statistik (vor allem anhand von Stichproben) werden Unterschiede oder Zusammenhänge „gesehen“, die in Wirklichkeit in den beschriebenen Daten gar nicht vorkommen. Das „jumping to conclusions“ ist an sich gesehen nichts Schlechtes; allerdings sollte man diese „Schlussfolgerungen“ nicht als abgesichertes Ergebnis eines „Hypothesentests“ missverstehen, sondern als noch zu prüfende spekulative Annahme, die explizit einem echten Hypothesentest unterzogen werden sollte.
■ Der blinde Fleck (Schlussfolgerung außerhalb eines Frames): Während ein erwartungsgeleiteter „Hypothesentest“ dazu führt, dass „große“ Unterschiede (die gar nicht so groß sind) zwischen deskriptiven Parametern oft überschätzt werden, bezieht sich der „blinde Fleck“ auf Phänomene, die außerhalb der eigenen Erwartungshaltung (frame) liegen (Schendera, 2007, 165–169). Hier tritt der gegenteilige Effekt auf: Erwartungswidrige Effekte werden oft erst gar nicht wahrgenommen, geringe Unterschiede dagegen oft leider unterschätzt. Erfahrungsgemäß werden bei der Interpretation oft andere relevante Aspekte übersehen, z.B. die unterschiedliche Größe der miteinander verglichenen Gruppen (vgl. dazu auch die Stichworte Designstruktur, Auswahlwahrscheinlichkeit und Gewichtung).
