Repräsentativität
Prof. Raimund Wildner meldet sich in der Diskussion zu Repräsentativität zu Wort
Prof. Dr. Raimund Wildner, bis September Geschäftsführer des GfK Vereins, hat planung&analyse einen Leserbrief geschickt. Er bezieht Stellung zum Interview mit Prof. Schnell über Repräsentativität „Wenn der Scharfschütze sein Ziel selber malt“:
Die Position von Herrn Prof. Schnell führt in der praktischen Arbeit der Markt- und Sozialforschung leider nicht weiter. Denn es spricht ja in der Tat zwar sehr viel dafür, die Zufallsstichprobe als Goldstandard zu betrachten. Aber auch Herr Prof. Schnell wird zugestehen müssen, dass dieser Goldstandard in der Markt- und Sozialforschung praktisch nicht mehr erreichbar ist.
Herr Prof. Schnell definiert richtig, dass man bei Zufallsstichproben die Auswahlwahrscheinlichkeit für jedes Element der Grundgesamtheit vor der Stichprobenziehung berechnen können muss. Vielleicht muss man noch präzisieren, was unter „Auswahlwahrscheinlichkeit“ zu verstehen ist. Das ist ja nicht die Wahrscheinlichkeit, dass ich eine Person auswähle und zum Interview bitte. Diese Wahrscheinlichkeit ist bei systematischer Vorgehensweise in der Tat sehr gut berechenbar. Vielmehr ist es die Wahrscheinlichkeit, dass die Daten einer Person der Grundgesamtheit in den Pool der erhobenen Daten kommen. Und diese Wahrscheinlichkeit ist nun überhaupt nicht mehr berechenbar. Denn dafür ist es nicht nur erforderlich, dass eine Person ausgewählt wird, sondern auch, dass sie bereit ist, sich interviewen zu lassen. Und das ist leider ziemlich oft nicht der Fall, wenn man nicht Statistisches Bundesamt heißt und vom Gesetzgeber ermächtigt wurde, die Antworten notfalls mit der Verhängung von Bußgeldern zu erzwingen.
Wenn nun eine Person das Interview verweigert, dann erweist sich die vorher berechnete Wahrscheinlichkeit als falsch. Weil nun aber die Stichprobengröße trotz der Verweigerung erreicht werden soll, werden weitere Personen befragt. Die Wahrscheinlichkeit der anderen auskunftswilligen Personen, in die Stichprobe zu kommen, steigt also. Nachdem auch bei qualitativ sehr hochwertigen Studien wie zum Beispiel dem Allbus die Ausschöpfungsquote deutlich unter 50 Prozent liegt, ist zu konstatieren, dass die Stichprobe nur aus Menschen besteht, deren vorher berechneten Auswahlwahrscheinlichkeiten alle falsch sind. Zufallsstichproben nach der wissenschaftlichen Definition sind also eine Illusion.
Dazu kommt: Nachdem niemand wirklich weiß, warum eine Person zum Interview bereit ist oder warum nicht, sind diese Ausfälle auch nicht zufällig, sondern „Missing not at Random“ und führen damit – wie Herr Prof. Schnell ebenfalls richtig schreibt – zu fast unkorrigierbaren Fehlern. Kann man unter diesen Umständen wirklich noch die Zufallsstichprobe zum Goldstandard erklären?
Auch seine Beurteilung von Online-Stichproben ist nur in der Theorie, nicht in der Praxis nachvollziehbar. Laut „Best 4 Planning 2018“ sind 84 Prozent der Bevölkerung ab 14 Jahren Internetnutzer in den letzten drei Monaten. Beschränkt man sich auf die Zielgruppe 14 bis 69 Jahre, dann sind es 94 Prozent. Es ist ja richtig, dass Menschen, die nicht online sind, anders sind als solche, die sich im Internet bewegen. Und, ja, die 16 bzw. 6 Prozent sind „Missing not at Random“. Trotzdem ist der Anteil zumindest bei der Altersgruppe 14 bis 69 so klein, dass man nicht Online-Stichproben pauschal Probleme mit der Grundgesamtheit vorwerfen kann. Da haben Telefonstichproben ähnlich große Probleme.
Auch der „Sündenfall“ der Quotenstichproben ist vor diesem Hintergrund anders zu sehen, als Herr Prof. Schnell das tut. Quotenstichproben sind in der Wissenschaft in der Tat wenig behandelt, schon weil eine theoretische Untersuchung schwierig bis unmöglich ist und Hochschulen keinen Zugang dazu haben. Gute Quotenstichproben sind jedoch keineswegs Willkür, sondern fein ausgesteuertes Kunsthandwerk, wobei u.a. die Zahl und die Merkmalsverteilung der Interviewer sowie der Quotenplan wichtig sind. Zudem haben gute Quotenstichproben einen spezifischen Vorteil: Weil Interviews bei Bekannten oder Freunden von Bekannten weniger verweigert werden als bei fremden Menschen, kommen Quoteninterviewer häufig auch da noch zum Interview, wo eine zufällige Auswahl zur Verweigerung führt.
Zudem: Verbraucher- und Handelspanelstichproben sind Quotenstichproben, weil Zufallsstichproben schlicht nicht möglich sind. Die Panelzahlen werden jedoch laufend und systematisch mit den Absatzzahlen der Hersteller abgeglichen. Wenn das Ergebnis so schlecht wäre, wie es nach den Aussagen von Herrn Prof. Schnell sein müsste, wären Panels seit langem tot.
Was wir brauchen, ist eine Rückbesinnung darauf, wozu die Markt- und Sozialforschung da ist. Zweck der Veranstaltung ist letztlich, dass Manager(innen) und Politiker(innen) bessere Entscheidungen treffen können. Dabei ist die Repräsentativität der Studie ein wichtiges Qualitätsmerkmal. Denn natürlich ist eine Umfrage nicht nur unbrauchbar, sondern sogar schädlich, wenn ihre Ergebnisse so falsch sind, dass sie zu falschen Entscheidungen führen. Ein weiteres wichtiges Qualitätsmerkmal kann aber u.a. auch der Zeitbedarf einer Studie bis zur Ergebnislieferung sein. Denn eine Umfrage, deren Ergebnis geliefert wird, nachdem die Entscheidung getroffen werden musste, ist ebenfalls unbrauchbar. Da kann es sinnvoll sein, bei der Abbildung der Zielgruppe 14 bis 69 Jahre kleine Abstriche bei der Repräsentativität zu machen und dafür die Ergebnisse rechtzeitig zu erhalten.
10.02.2023