Repräsentativität

Wenn der Scharfschütze sein Ziel selber malt

   Artikel anhören
Prof. Dr. Rainer Schnell
© privat
Prof. Dr. Rainer Schnell
Prof. Dr. Rainer Schnell ist Professor für Empirische Sozialforschung an der Universität Duisburg-Essen und ein echter Hardliner, wenn es um die Methoden der Markt- und Meinungsforschung geht. Im Streit um Repräsentativität und die Methode des Startups Civey hat er sich bereits öffentlich geäußert. planung&analyse wollte es genau wissen: Wo liegen die Probleme? Bei Online-Forschung im Allgemeinen und bei Civey im Besonderen.

Welches Problem haben Sie mit der Methode von Civey? Da gibt es mehrere Punkte: Bei Online-Umfragen hat man schon mit der Grundgesamtheit ein Problem, da es kein Verzeichnis aller Menschen gibt, die das Internet nutzen. Es ist bekannt, dass zum Beispiel eher Menschen herausfallen, die isoliert sind, wenig Bildung haben oder krank sind. Online-Umfragen können daher nicht repräsentativ sein, weil man nicht abschätzen kann, wie viele Menschen das Internet nicht nutzen und weil die, die es nutzen, sich systematisch von den anderen unterscheiden. Dafür gibt es zahlreiche empirische Belege. Statistiker nennen das Missing not at Random. Man weiß, dass ein Wert fehlt, aber man weiß nicht, warum der Wert fehlt und man weiß auch nicht wie groß der fehlende Wert ist. Da kommt die Statistik an ihre Grenzen. Und Missing not at Random ist (nahezu) nicht korrigierbar. Durch kein Gewichtungsverfahren.


Also kann man mit Online-Surveys keine bevölkerungsrepräsentativen Umfragen machen? In der mathematischen Statistik gibt es den Begriff Repräsentativität nicht, der wird nur von Laien verwendet. Oder wenn man glaubt, dass das Publikum zu dumm ist, um zu verstehen, was eine Zufallsauswahl bedeutet.

Was bedeutet das? Zufallsstichproben sind dadurch definiert, dass man die Auswahlwahrscheinlichkeit berechnen kann. Aus dem Grunde funktionieren Quotenstichproben nicht und aus dem Grunde funktionieren auch ausschließlich online durchgeführte Umfragen nicht.

Aber es gibt auch Einrichtungen, die mit Quotenstichproben arbeiten? Im wissenschaftlichen Kontext gibt es keine Quotenstichprobe. Einige Daten der amtlichen Statistik sind dadurch verzerrt, weil sie nicht auf Zufallsstichproben basieren. Das ist der Sündenfall des Statistischen Bundesamtes: Der Gesetzgeber zwingt das Statistische Bundesamt, Daten zu liefern, die mit Zufallsstichproben nur zu Kosten erhoben werden können, die der Gesetzgeber nicht toleriert. Nur dies führt zum Einsatz von Quotenstichproben in der amtlichen Statistik.

Aber Frau Noelle-Neumann und das Institut Allensbach führten beziehungsweise führen auch Quotenstichproben durch? Die Auseinandersetzung mit Allensbach ist uralt. Methodisch ist das Institut isoliert und spielt bei wissenschaftlichen Erhebungen keine Rolle. Die Position von Allensbach hat alle Kennzeichen eines Glaubenskampfes. Wenn es um Glauben geht, kann man den Gegenüber nicht überzeugen. Empirischen systematischen Tests hat sich Allensbach immer entzogen. Ich selbst habe einen solchen Test z.B. 1998 angeboten. Allensbach hat wenige Tage vor Feldbeginn abgesagt.

Also wir haben zwei Argumente gegen die Vorgehensweise von Civey. Erstens die nicht definierbare Grundgesamtheit und zweitens keine Zufallsstichprobe. Was noch? Wenn Menschen sich freiwillig zu irgendetwas melden oder auf irgendwelchen Seiten auftauchen und abstimmen, dann ist das keine Zufallsauswahl, sondern das ist eine willkürliche Stichprobe. Und Willkür ist kein Zufall.

Sie meinen die Selbstauswahl? Ja, und das bekommt man nicht mehr wegkorrigiert. Wir wissen seit spätestens 1975, Freiwillige sind in vielen Dimensionen anders als Nicht-Freiwillige.

Und wenn man vom Ergebnis her schaut, und die Ergebnisse verschiedener Methoden vergleicht? Das ist ein Notbehelf. Es gibt einen dummen alten Witz, der steht in vielen Lehrbüchern für Statistik: Es gibt einen Scharfschützen, der immer ins Schwarze trifft. Wie geht das? Weil er zuerst schießt und dann die Schießscheibe darum herum malt.

Wie kann man prüfen, ob neue Verfahren valide sind? Man braucht Daten, die sich überprüfen lassen. Also zum Beispiel nimmt man eine Krankenkasse, wie die AOK und lässt sich den Anteil der Diabetiker in einer bestimmten Altersgruppe bei abhängig Beschäftigten geben. Wenn man dann eine Befragung auf der Basis einer Zufallsstichprobe durchführt, sollten sehr ähnliche Ergebnisse herauskommen. Und ich würde Dinge, die mir lieb und teuer sind verwetten, dass eine Zufallsstichprobe näher an diese korrekten Daten herankommt als jedes andere Verfahren. Ein solcher Test wäre ein wissenschaftliches Vorgehen.

Aber es ist ein Fakt, dass Telefon und Face-2-Face als Methode immer schwieriger wird. Wollen Sie Online kategorisch ausschließen? Das tue ich nicht. Zum Beispiel die amtliche Statistik der Niederlande führt ihre Gesundheitsbefragung teilweise Online durch. Das CBS zieht aus dem vollständigen Bevölkerungsregister eine Stichprobe von Menschen. Diese werden dann per Post angeschrieben, ob sie sich beteiligen wollen. Das geht dann auch Online. Wenn sie nicht reagieren, bekommen sie einen zweiten Brief und danach kommt auch noch ein Interviewer persönlich vorbei. So kann man es machen. Es liegt nicht am Befragungsmodus, sondern es liegt am Auswahlverfahren.

Aber man muss doch neuen Methoden eine Chance geben. Was ist mit dem Whitepaper, welches Civey hinterlegt hat? Da muss ich mit aller Arroganz des Wissenschaftlers sagen: Das ist nicht aussagekräftig. Wenn das  der Entwurf für eine Dissertation wäre, würde man den Kandidaten nicht zulassen.

Wo liegt das Problem? An der mangelnden Präzision. Die Beweislast für eine wissenschaftliche Aussage liegt bei demjenigen, der sie macht. Jedes Verfahren muss beweisen, dass es funktioniert. Man muss den datengenerierenden Prozess im Detail kennen. Man muss sich die Programme Zeile für Zeile anschauen.

Sind Sie mit Civey in Kontakt? Haben Sie denen den Vorschlag gemacht, das zu prüfen? Die Möglichkeit, dass man sich das im Detail anschauen kann, gab es bislang nicht. Da macht man eine Art Obduktion und muss ganz tief in die Systeme reinsehen. Ich kann mir gut vorstellen, dass ein Unternehmen das nicht will.

Halten Sie denn die Methoden der traditionellen Meinungsforscher für valide? Die veröffentlichten Konfidenzintervalle sind fast immer zu klein. Wenn man die derzeit fast immer falsch berechneten Intervalle korrekt berechnen würde und dann entsprechend die Stichproben vergrößert, würden die Kosten enorm ansteigen. Das ist ein klassisches Problem der Marktforschung. Da kommt man schnell in einen Bereich, wo der Kunde sagt, das ist es mir nicht wert.

Wenn man Ihnen zuhört, könnte man meinen, dass man die gesamte kommerzielle Markt- und Meinungsforschung vergessen kann? Nein, auf keinen Fall. Man muss sich darüber im Klaren sein, dass es nichts umsonst gibt. Die Kosten für eine korrekte Forschung sind immer sehr viel höher, als es die meisten Leute glauben wollen. Die Marktforscher geben häufig sehr optimistische Konfidenzintervalle an. Das wird in der wissenschaftlichen Literatur seit 25 Jahren kritisiert. Aber das interessiert niemanden. Weiterhin müssen Methoden validiert werden. Sonst ist das so, als wenn man ein Auto verkauft, aber nie ausprobiert wurde, ob es fährt. Es wurde noch nie der Zündschlüssel betätigt. Man sagt nur: "Wahrscheinlich wird er anspringen und fahren."
Das ist ein Konstruktionsfehler der Marktforschung und ein Managementproblem bei den Auftraggebern. Und außerdem: Viele Studien werden nicht in Auftrag gegeben, um etwas zu lernen, sondern um eine bereits getroffene Entscheidung zu untermauern. Das ist keine Forschung, sondern Legitimation. In der Forschung muss man zeigen, dass die Methoden wirklich funktionieren. Das ist auch die einzige Möglichkeit, wie sich die Markt- und Meinungsforschung vor äußeren Bedrohungen aller Art schützen kann.

Am 6. Dezember 2018 erscheint planung&analyse 6/2018 u.a. mit dem Thema Repräsentativität

Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats