Repräsentativität - Interview

"Wir rufen auf, korrekt zu informieren"

Bernd Wachter, Vorstand ADM
© Psyma
Bernd Wachter, Vorstand ADM
Bernd Wachter, Vorstand des ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute erklärt im Interview mit planung&analyse wieso der Verband die Debatte um Repräsentativität angestoßen hat.

Was versprechen Sie sich von der Initiative des offenen Briefes an die Medien?
In erster Linie wollen wir Bewusstsein für das Thema schaffen und alle Stakeholder, die sich mit Umfragen beschäftigen, für das Thema sensibilisieren. In den Medien wird häufig auf Umfragen verwiesen, die eine These oder eine Meinung unterstützen sollen. Häufig wird dies mit Hinweisen eingeleitet, wie „Eine repräsentative Befragung in Deutschland hat ergeben, dass…“ oder „die Bevölkerung ist der Meinung, dass …“. Wenn Menschen das lesen, müssen sie sich darauf verlassen können, dass hier tatsächlich ein repräsentativer Querschnitt der Bevölkerung befragt wurde und nicht ganze Teile der Bevölkerung in der Stichprobe fehlen, weil sie allein schon aufgrund des genutzten Befragungsmodus ausgeklammert wurden. In unserem Aufruf geht es nicht darum, bestimmte Befragungsmodi auszuschließen. Repräsentativität kann sich aber nur auf die jeweilige Grundgesamtheit beziehen. Das ist ganz einfache Statistik. Deshalb kann eine Befragung auf bestimmten Websites per se nicht bevölkerungsrepräsentativ sein, sondern bestenfalls nur für die dort angesprochene Grundgesamtheit, eben die Besucher*innen dieser Seiten. Daran ändern dann auch große Fallzahlen nichts.


Warum kommt dieser Vorstoß gerade jetzt?
Eine der Hauptaufgaben des ADM ist die Entwicklung und Durchsetzung von Berufsgrundsätzen, Standesregeln und wissenschaftlichen Qualitätsstandards. In diesem Kontext ist auch unser offener Brief zu sehen. Wie Sie wissen hat der ADM eine Transparenz-Initiative ins Leben gerufen. Diese wird aktuell von den Mitgliedsinstituten des ADM ausgearbeitet. Die korrekte Bezeichnung von Umfragen und die Aufklärung der Aussagekraft der Ergebnisse der Befragung gehören dazu. Es geht um die Glaubwürdigkeit der Branche. Eine korrekte Berichterstattung durch die Medien geht damit einher.

Wie soll ein Medienvertreter entscheiden, ob eine Studie wirklich repräsentativ ist? Er muss sich doch auf die Daten der Studien-Herausgeber verlassen.
Hinterfragen und genau hinsehen gehört zum journalistischen Geschäft. Das ist auch bei Umfragen und Umfrageergebnissen der Fall. Wenn Journalisten „repräsentativ“ hören oder lesen, dann sollte ihnen sofort „repräsentativ wofür?“ durch den Kopf gehen. Wenn eine Befragung nur auf einzelnen Websites durchgeführt wurde, dann ist es doch sehr offensichtlich, dass die Ergebnisse nicht für die gesamte Bevölkerung repräsentativ sein können. Denn dort wird niemals die Gesamtbevölkerung zu finden sein – sei es, weil Teile der Bevölkerung gar nicht online sind oder weil sie die betroffenen Websites nicht anklicken. Kein Journalist würde Ergebnisse als repräsentativ bezeichnen, die dadurch zustande gekommen, dass in einer Fernseh- oder Radiosendung zu der Teilnahme an einer Befragung oder Abstimmung aufgerufen wurde. Geht es Ihnen wirklich um die Medien oder vielmehr um einzelne Institute, die die bisherigen Methoden in Frage stellen? Wie schon anfangs gesagt, geht es uns um die korrekte Verwendung des Begriffs Repräsentativität. Da nun mal in den Medien über Befragungen berichtet wird, rufen wir auf, sich an die journalistische Verantwortung zu halten und Mediennutzer*innen korrekt zu informieren. Neuen Methoden gegenüber ist der ADM offen – das war er immer. Allerdings dürfen und können hierbei wissenschaftliche Grundsätze nicht über Bord geworfen werden – das sollten sich die Medien vergegenwärtigen. Das gilt natürlich aber auch für jedes einzelne Institut.



Nach Ihrer Definition sind doch eigentlich sämtliche Online-Umfragen nicht repräsentativ?
Repräsentativ wofür? Für die Gesamtbevölkerung sind sie das eher nicht. Für die Onlinebevölkerung können sie es schon sein, wenn man die Stichprobe richtig zieht. Und natürlich kann man mit Quotenverfahren definierte Grundgesamtheiten anhand festgelegter Kriterien nachbauen. Aber wenn die Online-Penetration in Teilen der Bevölkerung, etwa Personen im Alter von 65+ Jahren, unter 50 Prozent fällt, dann wird es schwierig, diesen Teil der Bevölkerung in einer Online-Stichprobe zu repräsentieren. Das war zu Beginn der Telefonmarktforschung ja nicht anders. Im Online-Panel kommt natürlich noch die Problematik hinzu, dass auch das Panel selbst häufig nicht so rekrutiert wurde, dass es als repräsentativ gelten kann. Das zu lösen ist Aufgabe der Online-Panel-Anbieter. In jedem Fall gilt aber, dass es keine Website gibt, die wie auch immer „repräsentativ“ besucht wird und von daher zur Ziehung einer Bevölkerungsstichprobe dienen kann. Daran ändert sich auch nichts, wenn man von verschiedenen Websites rekrutiert. Zudem hat der Content der Website nicht nur Einfluss auf die Besucherschaft, sondern wirkt auch meinungsbildend und kann damit Einfluss auf Antworten haben. Das ist dann weit mehr als ein stichprobentheoretisches Problem.

Wird angesichts der Veränderungen im Markt, zum Beispiel der Reduzierung der Kapazitäten für Telefon- und Face-to-Face-Befragungen, eine andere Art der Stichprobenziehung nötig werden?
Ich bin mir nicht sicher, ob sich die Feldkapazitäten bei Telefon- und Face-to-Face-Befragungen aktuell tatsächlich reduzieren oder ob sie sich im Moment eher verlagern. Alle Methoden werden sicherlich parallel nebeneinander bestehen bleiben. Jedoch haben alle Methoden ein gemeinsames Problem: die abnehmende Bereitschaft an Befragungen teilzunehmen. Das gilt für telefonische Befragungen, für Face-to-Face-Befragungen und für Online-Befragungen, egal ob für Panels oder auf Webseiten. Allen Befragungstypen ist gemein, dass die Bereitschaft zur Teilnahme unabdingbar ist. Wir sollten aufhören, immer wieder einzelne Modi in Frage zu stellen – jede hat ihre spezifischen Vor- und Nachteile und ihre Berechtigung. Wir sollten lieber schauen, wie wir das Vertrauen der Bevölkerung wieder zurückgewinnen. Hierfür sollten wir fair, transparent und korrekt kommunizieren.

Tragen Sie mit dieser Initiative nicht dazu bei, den etwas angeschlagenen Ruf der Branche weiter zu beschädigen?
Wir rufen lediglich dazu auf, korrekt zu informieren. Dadurch beschädigen wir meines Erachtens nicht die Branche, sondern sprechen Fehlentwicklungen offen an. Man kann so etwas ja nicht ignorieren. Das sind wir unseren Mitgliedern und auch der Öffentlichkeit schuldig.

Themenseiten zu diesem Artikel:
Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats