Repräsentativität

Sorge um das Ansehen der empirischen Sozialforschung

Thorsten Thierhoff
© forsa
Thorsten Thierhoff
Thorsten Thierhoff ist Geschäftsführer von forsa, einem der drei Institute, die sich jüngst beim Presserat über die nicht korrekte Verwendung des Begriffes „repräsentativ“ in den Medien beschwert haben. Es ging um eine Umfrage des Startups Civey. planung&analyse schickte Thierhoff einige Fragen, um zu klären, was die Beweggründe waren. Wir dokumentieren hier sein Statement.

Die Beschwerde beim Presserat: Die Beschwerde von forsa, der Forschungsgruppe Wahlen und von infas beim Presserat, die sich gegen die Bezeichnung einer Civey-Umfrage als „repräsentativ“ bei Focus-Online richtet, ist nur ein Mosaikstein in dem Bestreben, weiteren Schaden für die Markt-, Meinungs- und Sozialforschung zu vermeiden. Vielfältige Kritik von Institutsvertretern und universitären Forschern an der Arbeitsweise von Civey gibt schon seit langer Zeit – zum Beispiel bei internen Diskussionen im ADM und BVM, im Rahmen öffentlicher Diskussionsforen, im Gespräch mit Medienvertretern.



Die unter anderem auch im taz-Artikel „Repräsentativ daneben" zitierten Bewertungen etwa von Matthias Jung („Bullshit“) oder Prof. Manfred Güllner („gefährlicher Gaunerhaufen“) sind ja schon vor langer Zeit gefallen (zum Beispiel im Rahmen einer öffentlichen Veranstaltung des Presseclubs Frankfurt am Main), ohne dass bisher Versuche von Civey unternommen wurden, diese Wertungen unterbinden zu lassen.

Es geht also insgesamt darum, das Ansehen der empirischen Sozialforschung nicht durch Civey zu gefährden. Der Anspruch der seriösen Umfrageforschung ist es, auf Basis wissenschaftlich anerkannter Verfahren und Instrumente den Gegenstand einer Untersuchung möglichst realitätsnah und zuverlässig abzubilden. In der wissenschaftlichen Tradition der letzten über 100 Jahre hat die Sozialwissenschaft dazu ein Handwerkszeug entwickelt, das für jeden seriösen Meinungs- und Sozialforscher einen verbindlichen methodischen Rahmen absteckt. Dieser Rahmen beinhaltet unter anderem Vorschriften zur Stichprobenbildung, zur Frageformulierung und der Datenerhebung, ebenso wie zur Datenauswertung und Veröffentlichung von Ergebnissen. Alle Berufsverbände der Markt-, Meinungs- und Sozialforschung berufen sich in ihren Richtlinien ausdrücklich darauf.


Zu neuen Methoden: Die Aktualisierung und Erweiterung der Richtlinien in Hinblick auf neue Kommunikationskanäle und -gewohnheiten findet in einem kontinuierlichen wissenschaftlichen Diskurs statt, an dem sowohl wissenschaftliche wie auch kommerzielle Forschungsinstitute beteiligt sind. Es spricht also grundsätzlich nichts dagegen, den Rahmen um neue Methoden oder Verfahren zu erweitern, sofern diese im wissenschaftlichen Diskurs den Beweis erbringen, dass sie zuverlässig funktionieren.

Civey hingegen ignoriert die grundlegenden wissenschaftlich-methodischen Standards der empirischen Sozialforschung. Einzige angeblich „wissenschaftliche“ Grundlage ist ein White Paper, das auf der Civey-Webseite eingesehen werden kann, verfasst von einem einzelnen Professor einer Fachhochschule, der nebenbei Gründer und Gesellschafter von Civey ist. Und der einzige Beweis, den Civey bisher erbringen konnte, ist, dass die Methodik eben nicht geeignet ist, repräsentative Ergebnisse zu produzieren.

Der aktuelle Anlass für die Beschwerde beim Presserat war dann die am 22. März 2018 veröffentlichte Entscheidung des Presserats, dass bei der Veröffentlichung von Ergebnissen sensibel zu prüfen ist, ob diese auch wirklich repräsentativ sind, oder ob die Repräsentativität nicht gewährleistet ist, zum Beispiel durch Mehrfachabstimmungen etc. (was bei Civey wie in dem der Presserats-Entscheidung zugrundeliegenden Fall möglich ist).

Es geht also nicht darum, alle anderen Auswahlverfahren außer der Zufallsstichprobe grundsätzlich auszuschließen. Es gehört ja zum elementaren Handwerkszeug eines Sozialwissenschaftlers zu wissen, welche zufalls- und nicht-zufallsgesteuerten Auswahlverfahren es gibt und welche Vor- und Nachteile die verschiedenen Verfahren haben. Das von Civey angeblich verwandte „River-Sampling“ aber liefert – wie etwa Charles DiSogra, der Chef-Statistiker von Knowledge Networks, treffend festgestellt hat: „while we may be able to assert that river samples are „new“ and „random“, they are not representative of anything“ – keine repräsentativen Ergebnisse.
Die Fragen
1. Was genau werfen Sie Civey vor? In der Beschwerde beim Presserat geht es um mangelnde Repräsentativität, weil es keine Zufallsstichprobe ist. An anderer Stelle geht es um falsche, suggestiv gestellte Fragen und um Ergebnisse, die nicht plausibel sind. Geht es Ihnen primär um die (nicht-zufällige) Erhebung oder um die Methode der Gewichtung/Berechnung?
2. Wenn es nur um die nicht zufällige Erhebung gehen sollte, wären dann nicht zahlreiche andere Institute ebenfalls anzugreifen? Inklusive aller Online-Panel und der Quotenmethode von Allensbach? Und dann wäre das Problem auch kein neues. Warum gerade jetzt? Oder was spricht noch gegen die Methode von Civey?
3. Haben Sie Sorge, dass diese kostenlose Meinungsforschung Ihre geschäftlichen Interessen beschädigen könnte oder ist das vielleicht schon geschehen?
4. Was halten Sie von Civey-Watch, einem Twitter-Account, der anonym ist und öffentlich massiv gegen Civey argumentiert?
Außerdem ist es ja wohl ziemlich absurd, für die Frage, ob jemand bei der nächsten Bundestagswahl die AfD wählen würde, 101.741 Teilnehmer vom 11. bis 19.11. (also 9 Tage lang) zu befragen, um daraus dann eine Stichprobe von 2.021 Personen (also 2 Prozent) zu ziehen. 2.000 Personen – wirklich repräsentativ ausgewählt – kann im Übrigen ein seriöses Institut in kürzerer Zeit befragen. Absurd ist auch die Befragung von mehr als 140.000 Teilnehmern, von denen 44 Prozent angaben, Fans von Borussia Dortmund zu sein – und das, obwohl in weltmeisterschaftsfreien Zeiten sich noch nicht einmal 35 Prozent überhaupt für Fußball interessieren.

Repräsentativität kann bei diesen völlig verzerrten Befragtenzahlen durch keine wie auch immer geartete Gewichtung hergestellt werden – zumal Civey außer Geburtsjahr, Geschlecht und Postleitzahl über keinerlei weiteren Merkmale der allermeisten Teilnehmer verfügt. Und ob die gemachten Angaben überhaupt stimmen, kann nicht überprüft werden – ebenso wenig wie oft jemand (u.U. auch mit unterschiedlichen Identitäten) wie abgestimmt hat.

Die methodischen Schwachpunkte gehen aber weit über das Stichprobenverfahren hinaus. Die Liste der Mängel ist vom Stichprobenansatz des sogenannten „River-Samplings“ über die Art und Anzahl der Webseiten, die auf Civey verlinken, die Formulierung vieler Fragen, den Kontext der Fragestellungen, der Ergebnisberechnung und Darstellung usw. usf. nahezu endlos.

Viele Ergebnisse von Civey-Untersuchungen sind zudem offensichtlich so wenig plausibel, dass einem sorgfältig recherchierenden Journalisten eigentlich schnell auffallen müsste, dass da etwas ganz grundsätzlich nicht stimmen kann. Im Fall „Özil/Erdogan“, der Anlass für die gemeinsame Beschwerde beim Presserat war, war genau dies der zentrale Punkt: Auch ohne sozialwissenschaftliche Grundausbildung hätte den Journalisten von Focus-Online auffallen müssen, dass die Ergebnisse nicht das tatsächliche Stimmungsbild der Bevölkerung wiedergeben können – sie hätten sie daher nicht als „repräsentativ“ veröffentlichen dürfen.

Es geht also eben nicht „nur“ um die von Civey durchgeführten willkürlichen Erhebungen, sondern um eine Vielzahl von weiteren Mindestanforderungen, die von Civey nicht eingehalten werden. Klick-Tools, die auf den Online-Seiten von Medienunternehmen eingebunden sind und über die Online-User ihre Meinung zu bestimmten Themen äußern können, sind ungefähr genauso alt wie das Internet selbst. „Opinary“ ist beispielsweise ein solcher Anbieter, mit dem fast alle Medien, die auch mit Civey kooperieren, ebenfalls zusammenarbeiten. Solange diese Tools nur zur Unterhaltung der User und zur Generierung von ein paar werberelevanten Klicks für die Online-IVW dienen, ist gegen derartige Spielereien auch nichts einzuwenden. Nicht zu akzeptieren ist hingegen, wenn dies als repräsentative Umfrageforschung dargestellt wird.

Zu der Vorgehensweise von Civey Watch: Weitere Ungereimtheiten werden von „Civey Watch“ regelmäßig dargestellt. Auch wenn es besser wäre, wenn Civey Watch offen und nicht anonym agieren würde, sind die dort dargestellten Sachverhalte nach unserer Beobachtung korrekt und zeugen von großer Sachkenntnis.

Zu wirtschaftlichen Interessen: Die Beschwerde von forsa, der FGW und von infas hat im Übrigen nichts damit zu tun, dass „geschäftliche Interessen“ dieser drei Institute beschädigt würden. Uns treibt die Sorge um, dass von Civey das Ansehen einer ganzen Branche und der empirischen Sozialforschung insgesamt beschädigt wird. Darüber hinaus sehen wir die große Gefahr, dass durch falsche Umfrageergebnisse auch politische Entscheidungsprozesse manipuliert werden können. Um es klar zu sagen: Wir halten es für regelrecht kriminell, mit falschen Umfragedaten die öffentliche Stimmung wissentlich zu beeinflussen.

Umgekehrt scheint aber Civey sachliche Kritik zu fürchten – schließlich muss Civey nicht nur die von der IBB Berlin-Brandenburg erhaltenen Fördermittel in Höhe von 1,7 Millionen Euro, sondern auch das inzwischen über mehrere Finanzierungsrunden eingesammelte Venture-Kapital von sieben Millionen Euro erwirtschaften – was bei einem Umsatz, der laut Creditreform-Auskunft im Jahr 2017 gerade mal bei 190.000 Euro lag – noch in weiter Ferne ist. Wesentliches Kapital von Civey auf dem Weg der Refinanzierung ist gewiss die Präsenz auf einigen reichweitenstarken Medienseiten. Pikant daher, dass Holtzbrinck-Manager und Tagesspiegel-Herausgeber Sebastian Turner inzwischen über eine private Beteiligungsgesellschaft mit über 25 Prozent persönlich an Civey beteiligt ist.

Deswegen arbeitet Civey auch für „normale“ Kunden keinesfalls „kostenlos“. Kostenlos erhalten derzeit nur die Medien, die Reichweite für Befragungen zur Verfügung stellen, irgendwelche angeblich „repräsentativen“ Umfragedaten, die Civey für deren Online-Ausgaben erhebt.

Am 6. Dezember 2018 erscheint planung&analyse 6/2018 u.a. mit dem Thema Repräsentativität

Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats