Repräsentativität

Verbände fordern Transparenz

© Pixabay.com
Nach der Qualitätsdiskussion, die Anfang des Jahres durch aufgedeckte Betrugsfälle angestoßen wurde, folgt nun ein Disput um den Repräsentativitäts-Begriff. Nachdem der ADM einen offenen Brief an die Medien geschrieben hatte, äußern sich nun auch die Branchenverbände BVM und DGOF.

Nachdem der ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute Anfang vergangener Woche vorgeprescht war und in einem offenen Brief den Umgang mit dem Begriff Repräsentativität, vor allem in den Medien, thematisiert hat, haben sich auch die Deutsche Gesellschaft für Online-Forschung (DGOF) und der Berufsverband Deutscher Markt- und Sozialforscher (BVM) zu Wort gemeldet. Allen drei Äußerungen gemeinsam: Eine Qualitätsdiskussion ist willkommen, es braucht umfangreiche Information zu den Umständen der Erhebung einer Studie und keiner will eine pauschale Verurteilung einzelner Methoden, sondern lediglich einen kritischen Umgang damit. Die sehr differenzierten Kommentare der drei Verbände zeigen Unterschiede in Nuancen, aber auch, dass eine Verlagerung der Debatte auf den Umgang der Presse mit dem Begriff Repräsentativität wohl zu kurz greift.



Bernd Wachter, Vorstand des ADM, sagt im Interview mit planung&analyse: „In erster Linie wollen wir Bewusstsein für das Thema schaffen und alle Stakeholder, die sich mit Umfragen beschäftigen, für das Thema sensibilisieren.“ Der BVM will keine Methoden-Diskussion führen. BVM-Vorstandsvorsitzender Frank Knapp: „Es bringt dabei wenig, in „klassische“ oder „moderne“ Verfahren zu differenzieren.“ Sinnvoll sei lediglich eine Unterscheidung in angemessene und weniger angemessene Methoden. Wobei die Qualitätsstandards der Branche auf alle Methoden und Verfahren gleichermaßen Anwendung finden.

Die ursprünglich von drei Meinungsforschern (Forsa, Infas, Forschungsgruppe Wahlen) angestoßene Debatte zu einem unkorrekten Umgang mit dem Wort „Repräsentativität“ zielte vor allem auf das Startup Civey, das nach eigenen Angaben regelmäßig Umfragen auf zahlreichen Online-Medien durchführt und diese im Nachhinein gewichtet und als repräsentativ bezeichnet. Die drei Institute hatten sich beschwert, jedoch nicht über Civey, sondern über einen Bericht in Focus Online, und auch nicht beim Rat der deutschen Markt- und Sozialforschung, sondern beim Presserat. Seitdem, und vor allem auch auf der Marktforschungsmesse in der vergangenen Woche, wird darüber in Fachkreisen diskutiert. Keiner der drei Verbände erwähnt jedoch Civey in seinen Statements. Die DGOF, deren Mitglied Civey ist, sieht alle Institute zur Wissenschaftlichkeit verpflichtet. „Das bedeutet, dass Erkenntnisse intersubjektiv nachvollziehbar, Ergebnisse beim Einsatz gleicher Methoden wiederholbar und die angewandten Verfahren regelhaft und (über-)prüfbar sein müssen. Darauf gründet unser methodisches Verständnis und das gilt für bestehende Methoden ebenso wie für methodische Innovationen.“ Der Verband fordert „höchstmögliche Transparenz“ aller Parameter, die zum Verständnis und zur Interpretation der Daten erforderlich sind.


Die DGOF weist ebenso wie Wachter vom ADM darauf hin, dass Repräsentativität immer im Zusammenhang dargestellt werden muss: Wofür ist eine Aussage repräsentativ? Für junge Erwachsene von 19 bis 29 Jahren, für Besucher der Gamescon oder Leser einer Zeitung?

Wachter: „Natürlich kann man mit Quotenverfahren definierte Grundgesamtheiten anhand festgelegter Kriterien nachbauen. Aber wenn die Online-Penetration in Teilen der Bevölkerung, etwa Personen im Alter von 65+ Jahren, unter 50 Prozent fällt, dann wird es schwierig, diesen Teil der Bevölkerung in einer Online-Stichprobe zu repräsentieren... In jedem Fall gilt aber, dass es keine Website gibt, die wie auch immer „repräsentativ“ besucht wird und von daher zur Ziehung einer Bevölkerungsstichprobe dienen kann.“ Auch die DGOF sieht ohne die ergänzenden Informationen über die Datenerhebung die Gefahr der Verzerrung und, dass das Vertrauen in die Branche gefährdet wird. „Ebenso wichtig erscheint uns aber auch, ein gemeinsames Bestreben und Erforschen, mit welcher Methode oder Methodenkombination eine bestmögliche Repräsentativität erreicht werden kann. Hier gilt es die Frage zu stellen, wie leistungsfähig sind etablierte und neue methodische Zugänge, um dem Repräsentativitätsbegriff heute gerecht zu werden?“ Und weiter: “Wir stehen methodischen Innovationen prinzipiell positiv gegenüber und verstehen uns als Plattform, auf der wissenschaftliche und kommerzielle Mitglieder neue Verfahren und technologische Weiterentwicklungen anstoßen, die die zunehmende Digitalisierung der Gesellschaft berücksichtigen.“ Wichtig sei jedoch eine ständig Überprüfung und Weiterentwicklung der Methoden.

Der BVM ergänzt: „Innovationen sind nicht per se gut und Althergebrachtes ist nicht per se schlecht (oder umgekehrt). Bei der Wahl der richtigen Methode geht es immer um die Angemessenheit. Entsprechend sind auch Methoden, deren Ergebnisse starke Abweichungen oder Schwankungen hervorrufen, erst einmal kritisch zu hinterfragen. Sie müssen aber nicht zwingend falsch sein bzw. haben einen spezifischen Geltungsbereich (etwa: Trendaussage). Auch hier ist Transparenz bezüglich der eingesetzten Methodik das oberste Gebot für eine angemessene Einordnung der Ergebnisse.“

Die Thematik und Problematik ist also deutlich komplexer als der erste Vorstoß gegen das Startup Civey vermuten lässt und wird die Branche sicherlich bis ins kommende Jahr beschäftigen.

Hier werden alle drei Statements dokumentiert:

Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats