Repräsentativität

„Die Diskussion muss raus aus der Forscherecke“

   Artikel anhören
Thomas Perry, Agentur Q
© Agentur Q
Thomas Perry, Agentur Q
Thomas Perry von der Agentur Q stellt die Frage, warum der Streit über die Repräsentativität eigentlich tobt und wer ihn führen sollte. Er hält diesen Punkt für derzeit noch völlig unterbelichtet. Denn Repräsentativität sei nicht als Selbstzweck wichtig, sondern wegen der damit verbundenen Verwertungsinteressen.

Derzeit gibt es einen heftigen Methodenstreit zum Thema Repräsentativität, der Außenstehenden vor lauter Methodenargumenten vermutlich nicht selten als Streit unter Methoden-Nerds erscheint. Das ist leider der falsche Eindruck. Denn Repräsentativität als spezifische Qualität von Umfragen ist dann und nur dann wichtig, wenn jemand diesen Anspruch braucht und ihn deshalb einkaufen will. Deshalb sind Teile der Debatte – etwa wenn es um Pragmatik versus Wissenschaftlichkeit geht oder um Machbarkeit versus unerfüllbaren Anspruch – völlig überflüssig. Da verheddert sich die Diskussion sinnloserweise.

Repräsentativität ist eine Qualität, die suggeriert und suggerieren soll, dass man hochrechenbar genau weiß, wie die Verhältnisse in einer Grundgesamtheit zu einem bestimmten Thema aussehen. Das ist zum Beispiel wichtig, wenn eine Entscheidung oder deren Entscheider diese Klarheit haben wollen, wenn es Auftraggeber für wichtig halten, die Verhältnisse in einer Grundgesamtheit genau zu kennen oder wenn jemand diese Qualität als Hebel des „besseren Argumentes“ nutzen will, um seine Entscheidungspräferenz durchzusetzen

In Unternehmen sind das etwa Produktpotenziale in einer Zielgruppe, auf die man Business-Pläne bauen kann und damit – mal mehr, mal weniger – Entscheidungen begründet und Erfolg oder Misserfolg programmiert. Das wiederum kann viele Folgen haben, vom höheren oder minderen Gewinn für die Eigner (Aktionäre) bis hin zum Verlust oder Anstieg von Arbeitsplätzen. Bei öffentlichen Auftraggebern sind analoge Entscheidungen solche der Politik oder der Exekutive, die Gesellschaft, Recht, Wirtschaft und vieles andere betreffen können. In der Politik wie in der Lobbyarbeit werden solche Daten zudem als Waffe oder mindestens als Spin-Argument benutzt, um sich in der Öffentlichkeit durchzusetzen, Aufmerksamkeit zu bekommen, Menschen zu beeinflussen, in Talkshows aufzutrumpfen und so weiter. Nicht wenige Bürger orientieren sich an solchen Daten bei ihrer Meinungsbildung. Sehr oft geht es also um etwas von Bedeutung, das nicht nur die betrifft, die mit diesem Qualitätsanspruch beauftragen.

Auf die Verwertungsinteressen schauen

In diesen Fällen wird Repräsentativität ganz bewusst im Sinne des Anspruchs auf Richtigkeit, Qualität, Wahrheit und Gültigkeit benutzt. Sie ist also kein Selbstzweck, sondern ist für die dahinterstehenden Verwertungsinteressen wichtig, mindestens aber dienlich. Sehr häufig geht es in diesen Fällen auch um etwas von Bedeutung für die, die von darauf basierenden Entscheidungen betroffen sind. Die Frage ist also, ob es in solchen Kontexten egal oder nicht egal ist, ob und inwiefern Repräsentativität tatsächlich erreicht wird oder nicht. Es geht also eigentlich nicht um einen abstrakten Methodenstreit von Nerds in einer Nischenbranche oder ob Medien alles unter eine Infografik schreiben, was dahin gehören würde. Es geht um Interessen, um Hebel der Durchsetzung, um Entscheidungen und deren Folgen.

Während der Methodenstreit außerhalb der Branche kaum jemanden interessiert, interessieren sich sehr viele Menschen für diese Verwertungsinteressen, die Entscheidungen und deren Auswirkungen. Und genau deshalb spielt es auch eine sehr große Rolle, ob und wie sehr die Daten verlässlich repräsentativ sind. Es macht nämlich einen großen Unterschied, ob die Business-Potenziale stimmen oder nicht, wie viele Menschen Arbeit suchen, obwohl sie nicht arbeitslos gemeldet sind, wie viele Menschen einen Kindergartenplatz suchen, die keinen haben, oder ob die Wählerpotenziale stimmen oder nicht, um nur vier Beispiele zu nennen. Das ist beim Thema Repräsentativität nicht anders als bei anderen wichtigen Messungen. Es geht hier, wie in anderen Feldern auch darum, dass Messungen mit einem Gültigkeitsanspruch dieser Qualität und Tragweite leisten, was sie versprechen. Wenn man sagt, dass „die Deutschen“ dies oder jenes meinen, dann muss das auch nachvollziehbar stimmen und das Publikum muss sich darauf verlassen können.

Die Diskussion sollte mit Entscheidern geführt werden

Folgt man dieser Überlegung, verlagert sich die ganze Frage der Repräsentativität von einer, die Forscher betrifft, zu einer, die Entscheidungsträger betrifft und für die diese auch Verantwortung haben. Wenn sie die Verantwortung ernst nehmen, sollten sie sich mit der Frage der Ergebnis- und Messqualität unbedingt auseinandersetzen. Andernfalls handeln sie womöglich fahrlässig und nehmen dabei Schaden für andere billigend in Kauf. Die Diskussion über Repräsentativität sollte also auch und gerade von Entscheidern geführt werden, nicht nur und nicht mal vor allem von Forschern der Markt-, Politik- und Sozialforschung. Denn Entscheider und Auftraggeber sind genauso für die Richtigkeit erhobener Qualitätsansprüche verantwortlich wie die Forscher, die sie versprechen.

Diese Notwendigkeit gilt übrigens auch dann, wenn die Erfüllung des Anspruchs teuer oder schwierig zu realisieren ist. Selbst wenn wir feststellen müssten, dass niemand mehr in der Lage ist, repräsentative Daten zu erheben, können wir dem nicht aus dem Wege gehen, indem wir die Ansprüche an Repräsentativität solange runterschrauben, bis sie erfüllbar sind. Denn es ist überhaupt nicht ok, eine Qualität zu behaupten, die nicht erreicht wird. Im Grunde ist das auch ganz einfach. Wer seine Fähigkeit, Repräsentativität zu bieten, nicht belegen kann, sollte sie auch nicht verkaufen. Wer als Auftraggeber nicht das notwendige Geld dafür in die Hand nehmen will, sollte Repräsentativität auch nicht behaupten.

Bleibt die Frage, wie man denn nun entscheiden soll, welches Verfahren und welche Vorgehensweisen repräsentativ sind und welche nicht. So wie die Diskussion im Moment läuft, wird das zu nichts führen. Denn ein Methodenstreit ohne gültiges und realitätsnahes Kriterium für die Richtigkeit wird kein sinnvolles Ende finden. Es steht dann irgendwann (also im Grunde jetzt) nur noch Meinung gegen Meinung. Zudem sind Entscheider und Publikum Laien im Sinne der methodischen Frage und kaum in der Lage, in diesem Methodenstreit eine Antwort zur Bewertung von Verfahren und Anbietern zu finden.

Genau aus dem Grund schlage ich vor, eine empirische Prüfung zu entwickeln, die bei voller Kontrolle der Messverfahren durch die Prüfer (nicht die Öffentlichkeit oder die Konkurrenz) deren Ergebnisse auf Richtigkeit bewertet. Selbstverständlich müssen die Prüfer absolut neutral und ohne jeden Interessenkonflikt in der Sache sein.

Eine solche ergebnisorientierte Prüfung kann man auf alle Anbieter anwenden. Sie käme zu einer Bewertung der unterschiedlichen Verfahren, die auch Laien verstehen können, die sich die Theorie ersparen wollen. Gehen tut das, da bin ich sicher. Das Patentamt macht sowas jeden Tag. Wie, das würde man in überschaubarer Zeit klären können, solange es keine Proporzlösung sein muss. Ob die aktuellen Stakeholder sich prüfen lassen würden, ist eine andere Frage. Die Antwort darauf hängt wohl vor allem davon ab, ob genügend Auftraggeber das wollen oder der öffentliche Druck groß genug ist. Womit wir wieder bei der Verantwortung der Auftraggeber und der Frage wären, wer diese Diskussion eigentlich führen sollte.

Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats