Rekrutierung, Qualitätssicherung, Incentivierung – Online-Panel brauchen Pflege Fischen im Pool

Mittwoch, 03. Mai 2017
Aktive Teilnehmer sind für Panels wichtig
Aktive Teilnehmer sind für Panels wichtig
© Pixabay.com

Ein großer Teil der heutigen Befragungen wird per Online-Panel durchgeführt. 20 Jahre nach dessen „Erfindung“ gibt es immer noch viele Fragen rund um diese Erhebungsmethode und einige Diskussionen um die Sicherung der Qualität.
Bernad Batinic gibt es offen zu: „Ich habe den Namen Online-Panel in die Welt gesetzt“, und er räumt ein, dass der ja eigentlich nicht ganz richtig sei. Denn ursprünglich ist ein Panel „ein bestimmter gleichbleibender Kreis von Personen, bei denen über einen längeren Zeitraum hinweg Messungen zu denselben Themen mit derselben Methode und zu jeweils gleichen Zeitpunkten vorgenommen werden. Panels sind auf die Messung von Veränderungen hin optimiert.“ So steht es in Gablers Wirtschaftslexikon. Batinic, der zu den Pionieren der Online-Marktforschung in Deutschland zählt und bereits 1994 damit begann, berichtet auf der diesjährigen General Online Research (GOR) in Berlin über diese Anfänge. Das andere Wort, das damals im Raum stand, Access-Pool, hat sich nicht durchgesetzt. Aber darum handelt es sich eigentlich bei den heutzutage meist salopp als Online-Panel benannten Instrumenten: um einen Pool von Menschen, die sich auf der Homepage eines Panel-Betreibers registrieren und ihm erlauben, dass sie wiederholt für Befragungen kontaktiert werden. Es werden verschiedene soziodemografische und persönliche Daten der Registrierten gespeichert. Diese dienen dann als Grundlage dafür, dass die Personen, auf die das gesuchte Merkmal zutrifft, für die jeweilige Stichprobe selektiert und zu der entsprechenden Forschungsfrage befragt werden kann.

So alt wie die Online-Panel, rund 20 Jahre, so alt ist auch die Diskussion um die Repräsentativität solcher reinen Online-Untersuchungen. Das fängt mit der Rekrutierung an. Wer einfach nur Personen aufnimmt, die gerne mal bei einer Befragung mitmachen wollen oder an den angebotenen Incentives interessiert sind, muss mit diversen Verzerrungen rechnen. „Die Selbstselektion der Teilnehmer macht passiv rekrutierte Panels für repräsentative Befragungen ungeeignet“, schreibt der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) kategorisch.

Aber das kommt auch immer auf die Fragestellung an. Der Panel-Anbieter Research Now wollte kürzlich untersuchen, wie das Wissen über und die Akzeptanz von Marktforschung ist. In den USA, in UK und in Deutschland wurde die Bevölkerung befragt. Dabei traten deutliche Unterschiede zwischen der CATI-Stichprobe, die etwa einmal pro Jahr um ein Statement gebeten wird, und den Befragten aus dem Online-Panel, die regelmäßig an Umfragen teilnehmen, zutage. Die per Telefon Befragten hatten vollkommen andere Vorstellungen. Mehr als die Hälfte assoziierte mit Marktforschung immer noch den Interviewer, der auf der Straße mit dem Klemmbrett steht. Um eine Aussage darüber zu machen, wie die Bevölkerung die Marktforschung einschätzt, taugen diese Befragten dennoch viel besser.

Wer ein Online-Panel rekrutiert, muss Teilnehmer anwerben, ob online oder offline per Telefon, per Post oder gar durch persönliche Anfrage auf Veranstaltungen.  An der Universität Mannheim wurde für wissenschaftliche Zwecke 2012 das German Internet Panel (GIP) eröffnet. Dieses wurde komplett offline rekrutiert und deckt eine repräsentative Stichprobe der deutschen Bevölkerung mit Personen im Alter zwischen 16 und 75 Jahren ab. Es wurden sogar Haushalte mit aufgenommen, die gar kein Internet haben und extra für die Befragung damit ausgestattet.  Das GIP dient der Erhebung von Daten über politische und ökonomische Entscheidungsprozesse.  Bei der Diskussion zum Thema Wahlforschung auf der GOR in Berlin fragte Prof. Annelies Blom, die in Mannheim maßgeblich für das German Internet Panel zuständig ist, warum andere Anbieter von Online-Umfragen nicht das GIP nutzen oder ähnlich harte Kriterien bei der Auswahl anlegen. Das GIP zeige schließlich, dass Repräsentativität für die Bevölkerung mit einem Online-Panel gehe.

Teilnehmer rekrutieren - Online oder Offline?

Das Thema offline rekrutierte Panelteilnehmer machen sich nur wenige kommerzielle Panel-Betreiber auf Grund des komplexen Rekrutierungsverfahrens zu eigen. Der Meinungsforscher Forsa gehört zu den wenigen, die dieses Verfahren entwickelt  und ausgebaut haben. Im März 2016 hat Forsa sein eigenes offline rekrutiertes Panel mit dem vollständig telefonisch rekrutierten Internet-Panel vom Link Institut Deutschland fusioniert. Alexandra Wachenfeld, ehemals Research Director bei Link Deutschland und jetzt Geschäftsführerin von Forsa Main, zu der Notwendigkeit dieser Methode: „Wir sprechen heute von einer Internetreichweite von mehr als 80 Prozent. Der große Unterschied liegt aber in der digitalen Teilhabe. Nicht jeder der technisch online ist, nutzt auch das Internet intensiv. Selbst um Internet-repräsentative Untersuchungen durchführen zu können, ist es notwendig offline zu rekrutieren, um auch die Personen zu berücksichtigen, die zwar technisch online sind, aber das Internet eingeschränkt, restriktiv oder selektiv nutzen, etwa weil sie unsicher sind oder zu den kritischen Internetnutzern gehören.“ Solche Personen sind normalerweise selten in Internet-Panels anzutreffen, erklärt Wachenfeld. „Sie stellen aber zahlenmäßig eine große Gruppe dar, die wir andernfalls mit ihren Konsumgewohnheiten und Medienpräferenzen ausblenden würden. Neben der Ansprache dieser Internetnutzer ist auch der Einbezug von Offlinern und deren technische Ausstattung, mit dem Ziel bevölkerungsrepräsentativ erheben zu können, auf dem Weg der Offline-Rekrutierung möglich.“

Panels pflegen und Teilnehmer beobachten

So ein Online-Panel muss auch gepflegt werden. Dafür müssen die Adressen sowie die soziodemografischen und anderen gespeicherten Merkmale der Panelteilnehmer regelmäßig aktualisiert werden. Otto Hellwig, Vorstand von Respondi, erläutert, wie man das macht: „Dafür gibt es Routinen, die überprüfen, ob das Antwortverhalten konsistent ist. Wir haben zahlreiche gespeicherte Eckdaten unserer Probanden: angefangen von der Zeit, die die Leute für die Umfrage brauchen, bis zu den Antworten, die über Monate bei verschiedenen Umfragen logisch übereinstimmen oder eben nicht. So fällt auf, wenn ein Proband auf einmal anfängt sich zu widersprechen oder sich keine Zeit mehr für die Beantwortung der Umfragen nimmt. Diese Probanden setzen wir dann rigoros auf hold. Sie werden nicht mehr zu Befragungen eingeladen.“ Zur Panelpflege gehört laut Hellwig auch die Betreuung über die sozialen Medien. „Wir haben mit unserem Panel Mingle rund 80.000 Facebook Follower, mit denen wir kommunizieren“, berichtet er. „Dafür haben wir eine eigene Abteilung, die auf diesem Weg Kundenbindung betreibt.“

Auffällig ist, dass Probleme mit Online-Panels im englischen Sprachraum wesentlich offener diskutiert werden als hierzulande. Das böse Wort von den Profi-Probanden zieht Kreise. Steven Gittelman, CEO des amerikanischen Instituts Mktg, hat vor Jahren in Untersuchungen mit verschiedenen amerikanischen Panels Probanden dieser Spezies gefunden. Die Profi-Probanden füllen täglich Befragungen aus. Das war rund ein Viertel der Untersuchten in 17 Panel. Dann gab es über ein Drittel, die in mehr als fünf Panel angemeldet waren. Und er beobachtete die Speeders, die für die Beantwortung einer Befragung deutlich weniger Zeit als der Durchschnitt aufwendeten. Bei Kontrollfragen, die die Aufmerksamkeit des Probanden testen sollen, fielen sie regelmäßig durch.

Kontrollfragen nicht zu streng auslegen

Mit diesen Kontroll- oder Türsteher-Fragen muss ein Auftraggeber aber behutsam umgehen. Darauf wies Ute Jaeger-Wolfe, Deutschland-Geschäftsführerin von SSI, kürzlich auf einer Veranstaltung in Hamburg hin. Wenn als Unterweisung ein langer Text dort steht und die eigentliche Frage deutlich abgehoben ist, muss sich keiner wundern, dass den langen Text keiner liest, zumindest nicht bis zur letzten Zeile, in der dann etwa die Instruktion steht „Beantworten Sie diese Frage bitte mit NEIN“. Jaeger-Wolfe: „Solche Probanden sind nicht zwangsläufig unaufmerksam, man verlangt ihnen einfach zu viel ab.“ Diese Leute aus der Befragung zu verbannen, wäre ein Fehler.

Auch Ron Sellers von Grey Matters hat sich vor einigen Jahren mit der Qualität von Panel-Befragungen beschäftigt und Mystery Shopper losgeschickt, um den Umgang mit den Panelisten zu prüfen. In der Broschüre "Dirty Little Secrets of Online-Panel Research" fasst er die Ergebnisse zusammen und deckte einige Missstände auf: Es gab ein Panel, in dem ein Proband 60 Einladungen pro Monat bekam. Oder das Panel, das ohne Rücksprache selber Fragen in der Umfrage eines Klienten platzierte. Oder Betreiber, die die Befragten zu einem anderen Panel weitergaben. Neben solchen Ausreißern fand er aber auch Panel, die ihre Teilnehmer mit Respekt und fair behandelten, sie nicht übertrieben belästigten und fair vergüteten.

Incentives als Motivation für neue Teilnehmer

Auch dieses Thema ist ein heißes Eisen. Der deutsche Panelanbieter Respondi zahlt im Jahr rund eine Million Euro an die Panelisten aus. „Hier sollte man nicht sparen, wenn man diese Menschen langfristig als Partner behalten will. Die haben sich eingetragen mit einer Garantie, sie haben einen Anspruch auf das Incentive. Und dazu stehen wir auch“, so Hellwig. Das monetäre Argument spielt offenbar für etliche Panelisten eine große Rolle. So wird jedenfalls für die Teilnahme geworben: „Belohnung für Ihre Meinung“, „Erhöhen Sie Ihr Einkommen“, „Geld mit Umfragen machen“. Schaut man sich in Online-Foren um, wird hauptsächlich dieses Thema diskutiert. Die intrinsische Motivation, das Interesse an Marktforschung, den Herstellern von Produkten helfen, wird eher von Testmonials auf den Online-Seiten der Panel-Anbieter genannt.

Daneben gibt es zahlreiche Metaplattformen, die Nutzer mit scheinbar unabhängigen Informationen auf ihrer Seite versorgen. Mit als News getarnten Artikeln mit der Überschrift „Ist XY bei Umfragen seriös?“ locken sie die Teilnehmer auf ihre Webseite. Dann findet der potenzielle Proband eine Vielzahl an Anbietern, bei denen er sich registrieren kann. Den Traffic lassen sich die Betreiber dieser Seiten mit Google-Ads bezahlen. Geld bekommen sie natürlich auch von den Panelanbietern, die alle Wege nutzen, um neue Panelisten zu rekrutieren.
Marke
Marke (Bild: p&a)
Panelforschung 
in planung&analyse 2/2017
zum Inhalt | zur Bestellung
Jetzt suchen >>
stats