Konferenz der Marktforschungsverbände in Wien

Qualität hat ihren Preis

Bettina Klumpe (ADM), Kai Bruns (Lilly), Holger Mühlbauer (Teletrust), Robert Sobotka (vmö), Rita Kite (GfK) Mag. Deutsch (Wirtschaftskammer), Alexandra Wachenfeld-Schell (DGOF), Jörg Tschasche (respondi), Hartmut Scheffler (Kantar TNS)
vmö
Bettina Klumpe (ADM), Kai Bruns (Lilly), Holger Mühlbauer (Teletrust), Robert Sobotka (vmö), Rita Kite (GfK) Mag. Deutsch (Wirtschaftskammer), Alexandra Wachenfeld-Schell (DGOF), Jörg Tschasche (respondi), Hartmut Scheffler (Kantar TNS)
An Standards, Regeln, Normen und Kontrollinstrumenten mangelt es dieser Branche nicht. Das kann man nach acht Stunden geballtem Input auf der 1. Internationalen Konferenz Qualität in der Markt-, Meinungs- und Sozialforschung sagen. Eingeladen nach Wien hatten fast alle deutschsprachigen Verbände: der österreichische vmö als Gastgeber, der Schweizer vsms, der ADM und die DGOF aus Deutschland sowie der Bundesverband für IT-Sicherheit Teletrust und das Komitee 260 des Austrian Standard International. Vertreter all dieser Organisationen kamen zu Wort und zudem die beiden großen Unternehmen GfK und Kantar sowie Infas und Respondi als Praxisbeispiele.

„Jede Qualität in der Marktforschung hat ihren Preis.“ Dieses Statement von Kai Bruns, betrieblicher Marktforscher beim Pharmakonzern Lilly und im Fachbeirat des BVM, könnte auch über dem ganzen Tag stehen. Bruns stellt die Leitfäden vor, die der BVM jüngst erarbeitet hat, um auch Fachfremden einen Anhaltspunkt für Befragungen zu geben: zur Ausschreibung, zum Angebot, zur Studiendurchführung und zur Auswertung und Analyse einer Studie.


Bruns sagte: „Es ist die Aufgabe von uns allen, die Qualität immer wieder zu evaluieren und zu relativieren. Instrumente dazu sind verfügbar. Wir müssen sie nur nutzen.“

In der anschließenden Diskussion kommt - wie zu erwarten bei einem Vortrag eines Betrieblichen - das Thema Procurement auf. Wie gelingt es, der Einkaufsabteilung klar zu machen, dass es einen Unterschied gibt, ob man Stühle oder Marktforschung einkauft? „Wir hatten im Unternehmen eine längere Diskussion und haben schließlich die Kollegen zu einer Fokus-Gruppe eingeladen und sie hinter die Scheibe gesetzt“, berichtet Bruns. Danach war klar, die Entscheidungshoheit für einen Dienstleister bleibt bei Lilly in der Mafo-Abteilung.

Bruns war der einzige betriebliche Forscher an diesem Tag am Rednerpunkt und auch im Publikum waren sie kaum zu entdecken. Insgesamt zeigten sich rund 60 Branchenvertreter aus Österreich, der Schweiz und Deutschland an dem Thema Qualität interessiert und waren auch zu reger Diskussion bereit.

Ein Gast kam sogar aus den USA. Rita Kite, zuständig für Qualität bei der GfK, zeigt, wie das weltweite Supplier Quality Management des größten deutschen Marktforschers funktioniert. Man versucht einerseits die bevorzugten Lieferanten zu reduzieren, sie andererseits ständig zu fordern und zu kontrollieren aber auch zu fördern und auszubilden. Die Suche nach der passenden Qualität sei dabei eine „never ending question“, erklärt Kite. Dafür wurden bei GfK für alle Prozesse Standards formuliert und die Lieferanten auf die Einhaltung von Qualität eingeschworen. Klare Formulierung der Erwartungen und adäquate Kommunikation derselben seien nötig und während der Projekte muss GfK in einer aktiven Rolle bleiben und mit den Lieferanten fortwährend im Kontakt sein, so die Idee bei GfK.

Kite stellte auch einige Instrumente vor, um die Qualität von Online-Umfragen zu gewährleisten. Um die immer häufiger werdenden Bots zu überlisten, wird etwa ein Honeypot in Surveys eingebaut. Dieser kleine Code ist für menschliche Nutzer unsichtbar und wird daher nicht beachtet. Ein Computer hingegen „sieht“ das Feld, füllt es aus und kann somit identifiziert und ausgeschlossen werden.

Wir bieten nicht ein Pfund Daten, sondern eine Problemlösung

Hartmut Scheffler, Geschäftsführer von Kantar TNS stellte ebenfalls das Quality Management System seines Unternehmens vor. Die neu gegründete Einheit, Kantar Analytics Practice, entwickelt Produkte, die mit Künstlicher Intelligenz Plausibilitäts-Checks durchführen können. Bei Kantar gibt es in den CATI-Studios offene Türen für Auftraggeber und Supervisoren für die Interviewer. Bei Lightspeed, der Paneltochter von Kantar, werden die Panelisten abschließend gefragt, wie ihnen die Umfrage gefallen hat. „Wir bewerten dadurch die Machbarkeit der Studien“, sagt Scheffler und sie können diese Informationen an den Kunden zurückspielen.

Aber Scheffler, der sich 12 Jahre als Vorstand im ADM für die Brancheninteressen eingesetzt hat, nutzt die Chance auch für ein allgemeines Statement und einen sehr engagierten Appell an die Branche: „Bitte nicht fatalistisch werden“, sondern das Momentum der Aufmerksamkeit nutzen, die Qualität auf allen Ebenen diskutieren und verbessern. „Wir müssen immer über den 360 Grad Ansatz reden", fordert Scheffler. Es gehe nicht alleine um CATI oder die Datenerhebung. „Es sind noch gar nicht alle Stufen der Wertschöpfungskette für die Qualitätsdiskussion durchdekliniert“ und gleich recht nicht alle Methoden, die heute Anwendung finden, ganz zu schweigen von künftigen Anwendungen. „Wie viele klassische Studien werden wir morgen noch machen?“ fragt Scheffler.

Aber der rasante Wandel betrifft auch die Qualitätsanforderungen. Ein Kunde wie Unilever etwa fordert doppelte Erkenntnis in der Hälfte der Zeit zu den halben Kosten. Wie soll das gehen? Wenn die Marktforschung Qualität beweisen und sich gegenüber Anbietern wie etwa SAP durchsetzen will, muss sie verwertbare Ergebnisse liefern, die den ROI steigern. „Wir bieten nicht ein Pfund Daten, sondern eine Problemlösung“, so Scheffler plakativ. Seine To-Do-Liste für die Qualitätsdebatte: Ausbildung 3x wiederholt, Transparenz 3 x wiederholt, Seminare und Ausbildung für Kunden, wobei er dabei auch den CMO und das Procurement im Blick hat. Schließlich müssen für Verbandsmitglieder bestimmte Dinge verpflichtend werden.

Um die Verbände ging es viel an diesem Tag. Ist eine Mitgliedschaft alleine schon ein Qualitätskriterium? Was verspricht so ein Logo auf der Webseite eines Institutes eigentlich? Wie können die Verbände für mehr Durchblick sorgen. Dazu schickte die Vorsitzende des Schweizer Verbandes der Marktforscher, Susan Shaw, ein Video-Statement. Sie berichtete von dem langen Prozess zu einer Tranparenzrichtlinie in der Schweiz, die in einer Neufassung mittlerweile für alle Verbandsmitglieder verbindlich ist. Es geht im Wesentlichen um verschiedene Erhebungsmethoden.

Damit ist die Schweiz dem deutschen Verband ADM einen großen Schritt voraus. Die seit Januar tätige Geschäftsführerin, Bettina Klumpe, berichtet von dem Ausschluss der beiden in den Spiegel-Online-Artikeln genannten Institute durch die Mitgliederversammlung. Sie hatten sich nicht zu den Vorwürfen geäußert und sind inzwischen insolvent. Jetzt will der Verband eine Transparenz-Initiative starten. Allerdings war der ADM in Sachen Standards auch bisher nicht untätig. Bereits seit 1999 gibt es eine Selbstverpflichtung der Branche in schrieftlich niedergelegten Guidelines. Wenn auch das Büchlein von der Aufmachung her heute ein wenig verstaubt anmutet, ist es immer noch aktuell und sinnvoll anwendbar. Qualität ist beständig und Qualitätsstandards ebenfalls. Aber Klumpe verspricht auch dies anzupacken.

Robert Sobotka, Vorstand des österreichischen Verbandes vmö und Gastgeber dieser Konferenz, bringt das erste Praxisbeispiel an diesem Tag und berichtet über die Qualitätskontrollen in seinem Telefonstudio Telemark Marketing. Er kontrolliert fünf Prozent aller Interviews mit verschiedenen Methoden. Wichtig für die Motivation der Interviewer scheint ihm auch die Ausbildung und Einführung in die Arbeit, in das Unternehmen und die Psyche des Befragten. Was etwa kann man antworten, wenn einer sagt „Sie dürfen mich gar nicht anrufen, woher haben Sie meine Telefonnummer?“

Die Iso-Norm als „Uno der Standardisierung“

Sobotka ist auch Vorsitzender des deutschsprachigen Begleitgremiums zur internationalen ISO-Normung. Sein Telefonstudio ist ISO-zertifiziert und das Qualitätsmanagement nach der ISO-Norm darf bei einer Qualitätsdiskussion natürlich nicht fehlen. Holger Mühlbauer, Geschäftsführer beim Bundesverband IT-Sicherheit Teletrust und Auditor für die ISO-Normen der Branche, stellt in einem Abriss die Entstehung des Normungs-Instrumentes für die Marktforschung vor. Seine Vorstellung ist, die Iso-Norm als „Uno der Standardisierung“ zu etablieren, als Überbau über den nationalen Standards. Im wesentlichen geht es in diesen Normen um die Benennung von Abläufen, um Verantwortlichkeiten und um die Berichterstattung gegenüber dem Kunden. Das „Werkzeug zum internen Prozessmanagement“ wird weltweit formuliert. Deren Entwicklung musste daher so manchen Clash of Cultures überwinden. Die deutschsprachigen Verbände haben sich dafür zusammengetan, um mit einer Stimme zu sprechen.

Bei vielen Unternehmen, vor allem Behörden werde die Erfüllung des ISO-Standards mittlerweile erwartet, ohne sie kein Auftrag vergeben. Um das formale Konstrukt ein wenig zu veranschaulichen, berichtet Doris Hess vom Infas Institut für angewandte Sozialwissenschaften, wie das Qualitätsmanagement in ihrem Institut eingeführt wurde. Hess bricht gleichzeitig eine Lanze für Qualität, die allerdings ihren Preis habe. "Es hat eine Abwertung der Mafo stattgefunden. Hören Sie auf von Umfragen zu reden! Wir machen hochwertige Studien", fordert sie mehr Selbstbewußtsein von den Kollegen in der Marktforschung. Zertifizierung gibt dem Unternehmen einen Schub, sagt Hess. Es erfolgt eine erhöhte Verbindlichkeit. „Wir arbeiten nur mit Instituten zusammen, die sich unseren Grundregeln unterwerfen“.

Schließlich kommt noch die Onlineforschung zu Wort. Alexandra Wachenfeld-Schell berichtet als DGOF-Vorstand über die Aktivitäten des Verbandes und deren Partizipation an den Qualitätsinitiativen der Branche. Sie verweist auf die Kooperation zwischen Forschung und Praxis, die der DGOF besonders am Herzen liegt und zeigt auf, wie viel Forschungsbedarf noch besteht. Welche Auswirkungen haben Tracking-Blocker oder ausgeschaltete Geolokalisierung für Surveys? Wann sollte man Umfragen ins Feld geben und wie kann man dem Befragten gegenüber die richtige Wertschätzung ausdrücken?

Praktisch untermauert werden Anforderungen und Möglichkeiten der Qualitätskontrolle in der Online-Forschung durch Jörg Tschasche, Chief Production Officer bei respondi, einem Onlinepanelanbieter in Deutschland, Frankreich und UK. „Unser größtes Problem ist die Zeit“, gesteht er. Die Feldzeit ist in den vergangenen zehn Jahren von 14 Tagen auf 2 bis 3 Tage geschrumpft. So sei das Panelbusiness ein ständiger Wettlauf zwischen überarbeiteten Versionen des Fragebogens, Erfüllung der Quoten und den Sicherheitssystemen, die während der Befragung schlechte Teilnehmer und Bots aussortieren müssen. Denn wenn die Befragung zu Ende geführt wurde, wird das Incentive fällig.
Es gibt mittlerweile professionelle Survey-Bots
Es gibt mittlerweile professionelle Survey-Bots (© pua)
Es gibt mittlerweile professionelle Bots, die extra für Befragungen gebaut wurden, um in kürzester Zeit Geld einzusammeln. Auch die technischen Änderungen im Internet machen es den Online-Panelbetreibern nicht leicht. „Eine neue Version eines Browsers und schon gibt es Probleme“, sagt Tschasche. Aber auch die Basics sind nicht ohne: Falsche Rechtschreibung und mangelnde Logik im Fragebogen können ebenso einen schlechten Eindruck vermitteln wie falsche Übersetzungen. Das alles senkt die Glaubwürdigkeit, wirkt sich aus auf die Befragten, deren Antworten und die Qualität der Umfrage aus. Da kann man mit Qualitätskontrollen nur noch begrenzt gegensteuern. Wichtig ist daher, dass auch der Kunde erkennt: Qualität in der Marktforschung hat ihren Preis.

In der abschließenden Diskussionsrunde kamen noch zwei österreichische Forscher zu Wort, Michael Nitsche, Geschäftsführer Österreichisches Gallup Institut, und Thomas Winder, Geschäftsleitung marketmind, die ihre Sicht der Qualität vorstellten. Die Veranstaltung lieferte ein sehr dichtes Programm und für die Teilnehmer eine Menge Stoff für Qualitätsoffensiven im eigenen Unternehmen. 



Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats