Kann ISO-Zertifizierung die Qualität sichern?

Ein TÜV für Marktforschung

Kann ISO-Zertifizierung die Qualität sichern?
Aleksandar Mijatovic/Fotolia
Kann ISO-Zertifizierung die Qualität sichern?
ISO-Zertifizierung hat eine Menge Vorteile für Institute. Sie werden sich ihrer Prozesse bewusst und regeln diese nach dem Vorbild der Best Practice. Das fördert die Qualität. Dennoch wird das Siegel von Auftraggebern selten als Bedingung verlangt. Doch jetzt kommt Bewegung in den Markt.
Psyma, Skopos, GIM, Krämer. Die Anzahl an Marktforschungsinstituten, die sich in den vergangenen Monaten für eine ISO-Zertifizierung entschieden haben, ist wachsend. Weitere renommierte Unternehmen sind in der Pipeline. Es ist nicht gerade ein Run, aber die Nachfrage nach diesem Instrument ist deutlich gestiegen seit Anfang Februar die Branche durch einen Pressebericht zu Betrug im CATI-Studio aufgeschreckt wurde, bestätigt Holger Mühlbauer, im Hauptberuf Geschäftsführer des Bundesverband IT-Sicherheit, der als Auditor zahlreiche Zertifizierungen von Marktforschungsinstituten betreute und seit Beginn die Entwicklung des Werkzeugkastens für das Qualitätsmanagement mitentwickelt hat. Seit Beginn bedeutet immerhin seit 2006. Aber nach zwölf Jahren Existenz der ISO-Norm 20252 für die Markt-, Meinungs- und Sozialforschung gibt es in der Branche kaum mehr als ein Dutzend Unternehmen, die dieses Siegel tragen. Klingt nicht gerade nach einer Erfolgsgeschichte.

Die häufigsten Ausreden lauten: Es ist zu teuer oder wir haben keine Zeit dafür, zu viel bürokratischer Aufwand. Manche sagen, sie würden sich auch ohne das Zertifikat an die Regeln halten. Olaf Hofmann, Geschäftsführer von Skopos, der als Abgesandter der DGOF selber in dem deutschsprachigen Begleitgremium die Normen mitentwickelt, sagt auf die Frage, warum er sein Institut jetzt erst hat zertifizieren lassen: „Ich befürchte, es ist wie beim Kinder kriegen. Man will es, man plant es, aber es gibt dann doch immer irgendetwas, was den Entschluss aufschiebt“. Und weiter: „Für uns war es eines der besten Investments, das wir je getätigt haben, weil es unsere gesamte Organisation fitter, fehlersensitiver, prozessorientierter und damit insgesamt besser gemacht hat.“

Ein ähnlich positives Resümee ziehen alle Institute, die man nach der Zertifizierung zu ihren Erfahrungen befragt. Aber was wird da eigentlich gemacht? Wie geht das vor sich, eine solche Zertifizierung? Was genau wird zertifiziert und was bewirkt das?
„ISO-Zertifizierung geht einher mit Qualitätsmanagement: Unternehmensinterne Abläufe werden dabei definiert, sodass die Erstellung der Dienstleistung – in unserem Falle einer telefonischen Befragung – einen möglichst standardisierten Prozess durchläuft. Uns gelingt es dadurch, unseren Auftraggebern eine konstante Qualität zu bieten“
Robert Sobotka, Vorsitzender des deutschsprachigen Begleitgremiums zur internationalen ISO-Norm
Eine Reflexion über die Organisation

Bei einer ISO-Zertifizierung wird in der Regel ein Berater hinzugezogen, der mit einem oder mehreren Mitarbeitern die Zertifizierung vorbereitet. Dabei werden alle Prozesse, die in einem Unternehmen vorkommen, in einem Ablaufdiagramm dargestellt. Alle Schnittstellen werden genau beschrieben. Welche Funktion spricht mit welcher Funktion und welche Informationen werden dabei ausgetauscht? Systematisch werden die Forderungen, die in den Normen stehen, abgearbeitet. Daraus entsteht eine sehr umfangreiche Dokumentation, das Qualitätsmanagement(QM)-Handbuch. Welche Checks werden gemacht? Wo wird geprüft? Wie viel Prozent muss wo und wann kontrolliert werden? Ein solches QM-Handbuch für ein Fullservice-Institut kann gut 200 bis 300 Seiten umfassen. Ganz zuvorderst kommt das Commitment der Unternehmensleitung. Aber jeder einzelne Mitarbeiter muss in einen solchen Prozess eingebunden und umfassend geschult werden. „So ein Handbuch ist eine perfekte Einarbeitungshilfe für eine Person, die neu in ein Unternehmen kommt“, sagt Dietmar Zentner, ehemals QM-Berater und Auditor für die ISO-Norm und heute zuständig für den Bereich Operations und Datenerhebungsmethoden beim LINK Institut Schweiz. Dafür sollte es natürlich in einer interessanten Form geschrieben werden, damit die Mitarbeiter es lesen, verstehen und auch täglich leben. „Es geht darum, die Personen mit dem Qualitätsverständnis anzustecken und mit dem notwendigen Wissen auszustatten“, so Zentner.

Was verlangt die Norm?
Die ISO-Norm 20252 enthält allgemeine Anforderungen und Maßgaben für Marktforschungsinstitute zu diesen Themen:
  • Organisation und Verantwortung
  • Rekrutierung von neuen Panelteilnehmern
  • Vertraulichkeit und Transparenz
  • Methoden der Rekrutierung
  • Quellen der Rekrutierung
  • Validierung der Identität
  • Struktur und Größe
  • Umgang mit den Profildaten der Panelteilnehmer
  • Management des Access Panels
  • Incentives
  • Pflege und Aktualisierung der Profildaten von Panelteilnehmern
  • Stichprobenziehung
  • Fragebogen
  • Pretest und Übersetzung
  • Einladungen zur Teilnahme an Forschungsprojekten
  • Validierung der Daten
  • Berichterstattung an Auftraggeber
  • Pflichten gegenüber den Panelteilnehmern
  • Pflichten gegenüber den Auftraggebern
  • „Eine Zertifizierung ist eine Reflexion über die Organisation“, sagt Doris Hess vom Infas Institut für angewandte Sozialforschung auf der internationalen Konferenz Qualität in der Marktforschung in Wien. Infas hatte bereits ein Handbuch mit allen beschriebenen Prozessen, war also gut auf den Auditor vorbereitet. Bei einem Unternehmen, bei dem die Prozesse nur in den Köpfen der Menschen sind, kann eine solche Reflexion allerhand zutage bringen. Umständliche oder gar sich widersprechende Prozesse, unnötige Schleifen, die Erkenntnis, dass nur eine bestimmte Person das Wissen über einen Vorgang hat und es kein Backup gibt. Der Prozess kann Schwachstellen aufdecken.

    „Und es ist nicht irgendein Standard, der dabei festgeschrieben wird, sondern der beste“, weiß Hofmann. „Es handelt sich nicht um eine vollkommen abgehobene, nicht erfüllbare, wahnsinnig aufwendige, teure Vorgehensweise, sondern die Norm wurde von Praktikern erarbeitet, die wissen, was in den Forschungsalltag hineinpasst.“ Diese Praktiker haben sich in der Region DACH zum deutschen Begleitgremium zur internationalen ISO-Norm zusammengeschlossen. Vertreten sind hier die Verbände ADM, BVM, DGOF, der österreichische Verband vmö und die Schweizer Marktforscher im vsms sowie Teletrust, der Bundesverband IT-Sicherheit. Auf internationaler Ebene, gemeinsam mit den weltweiten Verbänden, wird hier ein Branchenstandard festgelegt. „Das ist keine Kleinigkeit“, sagt Mühlbauer und berichtet vom Clash of Cultures, den man gelegentlich bewältigen muss. Die letzten Treffen fanden in Mexiko und Tokio statt.

    Vier ISO-Normen für die Marktforschung
    Bei der Zertifizierung gilt das vier-Augen-Prinzip. Das Unternehmen benennt einen Verantwortlichen, der in der Regel gemeinsam mit einem freien Berater die Zertifizierung vorbereitet und das Qualitätsmanagement-Handbuch erstellt. Der Auditor prüft die festgelegte Vorgehensweise in Stichproben, befragt die Mitarbeiter, lässt sich Dokumentationen zeigen. Nach zwölf bis 24 Monaten wird das erstellte Zertifikat überprüft, indem ein Überwachungsaudit durchgeführt wird, und nach drei bis fünf Jahren wird das Unternehmen re-zertifiziert. Für eine Erstzertifizierung muss ein Institut je nach Größe rund 5.000 bis 15.000 Euro Kosten rechnen, plus eventueller Kosten für einen externen Qualitätsmanagement-Berater. Derzeit gibt es für die Markt-, Meinungs- und Sozialforschung vier gültige ISO-Normen:
  • ISO 9001:2015 Qualitätsmanagement-Systeme. Eine branchenübergreifende Norm, die Anforderungen an Qualitätsmanagement-Systeme beschreibt.
  • ISO 20252:2012 für Markt-, Meinungs- und Sozialforschung. Die Norm wurde 2006 erstmals verabschiedet, 2012 revidiert. In Deutschland sind weniger als 20 Institute danach zertifiziert. Die genaue Zahl ist nicht bekannt.
  • ISO 26362 für Access-Panel-Anbieter. Diese Norm war in Deutschland wesentlich erfolgreicher als die 20252. Zahlreiche Panel-Anbieter tragen das Gütesiegel. Sie wird gerade in die ISO 20252 integriert. Panel-Anbieter müssen dann nur den für sie relevanten Teil der Norm absolvieren.
  • ISO 19731 für Digital Analytics und Webanalyse. Die neueste Norm für moderne Anwendungen in der Marktforschung. Es gibt noch kein Institut, das danach zertifiziert wurde, aber erste Interessenten.
  • Von all diesen Bemühungen kommt in der Branche freilich wenig an. Wer googlet, findet die Norm zum Kauf angeboten. Vergebens sucht man eine Webseite, auf der alle deutschen zertifizierten Institute aufgelistet sind. Interessant wäre auch, welche Dienstleister vielleicht ihr Zertifikat einmal erhalten, aber nicht verlängert haben. Doch die Zertifizierung ist privatwirtschaftlich geregelt, es gibt zahlreiche Berater und auch mehrere Zertifizierer. Eine Akkreditierung für die Branchennorm ISO 20252 wird weder durch die Deutsche Akkreditierungsstelle (DAkkS) angeboten noch wird sie für die Branche verlangt. Wildwuchs ist also möglich. „Aber wir passen auf“, sagt Mühlbauer und verspricht: „Wir beäugen den Markt aufmerksam und würden auch warnen.“ Die bekanntesten Zertifizieren hierzulande sind Austrian Standards und Dekra.

    Systematisch und genau hinschauen

    „Zertifizierung gibt dem Unternehmen einen Schub und eine erhöhte Verbindlichkeit der Regeln“, weiß Hess von Infas. Das gilt auch für den Umgang mit den Dienstleistern zum Beispiel für die Feldarbeit. Dabei geht es nicht alleine um Kontrolle. Qualitätssicherung ist ein systemischer Prozess. Im Idealfall einigen sich die Partner über die Vorgehensweise. Teil der Zertifizierung ist auch, dass die Institute für die Arbeit ihrer Dienstleister verantwortlich sind.

    Stephan Telschow von der GIM Gesellschaft für innovative Marktforschung beschreibt eine Erkenntnis während des Zertifizierungs-Prozesses: „Man spricht gerne von ‚vertrauensvoller, verlässlicher Zusammenarbeit‘. Aber dann stellt man sich die Frage: Auf was verlassen wir uns denn da eigentlich? Dabei geht es gar nicht um Betrug, sondern eher um die kleinen Dinge, die einfach so hingenommen werden, obwohl man sie anders haben möchte und sich ärgert. Diese vielen kleinen Standards haben wir jetzt als Vertragsbestandteil formuliert. Damit können wir einem Supplier demonstrieren: ‚Wir sind da hinterher. Wir lassen nicht alles so durchlaufen. Wir gucken auch mal genau hin.‘ Nicht ständig, aber doch systematisch.“

    ISO-Zertifizierung hat einen reinigenden Charakter

    Wachsam werden, hinterfragen, nicht alles so durchlaufen lassen, systematisch hinschauen, sowohl auf die eigenen Prozesse als auch auf die der Dienstleister. Das sind die Äußerungen, die man hört, wenn man nach dem Prozess der Zertifizierung fragt. Und wenn die Prozesse standardisiert, die Qualitätsanforderungen festgelegt sind, das ISO-Zertifikat erteilt ist, muss der neue Geist auch gelebt werden. „Es nützt nichts, wenn die Plakette der bestandenen Hauptuntersuchung angebracht ist, wenn der Fahrer nicht fähig und willens ist sich an die aufgestellten Regeln zu halten“, sagt Zentner plakativ. Der Vergleich mit dem TÜV ist gar nicht so weit hergeholt. ISO-Zertifizierung ist eine Vorlage für eine perfekt durchdachte Organisation. Wenn die Prozesse klar strukturiert sind und einheitlich vollzogen werden, erzeugt dies auch eine gewisse Qualität.

    „Aber eigentlich belegen die ISO-Normen nur eine Mindestanforderung“, sagt Telschow. Bei der Veranstaltung „PUMa+: Wir müssen reden“ von planung&analyse (zum Bericht >>) kam die spannende Frage auf: Was sind Exzellenz-Kriterien für die Branche? Reicht es da, einfach nur sauber zu arbeiten und keinen Mist zu machen? Oder suchen gerade betriebliche Marktforscher nach besonders guten Ergebnissen, besonders präzisen Interpretationen, besonders wertvollen Methoden? Dafür bietet das ISO-Siegel keine Garantie. Das muss man trennen. Deshalb hat sich auch kein Betrieblicher bei einer kleinen Anfrage im PUMa-Netzwerk von planung&analyse gemeldet und bestätigt, dass die Norm bei Ausschreibungen gefordert wird. Lediglich bei öffentlichen oder öffentlich geförderten Institutionen ist das bereits der Fall. Die Notwendigkeit einer solchen Norm ist offenbar im Forschungsalltag nicht angekommen.
    „Die Zertifizierung belegt für unsere Mitarbeiter und Kunden, dass wir nach klaren Standards arbeiten und alle Forschungsschritte systematisch auf Fehlerquellen geprüft haben und Fehlerrisiken minimieren. “
    Stephan Telschow, Bereichsleiter GIM Berlin
    Aber nur der Nachfragedruck, die Anforderung in Ausschreibungen würde der ISO-Zertifizierung einen Schub versetzen. Oder etwa, dass die Mitgliedschaft in einem Verband an die Bedingung der ISO-Zertifizierung geknüpft wird.

    Dies ist beispielsweise in Australien der Fall. Jedes Institut, das Mitglied im dortigen Verband werden will, muss die Zertifizierung vorlegen. Auch in UK und in den Niederlanden ist der ISO-Stempel wesentlich weiter verbreitet als hierzulande. Beim ADM verweist man darauf, dass alle Mitglieder dies auch akzeptieren müssten. Ein Vorstoß in diese Richtung ist derzeit nicht geplant. Vielmehr besinnt sich der Verband auf seine bereits 1999 gemeinsam mit den anderen deutschen Verbänden aufgestellten „Standards zur Qualitätssicherung in der Marktforschung“. Diese sind laut Bettina Klumpe, Geschäftsführerin des ADM, immer noch gültig und brauchbar, müssen lediglich neu aufbereitet werden. Zusätzlich plant der ADM eine Transparenz-Initiative, die den Mitglieds-Unternehmen genauer auf die Finger schauen soll. Die Kriterien dazu werden in den kommenden Monaten erarbeitet.

    Die Schweiz hat bereits Transparenzkriterien für verschiedene Erhebungsverfahren festgeschrieben. Susan Shaw, Vorsitzende des Schweizer Verbandes vsms, hat auf der Konferenz zur Qualitätssicherung in Wien (zum Bericht >>) per Video-Botschaft davon berichtet. Bis sich alle Beteiligten einig waren, hat es vier Jahre gedauert.

    Für Holger Mühlbauer ist die ISO, auf der die Zertifizierung beruht, so etwas wie die „UNO der Standardisierung“, eine Dachorganisation für Normung. Andere mögen es auch als Basis ansehen.

    Mühlbauer sieht gerade durch die neue Datenschutz-Grundverordnung (DSGVO) und das Wegfallen des deutschen Bundesdatenschutzgesetzes mit dem Wissenschafts-Privileg für Marktforschung eine Notwendigkeit, die Seriosität der Branche unter Beweis zu stellen. Durch eine solche Selbstverpflichtung könnte das gelingen. Fest steht, die Zertifizierung ist eine Voraussetzung, aber keine Garantie für Qualität. Und zudem gibt es zahlreiche andere Regeln und Standards und Vorschriften und Transparenzrichtlinien. Daran scheint es der Branche also nicht zu mangeln. Auf die Frage, ob die Qualität in der Marktforschung durch ISO-Zertifizierung verbessert werden kann, sagt Erich Wiegand, der als Geschäftsführer des ADM – jetzt im Ruhestand – die Entwicklung der ISO-Norm mit vorangetrieben hat und jetzt als Berater arbeitet, mit den Worten von Barack Obama „Yes, we can!“ und verweist auf die detaillierten Regeln des Apparates. Aber ob die Zertifizierung einen Betrugsfall, wie er in der Akte Marktforschung geschildert wird, hätte verhindern können? Wohl kaum. Vorsätzlichen und systematischen Betrug kann man auch mit ISO-Zertifizierung nicht verhindern. Allerdings: „Die damals im Spiegel genannten Institute waren nicht zertifiziert“, sagt Mühlbauer mit Erleichterung.

    Erschienen in planung&analyse 3/2018



    stats