Wie kann man Messenger für Befragungen einsetzen: Chatbots statt Matrix-Fragen?

Messaging-Apps haben in Zeiten von Smartphones und Social Media die Kommunikation grundlegend verändert. Mit „intelligenten“ Chatbots streben Unternehmen nun danach, die digitale Kunden-Interaktion weiter zu bereichern. Das führt zu der Frage: Lassen sich Chat-Interfaces auch für die Marktforschung einsetzen? Dieser Frage gehen Christopher Harms und Sebastian Schmidt von Skopos nach. Sie zeigen, dass die gewonnenen Daten vergleichbar sind und das Potenzial groß ist. Denn erweitert um dynamische Text-Analysen, werden individuelle, empathische Online-Befragungen möglich.

Wenn Sie auf Ihrem Smartphone zwischen Telefonie und Messaging via WhatsApp, Facebook oder iMessage wählen müssten: Wofür würden Sie sich entscheiden? Schaut man sich die reine Nutzungszeit durchschnittlicher Smartphone-Nutzer an, ist die Antwort klar: Messaging spielt eine dominierende Rolle und ist aus dem Alltagsleben nicht mehr wegzudenken.

Insofern verwundert es nicht, dass Unternehmen – egal ob Startup oder Konzern – diesen Kommunikationskanal für sich erobert haben. Facebook, Twitter, Instagram oder auch passgenaue Beratung via WhatsApp oder Chat auf der Webseite sind als Medium für den Dialog zwischen Unternehmen und Kunden zunehmend relevant.

Und das nächste große Ding steht unmittelbar vor der Tür, glaubt man Tech-Riesen wie IBM, Microsoft oder Google. Diese investieren derzeit unter Namen wie Cognitive Services kräftig in Angebote für Machine Learning für die breite Masse der Anwender. Intelligente, lernende Systeme sollen für jedermann verfügbar werden. Die Einsatzmöglichkeiten sind dabei unglaublich vielfältig: Mustererkennung in Finanzdaten, automatisierte Analyse von Röntgen- oder MRT-Bildern zur objektiven Diagnosestellung oder die Vorhersage des Verkehrsaufkommens auf dem Weg zur Arbeit. Zunehmend sichtbar wird die Entwicklung bei der Analyse von Sprache (Natural Language Processing, kurz NLP) in digitalen Assistenten wie Alexa, Cortana oder Siri: Mittels NLP können offene Texte automatisiert verarbeitet werden und selbst lernende Systeme darauf entsprechend reagieren.

Christopher Harms

Skopos

arbeitet als Consultant Research & Development bei Skopos ständig an neuen Martkforschungsmethoden und -tools. Dabei hilft ihm sein Hintergrund als Psychologe ebenso wie seine Lust darauf, Neues zu entdecken.

Wie so etwas konkret aussehen kann, hat Facebook im vergangenen Jahr auf der Entwicklerkonferenz F8 mit der Einführung einer Plattform für Chatbots gezeigt. Mittels Chatbots können Unternehmen die Kommunikation mit Kunden via Facebook automatisieren. Kunden können beispielsweise einen Tisch in ihrem Lieblingsrestaurant reservieren oder gar in einen Flug einchecken – alles direkt über Textnachrichten in der Messenger-App. Dadurch ist die Hemmschwelle zur Nutzung denkbar gering: Externe Weiterleitungen zu Buchungsplattformen oder aufwendige Registrierungsprozesse entfallen. Doch nicht nur für Buchungen wird ein großes Potenzial prognostiziert, auch einfache Service-Anfragen sollen durch smarte, lernende Bots automatisiert beantwortet werden können.

Ob dem aktuellen Hype auch nachhaltige Entwicklungen folgen, steht dabei auf einem anderen Blatt: Denn bei komplexen Anfragen versagen diese Systeme noch und entsprechend ist die Akzeptanz in der Praxis noch gering. Aber warum werden diese Ansätze dennoch weiterverfolgt? Neben klaren wirtschaftlichen Motiven, wie Kostenersparnis gegenüber Service-Centern, ist aus der Forschung zur Mensch-Maschine-Interaktion (Human-Computer Interaction) bekannt, dass Interaktionen, die mit Hinweisen auf Menschlichkeit angereichert werden, von Nutzern sehr positiv wahrgenommen werden. Die Qualität der Interaktion nimmt damit zu.

Sebastian Schmidt

Skopos

arbeitet seit 2007 bei Skopos und ist als Senior Research Executive verantwortlich für den Bereich Research & Development. Sein besonderes Interesse gilt der Anwendung neuer Technologien für die Marktforschung.

Durch den Einsatz von Machine Learning öffnen sich also auch für uns als Marktforscher neue Möglichkeiten: Denn wenngleich Online-Befragungen aus dem Forschungsalltag nicht mehr wegzudenken sind, eines sind sie nicht: persönlich und in diesem Sinne „menschlich“. Vergleicht man die Gestaltung der meisten Online-Fragebögen mit klassischen Papierfragebögen sind die Unterschiede nur im Detail auszumachen. Wenig mutet hier wie eine persönliche Kommunikation zwischen Forscher und Befragtem an.

Chatbots können dabei helfen, diese Lücke zu schließen und Online-Befragungen menschlicher machen. Der Chatbot selbst hat dabei eigentlich zwei Ebenen, die unterschieden werden können. Zunächst gibt es das Frontend. Es ermöglicht dem Nutzer, Nachrichten zu senden und zu empfangen. Aus Sicht des Nutzers findet dort die eigentliche Interaktion statt. Dabei arbeitet im Hintergrund auf der zweiten Ebene das Backend. Hier können lernende Systeme genutzt werden, die die Eingaben des Nutzers verarbeiten, analysieren und schlussendlich dem menschlichen Gegenüber dynamisch eine passende Antwort geben.

Wie menschlich wird der Chatbot?

Nun haben wir im Rahmen einer ersten, methodischen Studie zu diesem Thema die Akzeptanz von Chat-Interfaces im Rahmen von Online-Befragungen untersucht. Unser Fokus lag dabei auf der ersten Ebene und auf der Frage, inwieweit sich Chat-Interfaces für Online-Befragungen überhaupt nutzbar machen lassen.

Dazu haben wir einen einfachen Fragebogen zu verschiedenen Themen erstellt. Dieser wurde von den Teilnehmern entweder im Rahmen eines traditionellen Online-Fragebogens oder eines Chat-Interfaces beantwortet. Dabei war das Chat-Interface technisch wie optisch bewusst an die bekannten Messaging Apps angelehnt.

Optik und Handhabung der beiden Interfaces (Fragebogen und Chat-Interface, siehe Abbildungen) unterschieden sich somit deutlich, wohingegen die eigentliche Funktionalität – das Antworten auf vorgegebene Fragen – gleich blieb. Auch reagierte unser Chat-Interface im Wesentlichen auch noch nicht dynamisch auf die Antworten der Befragten.

Besonders relevant erscheint der mobile Nutzungskontext, da Chat-Interfaces hier mit WhatsApp und Co eine gewohnte Umgebung darstellen. Reguläre Online-Fragebögen werden zwar zunehmend für mobile Endgeräte optimiert, die Wurzeln aus Desktop-Zeiten lassen sich aber nicht verbergen. Entsprechend wurde bei der Erhebung auf eine ausgewogene Verteilung von Mobile- und Desktop-Teilnehmern geachtet. Insgesamt wurden 762 Personen befragt, die einen inhaltlich identischen Fragebogen entweder in einem herkömmlichen Befragungslayout oder über unser Chat-Interface ausgeliefert bekamen.

Beim Einsatz neuer Befragungsmethoden ergibt sich als Erstes die Befürchtung, dass Daten möglicherweise nicht miteinander vergleichbar sind, da die Methode eine relevante systematische Verzerrung darstellen könnte. Unsere Ergebnisse zeigen aber, dass die Daten insgesamt sehr gut vergleichbar waren. Egal, ob Antworttendenzen auf Extremwerte, Skalenmitte oder durchschnittliche Befragungsdauer: Hier gab es keine nennenswerten Unterschiede.

Bei der Länge offener Antworten waren – für uns überraschend – die Antworten im Chat-Interface kürzer. Dies lässt sich jedoch durch aktuelle Forschungsliteratur gut erklären: Im Chat-Interface wurde den Befragten nur ein einzeiliges Eingabefeld dargestellt, während im klassischen Fragebogen mehrzeilige Felder vorhanden waren. Anders gesagt, haben wir einmal Post-It’s verteilt und einmal DIN-A4-Blätter ausgegeben. Entsprechend implizierte dies auch eine Erwartungshaltung an die Ausführlichkeit der Antworten.

Mensch oder Maschine

p&a

Sebastian Schmidt von Skopos berichtet auf der Insights 2017 über seine Erfahrungen mit Chatbots in der Marktforschung.

Jetzt noch schnell anmelden

Ausgehend von der Social-Interface-Theorie könnte man erwarten, dass menschlich wirkende Interfaces ein Verhalten hervorrufen, das eher an Mensch-Mensch-Interaktion erinnert – mit allen Vor- und Nachteilen der zwischenmenschlichen Kommunikation, beispielsweise der Tendenz zu sozial erwünschten Antworten. Mit einem Kurzfragebogen zur Erfassung sozialer Erwünschtheit und Fragen zu politischen Themen konnten wir diese Befürchtung jedoch entkräften. Bei den Teilnehmern selbst kam das Chat-Interface auf explizite Nachfrage sehr gut an und wurde als besonders neuartig und unterhaltsam wahrgenommen. Diese positive Einschätzung strahlte auch auf die Umfrage selbst ab, sodass die Befragungsthemen insgesamt als interessanter angesehen wurden.

Besonders in Zeiten von nachlassender Antwortbereitschaft ein vielversprechendes Ergebnis: Die Teilnehmer haben mehr Spaß, die Datenqualität bleibt erhalten – also alles gut? Leider nicht ganz. Denn entgegen unseren Erwartungen sahen wir in der Abbruchstatistik, dass beim Chat-Interface lediglich 81 Prozent der eingeladenen Teilnehmer die Umfrage beendet hatten, während dies 93 Prozent der Teilnehmer in der traditionellen Variante taten. Für diesen deutlichen Unterschied haben wir unterschiedliche Erklärungsansätze: Die einfache Möglichkeit sind technische Probleme, schließlich war es unser erster Feldeinsatz des Chat-Interfaces aus Eigenentwicklung. Kinderkrankheiten können nicht ausgeschlossen werden.

Eine weitere Erklärung ist eher psychologischer Natur: Wird Marktforschung über Chats, wie auch im Alltag, als weniger verpflichtend wahrgenommen, so dass bei längeren Fragebögen schneller unterbrochen wird? Und kommen alle Zielgruppen gleichermaßen gut mit dem Chat-Interface zurecht? Auf Basis unserer Daten konnten wir zumindest keine Befragten-Segmente identifizieren, die hier besonders auffällig waren. Dennoch werden wir diesen Fragen weiter nachgehen.
Denn wenngleich Abbruchquoten noch Anlass zu Bedenken geben, sehen wir erhebliches Potenzial bei besonders kurzen und möglichst kurzweiligen Umfragen. Vielleicht können Chat-Interfaces gerade bei jungen und mobilen Zielgruppen helfen, einer aufkommenden Befragungsmüdigkeit entgegenzuwirken. Insbesondere weil es hier perfekt in ihren Nutzungsalltag hineinpasst.

Klar ist aber auch, dass in diesem Kontext über das Fragebogen-Design nachgedacht werden muss. Während einfache Antwortformate wie Likert-Skalen, offene Textfelder oder unterschiedliche Auswahloptionen problemlos nutzerorientiert eingesetzt werden können, wirken Item-Batterien hier noch stärker wie ein Fremdkörper. Auch bei sich monoton wiederholenden Frage-/Antwort-Kombinationen werden wir in Zukunft bei Chat-Befragungen noch stärker zwischen Erkenntnisinteresse und Belastung des Befragten abwägen müssen.

Literatur

Conrad, F. G., Schober, M. F., & Coiner, T. (2007). Bringing features of human dialogue to web surveys. Applied Cognitive Psychology, 21(2), 165–187. http://doi.org/10.1002/acp.1335 +++ Schuetzler, R. M., Grimes, M., Giboney, J. S., & Buckman, J. (2014). Facilitating Natural Conversational Agent Interactions: Lessons from a Deception Experiment. In Information Systems and Quantitative Analysis Faculty Proceedings & Presentations. Retrieved from http://aisel.aisnet.org/icis2014/proceedings/HCI/9/ +++ Tourangeau, R., Couper, M. P., & Steiger, D. M. (2003). Humanizing self-administered surveys: experiments on social presence in web and IVR surveys. Computers in Human Behavior, 19(1), 1–24. http://doi.org/10.1016/S0747-5632(02)00032-8

Und genau hier können die eingangs beschriebenen Machine-Learning-Verfahren ansetzen, um von eher „stumpfen“ Abfragen hin zu einem smarten, dynamischen Fragebogen zu gelangen, der sich wiederholende, ermüdende Fragen entschärft und stattdessen individuell auf den Befragten und seine Antworten eingeht, um noch mehr oder tiefere Erkenntnisse zutage zu fördern. Möglich wäre beispielsweise, dass der Chatbot nachfragt, wenn Antworten kurz und oberflächlich bleiben. Antwortet ein Befragter auf die Frage „Was hat Ihnen am Hotel besonders gefallen?“ einfach nur mit Service, könnte der Chatbot noch mal nachfragen „Was hat Ihnen denn am Service besonders gefallen?“ Ein selbst lernendes System könnte so auch verschiedene Themenblöcke miteinander verbinden und so immer treffsicherer geeignete Fragen stellen – und deren Auswertung möglicherweise auch schon automatisch für den Marktforscher vorbereiten.

Das Potenzial scheint riesig – der Hype rund um das Thema Machine Learning ist es aber mindestens ebenso. Es bleibt noch offen, welche Technologien sich durchsetzen und wie sie Prozesse und Analysen in der Marktforschung ganz konkret verändern werden. Können Chatbots und künstliche Intelligenzen damit bald den Marktforscher ersetzen?

Das erscheint nicht sehr wahrscheinlich. Vielmehr können wir durch clevere Synthese aus marktforscherischer Expertise und Technologie dafür verantwortlich sein, noch tiefer in die Alltagswelt unserer Zielgruppen einzutauchen und damit nicht nur viele, sondern vor allem relevante Daten zu erhalten.

Online-Forschung & Social Media / Pharma & Healthcare p&a

Erschienen in
planung&analyse 3/2017
zum Inhalt | zur Bestellung

Ein Artikel von planung&analyse

Dienstag, 01. August 2017

Chatbots statt Matrix-Fragen?

HORIZONT Jobs