Was man wirklich mit ChatGPT & Co in der Forschung anfangen kann

Anfang März erschien ein Artikel von Forschern der Harvard University, die mit Hilfe von ChatGPT3 die Ergebnisse einer einfachen Conjoint-Befragung reproduzieren konnten - OHNE zu befragen. Die Forscher instruierten die Maschine, sich vorzustellen, sie sei ein Konsument und würde Zahnpasta einkaufen wollen. Sie würde zwei Marken sehen mit jeweils einem bestimmten Preise. Die Frage: „Würden Sie eine Marke davon kaufen und wenn ja welche?“ Die Maschine beantwortet die Frage nicht nur einmal, sondern hunderte Male und ist in der Lage sich so erratisch zu verhalten wie hunderte verschiedene Konsumenten. Die sich ergebene Preis-Absatz-Funktion ähnelte stark den Ergebnissen der Marktforschung.
Ist es nun soweit? Ist nun die Apokalypse doch da? Wird Marktforschung überflüssig? Die Antwort ist wie immer „jein“.

Fragebogengestaltung mit KI optimieren

Zunächst zur Erklärung: Chat GPT ist lediglich eine von mehreren Lösungen von dem Unternehmen Open AI. Es gibt bereits Anbieter von ähnlichen KI-Tools, wie BART von Google. Grundsätzlich sprechen Fachleute daher von Large Language Models (LLM). LLM sind heute schon extrem sinnvoll zur Verbesserung von Fragebogen. Sie können Formulierungsvorschläge geben und so eine Befragung optimieren. Ganz sicher wird es auf DIY-Plattformen wie etwa Survey Monkey bald neben Befragungstemplates ein Funktionalität geben, in dem ein virtueller Marktforscher (also ein LLM) einen Fragebogen, ganz nach den Nutzerwünschen automatisch baut.
Die wenigen Monate der Erfahrung mit LLM zeigen, dass es ganz wesentlich auf die Frage ankommt, die man der KI stellt. Diese Fragen beziehungsweise Instruktionen werden „Prompts“ genannt. Es bildet sich jetzt schon ein eigener Berufszweig „Prompt Engineering“ heraus. Wer die Kunst der Prompts – der detailgenauen Instruktion – beherrscht, kann gänzlich neue Qualität im Umgang mit LLM erzeugen.
Eigentlich ist das nicht verwunderlich. Die Vorteile eines guten Briefings kennt jeder Dienstleister. Ohne gutes Briefing baut auch kein Handwerker etwas Brauchbares. Da geht es den Menschen wie der KI.

Treiberanalyse leicht gemacht

Bei der Fragebogengestaltung und insbesondere, wenn eine Treiberanalyse (die Suche nach dem, was genau den Erfolg antreibt) ansteht, stellt sich die Frage „was soll ich abfragen?“. Was beeinflusst also zum Beispiel die Kundenzufriedenheit eines Restaurantbesuchers? LLMs können dabei helfen, eine Liste an möglichen Treibern aufzubauen, die sehr umfassend ist.
Eine fachlich gute Treiberanalyse berücksichtigt auch indirekte Kausaleffekte und den Einfluss von Kontextvariablen. Die Realität ist, dass die meisten Marktforscher mit dem Aufsetzen einer solchen Kausalanalyse überfordert sind. Auch hier kann LLM helfen. Zudem kann bei der Erstellung Zeit gespart und Fehler vermieden werden. Mit Hilfe von LLMs können bereits Marktforschungsanfänger gute Ergebnisse erzielen. Bei unserer Software Neusrel wird es künftig ebenfalls möglich sein, einen SPSS- oder Excel-Datensatz hochzuladen und eine kausale Treiberanalyse automatisch in ganzen Sätzen ausformulieren zu lassen.

Textanalyse von Open Ends

KI-basierte Textanalyse von offenen Nennungen erfreut sich schon längere Zeit wachsender Beliebtheit. Doch bleibt für gute Analysen noch mancher menschliche Handgriff nötig. Der Marktforscher muss das Codebook selbst definieren, dann die Kategorisierung vornehmen und damit die KI anlernen. Beides wird durch LLM mittelfristig überflüssig. Schon jetzt bauen LLMs zu 90 Prozent perfekte Codebooks in Sekunden. Ohne Training können LLMs eine sogenannte „Single Shot“-Kodierung durchführen. Das heißt: Sie können - ohne vorab mit massenhaft Daten antrainiert zu werden - treffsicher sagen, ob ein Verbatim zu einer Kategorie gehört.

Synthetische Befragungen kommen

Ein „Megatrend“ in der Marktforschung ist die „synthetische“ Marktforschung, wie ich sie nennen. Eine auf bestimmte Daten antrainierte KI kann vorhersehen, was eine weitere Marktforschungsstudie ergeben würde. In einigen Bereichen ist dies heute schon Realität.
Für Plakat- oder Werbefilmeanalysen gibt es bereits Lösungen, die mit 90-prozentiger Präzision vorhersagen können, wie Menschen an einem Eyetracking-Gerät tatsächlich darauf reagieren würden.
Das gleiche gibt es im Bereich Wort- und Sinnassoziation. Wir können heute vorhersagen, was Menschen mit bestimmten Wörtern, Sätzen und Werbeslogans assoziieren, ob sie zu der Positionierung einer Marke passen und ob sie Lust machen das Produkt zu kaufen – ganz ohne Befragung.


Es bleibt offen in welchem Ausmaß LLM für synthetische Marktforschung verwenden werden kann. Es müsste zumindest bei alle Sachverhalten gelingen, deren Informationen implizit in Daten enthalten sind, die zum Training der LLM geeignet sind.
Eine Sonntagsfrage wird die LLM vermutlich nur durch ein Prompting beantworten können, dass ihm alle notwendigen aktuellen Informationen mitliefert.
Wie der Bereich der synthetischen Befragung sich entwickeln wird, darüber lässt sich trefflich spekulieren, dass hier eine Menge Potenzial steckt, aber auch noch erhebliche Entwicklungsarbeit notwendig ist, liegt auf der Hand. Alle Anzeichen weisen darauf hin, dass es spezialisierte Lösungen geben wird, die mit Hilfe elaborierter Prompts oder kundenspezifischer Trainings des LLM synthetische Befragungen durchführen werden können.
So können LLM mit sogenannten „Embedded Models“ vom User auch individuelle zusätzliche Informationen beigebracht werden. So wäre es denkbar, der Maschine bestimmte aktuelle News oder Social-Media-Informationen zu geben und so die Maschine zu befähigen, aktuelle Fragen zu beantworten.

Management Summary per Knopfdruck

Dashboards werden immer beliebter und lösen PowerPoint-Präsentationen teilweise ab. Was sie nicht vermögen, ist in ganzen Sätzen die Quintessenz einer Studie zusammenzufassen. Genau das kann nun LLMs leisten und so wieder teilweise den Marktforscher ersetzen.

Kreation aus der Maschine

Doch LLMs können mehr als nur Sprache. Sie können heute schon Bilder und Videos generieren. So kann die KI in Zukunft gleich mit der Befragung ein Verpackungsdesign oder einen Werbeplakat-Entwurf mitliefern, dass am ehesten zu den Marktforschungsergebnissen passt.
Damit entsteht die Chance, die Marktforschung näher an die Umsetzung zu koppeln und so seine Relevanz zu erhöhen.

Bildung wird sich wandeln

Durch LLMs wird sich Bildung - auch die Ausbildung zum Marktforscher - meiner Meinung nach komplett ändern. Fakt ist, das fast alle Professionals, die als Marktforscher arbeiten, diesen „Beruf“ nicht gelernt haben und vermutlich eine Universitätsklausur in Marktforschung auch nicht bestehen würden.
Durch LLMs wird das Büffeln von Daten und Informationen überflüssig. Was es braucht, ist eine gesunde Neugier und die Anwendungspraxis vorhandene Problemstellungen lösen zu können. Durch eine Chat-Unterhaltung mit LLMs können sich Lernenden in kürzester Zeit das zentrale Wissen für eine Profession aneignen.
Das wiederum bedeutet, dass jeder, der sich ein paar Wochen in das Thema einarbeitet, sehr schnell „Marktforscher“ werden kann. LLM bewirken die Demokratisierung des Wissens und der Bildung – weltweit zu nahezu keinen Kosten.
Klar gibt es keine Garantie, dass das LLM die „Wahrheit“ spricht. Doch diese Garantie haben sie ehrlich gesagt in Lehrbüchern auch nicht. Darüber hinaus hat es der Lernende durch gutes Prompting selbst in der Hand, die Wissensqualität zu optimieren.