Online Special Mobile Research

Welchen Einfluss hat die Nutzung eines Smartphones bei Online-Umfragen?

© © Pixabay.com
Welchen Einfluss hat die Nutzung von mobilen Endgeräten tatsächlich auf die Datenqualität? Wissenschaftler und Praktiker sind sich darüber nicht einig. Im Rahmen einer Masterarbeit an der Friedrich-Alexander-Universität Erlangen-Nürnberg hat die Rogator AG, in Zusammenarbeit mit SevenOne Media, einen groß angelegten Methodentest durchgeführt. Ziel dieser Studie war es herauszufinden, ob es signifikante Unterschiede bei der Beantwortung von Fragen gibt, die allein auf die unterschiedliche Darstellungsform zurückzuführen sind. Alle klassischen Fragetypen der Online-Marktforschung wurden abgedeckt, wie Jochen Knöller und Daniel Knapp berichten.

Um die Nettoeffekte des Endgerätes ermitteln zu können, wurde das sogenannte Propensity Score Matching angewendet. Mit diesem Verfahren werden vorhandene soziodemographische Unterschiede zwischen den beiden Nutzergruppen Desktop und Mobile ausgeglichen und damit vergleichbar gemacht. Tablets wurden aufgrund ihrer weniger klar definierten Eigenschaften und der unterschiedlichen Bildschirmgrößen sowie ihrer geringeren Relevanz in Online-Umfragen von der Analyse ausgeschlossen.



Vereinfacht gesagt wurde auf Basis von Merkmalen wie Geschlecht, Alter, Bildungsstand und Einkommen für jeden mobilen Teilnehmer ein "statistischer Zwilling" bei den Desktop-Nutzern gesucht. Dadurch erhält man zwei strukturgleiche Datensätze und kann den Nettoeffekt des Geräteeinflusses auf das Antwortverhalten messen. Die Vergleiche der beiden Datensätze basieren auf dem Konzept des Satisficing nach Krosnick. Satisficing steht für das unaufmerksame und unvollständige Beantworten einer Frage, was bei der Nutzung des Smartphones durch Faktoren wie kleine Bildschirmgröße, einem nicht mobil optimierten Layout, einer instabileren Internetverbindung oder einer ablenkenden Umgebungssituation vermehrt auftritt.

Zusammenfassung der wichtigsten Studienergebnisse

Vergleicht man Kernindikatoren wie die Abbruchquote und die Bearbeitungsdauer, so zeigen sich durchaus Unterschiede zwischen Teilnehmern mit mobilen Geräten und solchen, die am Desktop eine Umfrage ausfüllen. So ist die Abbruchquote bei Smartphone Nutzern zwar wie erwartet höher, allerdings nur direkt zu Beginn der Befragung. Sobald ein Smartphone-Teilnehmer die erste „Hürde“ überwunden hat, ist die Gefahr eines Befragungsabbruchs mit dem eines Desktop-Nutzers vergleichbar.

Jochen Knöller
Jochen Knöller
© Rogator
leitet den Bereich Market Research bei der Rogator AG mit dem Schwerpunkt Kundenbefragungen und beschäftigt sich intensiv mit der mobilen Optimierung von Online-Fragebögen.

Der Zeitaufwand für die Durchführung der Umfrage war bei Smartphone-Nutzern – entgegen der Erwartung – sogar etwas geringer als bei Desktop-Nutzern. Dies widerspricht der allgemeinen Auffassung, dass mobile Teilnehmer aufgrund der erschwerten Usability bei der Fragebeantwortung tendenziell länger benötigen.

Daniel Knapp

Daniel Knapp
© Rogator
führte diese Studie im Rahmen seiner Masterarbeit an der Friedrich-Alexander-Universität Erlangen-Nürnberg in Kooperation mit der Rogator AG durch. Mittlerweile arbeitet er beim Statistischen Bundesamt im Institut für Forschung und Entwicklung in der Bundesstatistik, Wiesbaden.

Bei der Analyse der verschiedenen Fragetypen konnte das Team von Rogator zusammenfassend feststellen, dass das Teilnahmegerät bei Online-Umfragen in Abhängigkeit des Fragetyps zwar Einfluss auf das Antwortverhalten hat, allerdings ist dieser bei geschlossenen Fragen durchweg sehr gering. Dies zeigt ein Kurzüberblick der Ergebnisse für die untersuchten Fragetypen:

Einfachauswahlfrage: Bei Einfachauswahlfragen konnten keine konstanten signifikanten Abweichungen entdeckt werden, die einen eindeutigen Hinweis auf eine unterschiedliche Datenqualität hätten geben können.

Mehrfachauswahlfrage: Bei Mehrfachauswahlfragen zeigt sich über beide Frageinstanzen hinweg ein geringfügig stärkerer Primacy-Effekt bei der mobilen Teilnehmergruppe. Unter Primacy-Effekt versteht man die Tendenz, eine der beiden zuerst angezeigten Antwortoptionen auszuwählen, ohne die weiteren Auswahlmöglichkeiten in Betracht zu ziehen, um somit die Frage schneller beantworten zu können. Smartphone-Nutzer geben demnach bei Auswahllisten mit Mehrfachnennungen häufiger eine der ersten beiden Optionen an, ohne eine weitere Alternative auszuwählen. Darüber hinaus wählen sie durchschnittlich geringfügig weniger Antwortoptionen aus als Desktop-Nutzer.

Matrixfragen mit Ratingskala: Bei Matrixfragen wurden drei Aspekte des Satisficing untersucht:

  • Indifferenz: Befragungsteilnehmer tendieren dazu, bei einem Itemset (fast) immer die gleiche Antwortkategorie zu wählen
  • Nutzung der Ausweichkategorie: Teilnehmer wählen "keine Angabe" oder "weiß nicht"
  • Linksdrang: Befragte haben die Neigung, vermehrt Antwortkategorien auf der linken Seite zu wählen

Mobile Nutzer neigen im Vergleich zu Desktop-Nutzern bei Matrixfragen mit mehreren Antworten (Itembatterie) tatsächlich zu einem stärker indifferenten Antwortverhalten, allerdings ist der Unterschied sehr gering. Außerdem nutzen sie im Vergleich zu Desktop-Nutzern häufiger die Ausweichkategorie. Jedoch ist die Effektstärke ebenfalls sehr schwach.
Einen Linksdrang kann man bei mobilen Nutzern nicht beobachten. Allerdings weisen Desktop-Nutzer, wie auch bereits in anderer Forschung beobachtet, einen signifikanten Linksdrang auf.

Die Effekte des Satisficing wurden für einfache Ratingskalen, sowohl auf einer 5er- als auch auf einer 11er Skala analysiert. Hierbei zeigte sich kein signifikanter Interaktionseffekt zwischen der Skalenbreite und dem Einfluss des Teilnahmegeräts. Dies bedeutet, dass die Skalenbreite die Effekte nicht maßgeblich beeinflusst.

Offene Fragen: Bei der Eingabe von Texten sind Smartphone-Nutzer deutlich restriktiver. So antworten sie deutlich seltener in Kommentarfragen. Antworten sie, so schreiben sie merklich kürzer und neigen etwas häufiger dazu, eine belanglose Antwort zu geben.

Bezogen auf die hier untersuchten Fragetypen geben die Ergebnisse größtenteils Grund zur Entwarnung. Sehr starke Abweichungen im Antwortverhalten zwischen mobilen und Desktopnutzern konnten nicht identifiziert werden. Dies bedeutet, dass mit einer gut durchdachten und für den Nutzer intuitiven Fragedarstellung im mobilen Design viele potenzielle Restriktionen durch das Nutzungsgerät, und insbesondere die damit verbundene geringere Größe des Bildschirms, ausgeglichen werden können.

Interessant ist auch, dass sich die Abbruchquote bei relativ langen Fragebogen nur zu Beginn deutlich zwischen mobilen und Desktop-Nutzern unterscheidet. Dies widerspricht der verbreiteten Meinung, dass Umfragen auf Grund der erhöhten Anzahl von mobilen Teilnehmern deutlich kürzer werden müssen.

Um eine hohe Datenqualität zu gewährleisten, ist es also wichtig, methodisch sinnvolle und für den Nutzer intuitiv zu bedienende Lösungen für die Darstellung von Fragen auf mobilen Endgeräten zu entwickeln und anzuwenden.

Literatur
  • Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied cognitive psychology, 5(3), S. 213–236
  • Krosnick, J. A. (1999). Survey research. Annual review of psychology, 50(1), S. 537–567
  • Struminskaya, Bella, Weyandt, Kai & Bosnjak, Michael (2015): The effects of questionnaire completion using mobile devices on data quality - Evidence from a probability-based general population panel. methods, data, analyses 9 (2): S. 261-292


Ich habe die Datenschutzbestimmungen zur Kenntnis genommen und akzeptiere diese.
stats