Fachartikel

APR2019
Ausgabe 2/2019, Seite 54 | 19-04-54-1

Fragebogen-Qualität systematisch messen und verbessern

Von Menschen für Menschen

Umfrageteilnehmer sind keine Roboter und sollten auch nicht als solche behandelt werden. Mehr Empathie beim Fragebogen-Design fordert Niklas Anzinger – Fragebogen-Qualität ist schließlich Voraussetzung für hochwertige Umfrageergebnisse.
Diagnose-Phase bei der Auswertung der Fragebogen-QualitätFoto: © darkovujic – Fotolia.com, Unternehmen
In der Marktforschung werden wir manchmal betriebsblind und scheinen zu vergessen, dass Menschen unsere Umfragen beantworten. Daher erwecken unsere Fragebogen oft den Eindruck, als erwarteten wir von unseren Teilnehmern, sich wie Roboter zu verhalten. Doch wir müssen aufhören, Menschen wie Maschinen zu behandeln, denn die Qualität der Ergebnisse leidet darunter.


Gute Fragebogen, gute Ergebnisse

Qualität ist die zentrale Sorge von Kunden. Laut dem Q3-Q4 2018 GRIT Report stufen 80 Prozent der Kunden „Qualität der Resultate“ als höchste Priorität ein. Die Qualität des Fragebogens spielt dabei eine zentrale, aber aus meiner Sicht zu wenig beachtete Rolle für die Qualität von Umfrageergebnissen.
Die durchschnittliche Marktforschungsumfrage dauert 24 Minuten. Fragen sind oft repetitiv, und Online-Fragebogen sind bisweilen nicht auf mobile Screens optimiert. Das führt zu Frustration unter Teilnehmern, was in hohen Abbruchraten und unaufmerksamen Antworten resultiert.
Ein besonderes Problem bei der Fragebogen-Qualität ist, dass Standards oft subjektiv und schwer messbar sind. Daher wird Fragebogen-Qualität oft ignoriert oder best practices werden nicht konsistent eingeführt. Um solche Erfolgsmethoden zu entwickeln, müssen wir daher konkrete Maßstäbe anlegen, was einen guten und was einen schlechten Fragebogen ausmacht. Wie Management-Professor Peter Drucker schon sagte: „If you can’t measure it, you can’t manage it.“


In vier Schritten zur Fragebogen-Qualität

Im Folgenden stellen wir einige Initiativen vor, wie wir bei Dalia Fragebogen-Qualität systematisch messen und verbessern wollen:

1. Benchmark-Umfrage
Bevor wir eine Umfrage voll ins Feld schicken, führen wir eine Diagnose durch, um Probleme frühzeitig zu erkennen. So nehmen wir einen Soft Launch der Umfrage mit 100 Teilnehmern vor und fragen die Teilnehmer am Ende, ob sie Probleme bei der Beantwortung hatten (Abb. 1).
Wir vergleichen die Ergebnisse der ersten 100 Teilnehmer mit einem Benchmark, einer Umfrage, die unter Hunderttausenden in unserem System die beste Bewertung hat. Gibt es starke Abweichungen, forschen wir nach. So fanden wir zum Beispiel Übersetzungsfehler in mexikanischem Spanisch oder eine nicht bevorzugte Sprache einer Umfrage in Malaysia – und vermieden somit Fehler in der großen Umfrage.

2. Live-Feedback
Ebenso haben Teilnehmer die Möglichkeit, verwirrende Fragen direkt über ein kleines Feld zu melden (Abb. 2). Wir stellen dieses Feature aber nicht nur pro forma bereit, sondern animieren Teilnehmer aktiv dazu, die Funktion zu nutzen, etwa durch eine Trick- Frage. Nach der Trick-Frage zeigen wir den Teilnehmern einen Text: „Diese Frage ist natürlich Unsinn. Wussten Sie, dass Sie solche Fragen in dem Feld oben rechts melden können? Helfen Sie uns, bessere Umfragen zu erstellen, die Ihnen mehr Spaß machen zu beantworten. Vielen Dank!“ Die Trick-Frage führte dazu, dass 30 Prozent mehr problematische Fragen gemeldet wurden.


 
3. Scorecard
Das menschliche Auge lässt sich – bei aller Technologie – nicht ersetzen, um Fragebogen-Qualität zu messen. Aus diesem Grund entwickelten wir eine „Scorecard“, und mindestens drei interne Experten testen bei uns den Fragebogen. Die Scorecard enthält vier Dimensionen – Clutter (Überflüssiges), Measurement (Messgenauigkeit), Difficulty (Schwierigkeitsgrad der Beantwortung für Teilnehmer) und Bias (Verzerrung der Ergebnisse). Die internen Experten bewerten den Fragebogen auf einer Skala von 0 (keine Probleme) bis 4 (große Probleme) – siehe Abbildung 3. Bei einem hohen Score geben wir Verbesserungsvorschläge.

 4. In-Person-Test
Es ist das einfachste, aber effektivste Mittel der Welt: Wir testen den Fragebogen live. Der Tester geht dazu in das nächstgelegene Co- Working-Space „Betahaus“ beim Moritzplatz in Berlin und bietet fünf Personen einen Kaffee dafür an, dass sie die Umfrage ausfüllen. Dabei bitten wir die Probanden, laut zu kommentieren und auszusprechen, was sie denken. Hoher Aufwand? Das Ganze kostet uns höchstens eine Stunde, die Test-Interviews mit fünf Teilnehmern à zehn Minuten eingeschlossen. Regelmäßig sind wir überrascht, was für offensichtliche Dinge man trotz langjähriger Erfahrung übersehen kann.


Beim Kunden punkten

Die vier Schritte oben sollen nur der Anfang sein. Wir wollen diese Erkenntnisse auf eine breitere wissenschaftliche Basis stellen. Wir wollen eine Fachdiskussion mit Ihnen, liebe Leserin und lieber Leser, sowie mit weiteren Expertinnen und Experten führen. Wir wollen das Wissen und die Erfahrung der Branche bündeln, und wir wollen, dass wir uns am Ende dieser Diskussion auf konkrete Qualitätsstandards einigen. Nur so können wir der weitverbreiteten Vorstellung (und sicherlich auch Realität) von sinkender Qualität in der Marktforschung entgegentreten und wieder das Vertrauen unserer Kunden gewinnen. ■


Niklas Anzinger verantwortet den Bereich „Agile Insights“ bei Dalia und hilft Kunden, Technologien zu nutzen, die Marktforschung schneller, effizienter und nutzerfreundlicher für die interne Analyse machen. Neben der betrieblichen Marktforschung interessiert er sich für politische Meinungsforschung und fortgeschrittene statistische Methoden.
www.daliaresearch.com

 


Diese Webseite verwendet Cookies. Cookies ermöglichen uns zu verstehen, wie Besucher unsere Webseite nutzen, damit wir sie verbessern und Ihnen das bestmögliche Erlebnis bieten können. Durch den Besuch unserer Website stimmen Sie der Verwendung von Cookies zu. Durch die Cookie-Einstellungen Ihres Internet-Browsers können Sie die Verwendung von Cookies blockieren. Weitere Informationen finden Sie unter Datenschutz.
akzeptieren