Fachartikel

JUL2018
Ausgabe 4/2018, Seite 24 | 18-07-24-1

Keine Frage des Preises

Vergleichsstudie zur Qualitätsbestimmung von Online-Panels

Das Angebot an Panels ist mittlerweile riesig und für den Kunden häufig unübersichtlich. Eberhard Biehl berichtet, wie aufgrund des Antwortverhaltens die Panelqualität – und letztlich der angesetzte Preis – besser beurteilt werden kann.

Research & Results | T.I.P. Biehl & Partner | Keine Frage des PreisesFoto: Sergey, by-studio – Fotolia.com
Für die vergleichende Studie wurden drei Online-Panelanbieter ausgewählt, die in Deutschland ansässig, wenn zum Teil auch international tätig, sind. Die drei Unternehmen mussten eine nationale Befragung mit n=400 Teilnehmern zu den Themen Online und stationärer Lebensmitteleinkauf durchführen. Für die Stichprobe waren eine Quotierung von acht Händlern bei Einhaltung von bevölkerungsrepräsentativen Merkmalen (Region, Altersverteilung) sowie eine Quote für Haushalte mit Kindern vorgegeben. Das Interview wurde von T.I.P. programmiert und intern gehostet. Dies gestattete einen permanenten und originären Zugriff auf die Daten, erforderte aber eine engere Kooperation mit dem Anbieter, etwa bei der Kontrolle der Quotierung.

Zusammenarbeit mit den Panelbetreibern

Angebot und Preis
Deutliche Unterschiede zeigten sich in Angebotsgestaltung und Preis. Das umfangreichste und informativste Angebot stammte vom teuersten Anbieter, der günstigste schickte lediglich eine E-Mail inklusive Kostenangabe (Abb. 1).

Screening und Stichprobe
Die Quote für die Haushaltsformen wurde von allen eingehalten. In der nationalen Verteilung gab es in den kleineren Bundesländern (Saarland und Hamburg) geringe, aber nicht gravierende Abweichungen. Der Altersunterschied war deutlich ausgeprägt, in Panel A lag der Schnitt mit 41 Jahren deutlich unter dem Wert von Panel B (51 Jahre) und Panel C (47 Jahre) und auch deutlich unter dem Bundesdurchschnitt (ab 18 Jahre).

Kommunikation
Alle drei Anbieter verfolgten den Feldverlauf vom Softlaunch bis zur Schließung der Studie proaktiv, und Anfragen wurden kurzfristig bearbeitet.
Abb. 1 (T.I.P. Biehl & Partner)


Qualität der Antworten – Prüfkriterien

Um zu bewerten, ob die gestellten Fragen auch ernsthaft beantwortet wurden, wurden Frageform und Vorgehensweise gezielt gewählt und variieren mittels:
• offener Fragen ohne Eingabezwang – zur Prüfung der Verbalisierungsbereitschaft
• Auswahlaufgabe mit freier Wahl der Zahl ausgewählter Items – Bereitschaft der intensiven Auseinandersetzung mit dem Thema
• Hierarchisierungsaufgabe für zuvor ausgewählte Items – Prüfung von vollständigem Arbeiten
Die Auswertung eröffnet weitere Analysemöglichkeiten:
• Erfassung von stereotypen Antworten in den Skalen – Aufdecken von unsinnigen Antworten
• Kontrolle der Bearbeitungsdauer des Interviews und einzelner Fragebogenteile über die Zeitstempel der Software – Prüfung von Betrugsverdacht

Offene Fragen
Offene Fragen mit freier Eingabemöglichkeit sind ein guter Indikator für die Motivation der Antwortenden. Die Antworten zu vier Fragen (Wahlmotive und Erleben des bevorzugten Händlers, Likes und Dislikes) wurden jeweils für Top of Mind (ToM) und gesamt analysiert (Abb. 2).
Befragte, die erfahrungsgemäß lediglich ein paar sinnlose Zeichen tippen, um damit schnell den Eingabezwang zu erfüllen, wurden bei der ersten Datenbereinigung entfernt. Der Anteil der auffälligen Probanden schwankte von 0,7 bis 3,2 Prozent bei den Anbietern (A=3,2 Prozent; B=3,2 Prozent; C=0,7 Prozent).
Der Qualitätsunterschied in den freien Formulierungen zeigte sich noch nicht in der ersten Frage. Die Panelteilnehmer aus C waren dann in jeder weiteren Frage wortreicher, was als bessere Motivation zu verstehen ist.

Komplexe Fragen
In der Studie wurden zwei Varianten verglichen: Statements, die mit Drag & Drop nach „relevant – nicht relevant“ sortiert und die ausgewählten danach hierarchisiert werden mussten. Diese Hierarchiebildung war ohne Eingabezwang, was erwiesenermaßen die Gefahr beinhaltet, dass ein Teil der als wichtig gewählten Items außer Acht gelassen wird. Des Weiteren erfolgte eine dichotome Auswahl für jedes Statement. Bei diesem Verfahren werden mehr Statements ausgewählt, aber bei der nachfolgenden Hierarchisierung mehr davon vernachlässigt. Die Panels A und B fielen dabei negativ auf.

Stereotypes Antworten
Online lassen sich Skalen am schnellsten beantworten, wenn für alle Items (hier 20 Statements) der gleiche Skalenwert gewählt wird. 4,2 Prozent der Probanden fielen in B mit stereotypem Klicken auf, 3,2 Prozent in A und lediglich 1,8 in C. Von diesen wählten wiederum über die Hälfte ausschließlich die Skalenstufe sechs. Panel B fiel insgesamt durch besonders rechtsschiefe Wahlen auf, allein 25 Prozent der Urteile entfielen auf Skalenstufe sechs (19 Prozent bei A und 15 Prozent bei C).
Die Prüfung des stereotypen Antwortverhaltens bestätigte sich als wichtige Maßnahme im Rahmen der Datenbereinigung.

Abb. 2 (T.I.P. Biehl & Partner)

 Analyse der Interviewzeiten und Schnell-Klicker

Wenn ein Proband ein Interview in deutlich weniger Zeit durchführt, als man zum Lesen des Textes braucht, ist dies als kritisch anzusehen. Bei der Vergleichsstudie antwortete insgesamt ein beachtenswerter Anteil sehr schnell (Abb. 3). In Panel A und B blieb jeder Fünfte mehr als zwei Minuten unter den zehn Minuten. Gestattet man bei der Qualitätskontrolle, das Interview in zwei Drittel der Lesezeit zu beantworten, waren in A fünf Prozent, B sechs Prozent und C zwei Prozent zu entfernen. Um Probanden differenziert zu eliminieren, empfiehlt sich zudem die Einbeziehung des Alters (jünger=schneller) sowie des benutzten Devices (PC schneller als Tablet und Smartphone).
Desweiteren wurde beobachtet, dass Smartphone-Nutzer etwas länger brauchen, bei den offenen Fragen mehr schreiben und bei den Sortieraufgaben nicht negativ auffallen. Außerdem beeinträchtigt das Smartphone die Qualität nicht.


Geübte Mogler

Erfahrene Panelisten schummeln gerne, um nicht aus dem Screening zu fallen. In Panel B war man etwa deutlich häufiger „alleine einkaufsverantwortlich“ und gab mehr Haupteinkaufsquellen an. Wiederholungstäter fielen bei mehreren Gesichtspunkten auf, die Bereinigungsquote lag bei zwölf Prozent in Panel C, 17 Prozent in A und 18 Prozent in B.


Fazit und Empfehlungen

Über das Antwortverhalten der Probanden lassen sich Qualitätsunterschiede nachweisen. Wer dazu die Befragung selbst programmiert und hostet, kann besser kontrollieren und auf die Panelqualität reagieren. Zweifelhafte Probanden können über eine sehr kurze Bearbeitungszeit, stereotypes Antwortverhalten, unsinnige Eingaben in offenen Fragen und Auffälligkeiten im Screening identifiziert werden. Je nach Panel müssen zehn bis 20 Prozent der Kandidaten ausgeschlossen oder überrekrutiert werden. Der günstigste Anbieter zeigte laut Studie mehr Auffälligkeiten, aber der teuerste nicht am wenigsten. Eine zu strikte Preisorientierung sollte deshalb in Frage gestellt werden. ■

Eberhart Biehl ist Diplom-Psychologe und ist seit der Gründung des Institutes T.I.P. Biehl & Partner in der Geschäftsführung tätig. Über 30 Jahre Erfahrung in der Planung, Durchführung und Auswertung qualitativer und quantitativer Studien. Zu den Institutsprinzipien gehört eine rigorose Prüfung der Feldarbeit, verbunden mit dem ausschließlichen Einsatz institutsinterner Interviewer in der Feldarbeit.
www.tip-web.de

 


Diese Webseite verwendet Cookies. Cookies ermöglichen uns zu verstehen, wie Besucher unsere Webseite nutzen, damit wir sie verbessern und Ihnen das bestmögliche Erlebnis bieten können. Durch den Besuch unserer Website stimmen Sie der Verwendung von Cookies zu. Durch die Cookie-Einstellungen Ihres Internet-Browsers können Sie die Verwendung von Cookies blockieren. Weitere Informationen finden Sie unter Datenschutz.
akzeptieren
Mehr Marktforschung für Sie mit dem Research & Results Newsletter.
« Zur Anmeldung »