Ähnlich wie seinerzeit bei der Einführung von CATI diskutiert die Marktforschungswelt bei Online-Befragungen intensiv über Themen wie Repräsentativität, Zuverlässigkeit der Stichprobenquellen, Erreichbarkeit von Zielpersonen und natürlich die Vergleichbarkeit der Ergebnisse mit anderen Methoden. Die Studie „Online Evaluation Survey" von TNS Infratest setzt genau bei diesen Fragestellungen an und vergleicht nicht nur die Ergebnisse verschiedener Erhebungsmethoden miteinander, sondern berücksichtigt gleichzeitig unterschiedliche Stichprobenquellen.

Vier Befragungsmethoden berücksichtigt

Da die Bewertung von Konzepten aus dem Bereich FMCG und Durables ein großes Anwendungsfeld für Online-Befragungen bietet, wurden nur Methoden in die Vergleichsuntersuchung einbezogen, bei denen üblicherweise Visualisierungen eingesetzt werden. Im Bereich der selbst auszufüllenden Fragebogen waren dies Online- und schriftlich-postalische Erhebungen. Die Stichprobenbasis für diese beiden Erhebungsformen war das TNS Infratest Access Panel. Die konstant gehaltene Stichprobenquelle erlaubte es, den Einfluss des Befragungsmediums auf die Ergebnisse zu eruieren. Im Bereich Face-to-Face kamen zwei Rekrutierungsformen zum Einsatz, um auch hier die Einflüsse bewerten zu können: das klassische Random-Route-Verfahren von Haus zu Haus und die Rekrutierung auf offener Straße nach vorgegebenen, repräsentativen Quoten mit anschließender Befragung im Teststudio. Befragt wurden Männer und Frauen im Alter von 18 bis 65 Jahren. Die Stichproben wurden im Hinblick auf demographische Kernmerkmale für alle vier Befragungsmethoden konstant gehalten.

Rekrutierungsmethode beeinflusst Konzeptbewertung

Die Ergebnisse für die Kaufbereitschaft zeigen beispielhaft, dass das Random-Route-Verfahren die niedrigsten Mittelwerte erbringt (vgl. Abbildung). Im Gegensatz dazu sehen wir bei den im Studio erhobenen Daten die höchsten Bewertungen. Da die Interviewsituation für beide Methoden sehr ähnlich war und dasselbe Stimulusmaterial verwendet wurde, kann gefolgert werden, dass die jeweilige Rekrutierung der Zielpersonen einen zentralen Einfluss auf die Unterschiedlichkeit der Ergebnisse ausgeübt hat.

Die online sowie schriftlich-postalisch erhobenen Daten untermauern dies. Zwischen diesen beiden Methoden zeigen sich kaum Unterschiede in den Ergebnissen. Das verdeutlicht, dass die gleiche Interviewsituation kombiniert mit der gleichen Stichprobenquelle vergleichbare Ergebnisse erzeugt. Gleichzeitig übt die Art der Befragung - online oder schriftlich-postalisch - offenbar keinen Einfluss auf das Ergebnis aus. Das Bewertungsniveau der Ergebnisse aus Selbstausfüller-Fragebogen liegt im Übrigen zwischen den Random-Route-Daten und den im Studio erhobenen Daten.

Stichprobenquelle bei Online-Befragungen entscheidend

Um den Einfluss der Stichprobenquelle noch weiter zu untersuchen, wurde in einem nächsten Schritt eine zusätzliche Stichprobenquelle einbezogen: Personen eines weiteren Online-Panels füllten online dieselbe Studie aus. Die Stichprobe wurde nach den gleichen Quoten wie in der Stichprobe des TNS Access Panels gezogen. Auch hier zeigt sich ein deutlicher Einfluss der unterschiedlichen Stichprobenquellen. Die Ergebnisse des TNS Access Panels liegen signifikant unter dem Niveau der Ergebnisse des zweiten Online-Panels. Somit müssen auch bei einem Vergleich von Online-Ergebnissen untereinander die jeweils verwendeten Stichprobenquellen berücksichtigt werden.

Angleichung bei online-affinen Zielgruppen

Die Wahl der Online-Methode zur Erhebung von Daten wird häufig dann als besonders angemessen bewertet, wenn jüngere Zielgruppen im Vordergrund der Untersuchung stehen, da diese zu einem hohen Anteil auch im Internet zu finden sind. Entsprechend wurde im Rahmen der Auswertung auf diesen Punkt besonderes Augenmerk gelegt. Ein Vergleich der Ergebnisse jüngerer Befragter (18-49 Jahre) mit denen der älteren Befragten (50+) zeigt deutlich: Die niedrigeren Gesamtergebnisse aus Random-Route werden vor allem durch die älteren Befragten verursacht, während die Ergebnisse für die jüngere Altersgruppe deutlich ähnlicher sind - wenn auch nicht identisch. Mit der Random-Route-Methode werden demnach ältere Personen eines anderen Typus erreicht, als dies mit Online oder den anderen Erhebungsmethoden der Fall ist. Analog sind in ländlichen Regionen deutlich mehr Unterschiede zwischen den Methoden zu finden als in urbanen Regionen. Dies untermauert die These, dass Online-Befragungen vor allem dann problemlos angewandt werden können, wenn jüngere Altersgruppen oder aber urbane Bevölkerungsgruppen im Fokus stehen.

Business-Entscheidung unabhängig von Methode

Mindestens genauso wichtig wie das absolute Niveau der Antworten ist die Frage, ob sich bei online erhobenen Daten dieselben Zusammenhänge zwischen verschiedenen Merkmalen ergeben wie bei den anderen Methoden. Mit Key-Driver-Analysen wurde berechnet, welche Produkteigenschaften für die Kaufbereitschaft entscheidend sind. Abgesehen von leicht unterschiedlichen Niveaus zeigten sich zwischen den Methoden nur wenige Unterschiede. Die Managemententscheidung, die basierend auf diesen Daten getroffen würde, wäre für alle Methoden weitgehend identisch. Die Anwendung von Online ist entsprechend unproblematisch, wenn nicht das absolute Niveau einzelner Merkmale im Vordergrund steht, sondern der Zusammenhang zwischen verschiedenen Merkmalen.

Abschließend wurden die Ergebnisse zu Fragen betrachtet, bei deren Beantwortung soziale Erwünschtheit eine Rolle spielt - hier beispielhaft vertreten durch die Frage nach der derzeitigen Zufriedenheit mit dem eigenen Leben. (siehe Abb.) Anders als bei den Konzeptbewertungen antworten Testteilnehmer, die nach Random-Route rekrutiert wurden, hier annähernd identisch wie die im Studio befragten - und signifikant anders als die „Selbstausfüller". Der Schluss liegt nahe, dass bei sozial beeinflussten Fragestellungen der Einfluss der Interviewsituation den der Stichprobenquelle deutlich überwiegt.