Nach Jahren der regen Diskussion über die methodischen Stärken und Schwächen der Online-Forschung insbesondere im Vergleich mit per CATI erhobenen Daten lässt sich heute festhalten, dass beide Instrumente spezifische Vor- und Nachteile haben. Dennoch sind bisher nicht alle Thesen zur Online-Forschung hinreichend geprüft. Für die Erhebung valider und reliabler Daten ist aber die möglichst genaue Kenntnis der Eigenheiten des Internets oder auch des Mediums Online als Erhebungsinstrument notwendig. Vor diesem Hintergrund sind bei der Konzeption einer Online-Befragung verschiedene Punkte zu beachten:

1. Fragen zu Grundgesamtheit, Stichprobe und Ausschöpfung
2. Thematische Aspekte
3. Antwortverhalten der Befragten

Das LINK Institut hat sich im Rahmen eines Methodentests mit ausgewählten Thesen des zweiten und dritten Blocks beschäftigt.

Datengrundlage

Die Teilnehmer der Online-Befragung entstammen dem LINK Online-Panel. Dieses ist zu 100 Prozent offline rekrutiert und repräsentativ für die deutsche Wohnbevölkerung (14-65 Jahre), die mindestens einmal wöchentlich zu privaten Zwecken im Internet ist. Die Panelgesamtheit wird regelmäßig auf ihre Struktur und Teilnahmehäufigkeit überprüft. Um Mehrfachteilnahmen auszuschließen, erfolgte die Einladung der Teilnehmer mittels personalisiertem Link. Einem „heavy-user bias" wurde durch eine Feldzeit von 10 Tagen sowie einer disproportionalen Stichprobenziehung in Bezug auf die variable Internetnutzungshäufigkeit entgegen gewirkt. Zur Optimierung der Ausschöpfung wurde nach der Hälfte der Feldzeit ein Reminder versendet (Ausschöpfungsquote 60 Prozent auf Basis der aus dem Online-Panel eingeladenen Probanden). Im Rahmen eines weiteren Methodentests erfolgte die Incentivierung mittels einer Verlosung von Geldwerten zwischen 50 und 200 Euro. Als Ergebnis ist an dieser Stelle festzuhalten, dass die Höhe des ausgelobten Geldwertes keinen deutlichen Einfluss auf die Teilnahmebereitschaft hatte.

Die Teilnehmer der CATI-Erhebung wurden im ersten Quartal 2005 im Rahmen bevölkerungsrepräsentativer Untersuchungen befragt. Um thematische Einflüsse analysieren zu können, wurden jeweils zwei unterschiedliche Themenbereiche abgehandelt: Ernährung und Billigflugreisen.

Auf Grund der bekannten soziodemographischen Unterschiede zwischen Internetnutzern und der Gesamtbevölkerung wurde über eine iterative Randsummengewichtung nach den Merkmalen Alter, Geschlecht und Bildung eine Anpassung an die Struktur der Internetnutzer vorgenommen. Ziel der Gewichtung war die Nivellierung struktureller Unterschiede, um so thematische Differenzen und Abweichungen im Antwortverhalten analysieren zu können. Basis der nachfolgenden Analysen sind die gewichteten Daten.

Die Rolle des Befragungsthemas

These: In Abhängigkeit von den Befragungsthemen zeigen sich inhaltliche Unterschiede zwischen Online- und CATI-Erhebung.

CATI- und Online-Befragte haben eine unterschiedliche Affinität zu bestimmten Themen. Während sich im Themenbereich Ernährung keine Unterschiede bei der Beantwortung von geschlossenen Fakt-Fragen zeigen, sind bei den Fragen zu den Billigfliegern signifikante Unterschiede vorhanden (Abb. 1). Dies erklärt sich durch die höhere Präsenz der Billigflug-Airlines im Internet. Dieser Einfluss des Untersuchungsthemas sollte bei der Interpretation der Ergebnisse berücksichtigt werden.

Unterschiede im Antwortverhalten

These1: Online-Befragungen produzieren aufgrund fehlender Nachfragen durch den Interviewer höhere non-response-Raten.
Diese Annahme bestätigt sich für Fragen, die auf Seiten des Befragten ein höheres Konzentrationsniveau erfordern, beispielsweise Statementbatterien. Fragen, die einfache Fakten wie die Bekanntheit verschiedener Produkte oder das Interesse an Ernährung erheben, zeigen dagegen nur geringfügige Unterschiede.

These2: Die Anzahl der Nennungen bei offenen Fragen liegt in den Online-Befragungen niedriger.

Die Ergebnisse sind nicht einheitlich. Während sich die Anzahl der Nennungen im Themenbereich Ernährung erwartungsgemäß verhält (Online 1,7; CATI 1,9), zeigt sich im Bereich der Billigflugreisen ein genau umgekehrtes, signifikantes Ergebnis (Online 2,2; CATI 1,9), das nochmals den Einfluss des Befragungsthemas verdeutlicht.

Online - eine Befragung ohne Interviewer bias?

These: Die Anonymität der Interviewsituation führt bei Online-Befragungen zu ehrlicheren Antworten, da sich der Druck der sozialen Erwünschtheit durch das Fehlen eines Interviewers minimiert.

Die offenen Fragen im Ernährungsbereich zeigen deutliche inhaltliche Abweichungen zwischen den Erhebungsmodi. Die Online-Befragten gaben signifikant häufiger an, aufgrund von Gewichtsproblemen oder anderen gesundheitlichen Einschränkungen ihr Ernährungsverhalten verändert zu haben, während die CATI-Befragten sich auf neutrale Gründe wie den Wunsch nach gesunder Ernährung, besserem Geschmack sowie zeitliche Einschränkungen zurückzogen. Dies zeigt sich auch bei den Auswahlfragen: Hier geben Online-Befragte deutlich seltener an, dass niemand im Haus betroffen sei (Abb. 2). Es wird deutlich, dass die Online-Erhebung gerade bei schwierigen Befragungsthemen die „ehrlicheren" Ergebnisse liefert.

Fazit

Die Ergebnisse des LINK-Methodentests zeigen, dass nicht nur Fragen der Auswahlgrundlage, der Stichprobenziehung und Ausschöpfung von Bedeutung sind, sondern auch thematische Einflüsse sowie Unterschiede im Antwortverhalten bedacht werden müssen.

Der Einfluss des Befragungsthemas zeigt: Internetnutzer „ticken" themenabhängig auch heute noch anders als der Bevölkerungsquerschnitt. Zudem muss man sich der unterschiedlichen Wirkung einzelner Fragetypen in Abhängigkeit der Erhebungsmethode im Sinne der Validität der Daten ebenso bewusst sein, wie des Fehlens oder Anwesendseins eines Interviewers und den sich daraus ergebenden Implikationen für die Konzeption einer Untersuchung.