Mit dem Siegeszug der Onlineforschung und der intensiven Nutzung von Online-Access-Panels zur Rekrutierung von Zielgruppen sind ganz spezifische Anforderungen an die Qualitätssicherung von webbasierten Befragungen entstanden. Im Allgemeinen lassen sich vier Themenfelder identifizieren, die Einfluss auf die Güte eines Online-Interviews haben. Hierzu gehören das Untersuchungsthema, der Fragebogen (Fragenformulierung, Fragebogengestaltung und Befragungslänge), Merkmale des Panel-Managements (etwa die Incentivierung) und Merkmale der Panelisten selbst (zum Beispiel deren Herkunft, Verhalten oder Teilnahmegrund).

Um mögliche Fehlerquellen in Bezug auf Panelistenmerkmale einzuschränken, welche die Validität der Befragungsbefunde gefährden könnten, hat der Bereich Online Research der GfK Marktforschung im Lauf der letzten Jahre zwei komplementäre Instrumente entwickelt und in der Praxis erprobt. Beide Verfahren, TIGO und ALEKTO, werden heute routinemäßig zur Qualitätssicherung in allen Onlinebefragungen eingesetzt.

Eine besondere Stärke der beiden Instrumente besteht darin, dass die Datenqualität noch während der Feldzeit überprüft wird, so dass bei laufender Untersuchung „schlechte" Interviews entfernt und fehlende Panelisten nachrekrutiert werden können, ohne die Feldzeit wesentlich zu verlängern.

Kontrolle der Antworten

TIGO markiert beim Unterschreiten eines Qualitätsmindestmaßes das eben abgeschlossene Interview als „bedenklich". Hierzu erfasst das Instrument die Interviewdauer, das Antwortmuster in Rating-Skalen und die Güte, mit der offene Fragen beantwortet werden. Auf der Basis dieser Größen wird dann ein gewichteter Qualitätsindex für jeden Befragten nach Abschluss des Interviews berechnet.

Analysen der GfK mit TIGO zeigen, dass es vernünftig ist, hinsichtlich der Befragungsgüte ein Kontinuum von schlechten über mittelmäßige bis hin zu guten Interviews anzunehmen, das mit Werten von 0 bis 100 operationalisiert werden kann. Ein Wert von 100 wird dann vergeben, wenn die Befragten Variabilität in den Rating-Fragen zeigen, eine Mindestmenge an Zeichen bei offenen Fragen verwenden und eine Mindestbefragungsdauer einhalten. In der Regel wird ein mittlerer TIGO-Wert erzielt, wenn zum Beispiel die Grid-Fragen eine angemessene Variabilität aufweisen, die Befragungsdauer im erwarteten Zeitintervall liegt und die offenen Fragen sehr kurz oder gar nicht beantwortet werden. Ein schlechter Wert kennzeichnet eine zu kurze Befragungsdauer, fehlende Variabilität in den Rating-Fragen und unbeantwortete offene Fragen.

Interviews mit einem Qualitätsindex <30 werden geflaggt. Sie werden dann entweder noch einmal manuell inspiziert oder automatisch aus der Stichprobe entfernt. Vergleiche der maschinell berechneten TIGO-Indizes mit manuell klassifizierten Online-Interviews belegen die hohe Güte und den praktischen Nutzen dieses Instruments (Abb. 1).

Panel Overlap vermeiden

Verschiedene, insbesondere im angelsächsischen Raum durchgeführte Untersuchungen belegen, dass ein relativ hoher Prozentsatz von Panelisten in mehreren Onlinepanels gleichzeitig angemeldet ist. Man spricht hier von einem „Panel Overlap". Da jedoch für viele Studien mehrere Panels parallel benötigt werden, besteht die Gefahr, dass dieselbe Person mehrmals zu einer Befragung eingeladen wird. Um Mehrfachteilnahmen und die Herkunft der Panelisten zu identifizieren, setzt die GfK das Instrument ALEKTO ein. Es speichert für einen definierten Zeitraum einen dauerhaften Cookie auf den Rechner des Befragungsteilnehmers. Beim wiederholten Versuch dieses Rechners, an einer GfK-Befragung teilzunehmen, wird der Cookie ausgelesen und diese Information dem Umfrageserver mitgeteilt.

Dabei erfasst ALEKTO lediglich die Zugriffe eines definierten Rechners und nicht die Teilnahmeversuche von identifizierbaren Personen, die potenziell vom selben Rechner auf die Befragung zugreifen könnten. Vor Beginn der Befragung müssen die Teilnehmer dem Speichern des Cookies natürlich explizit zustimmen. Die Ergebnisse der GfK zeigen allerdings, dass in Deutschland der Panel Overlap innerhalb einer Befragung gering ist. Er liegt zwischen null und drei Prozent (Abb. 2).

Ein weiterer Baustein von ALEKTO ist GeoTrace, der die IP-Adressen der Panelisten erfasst und nach Abschluss des Interviews sofort in Google Maps überträgt (Abb. 3). So wird kontrolliert, ob die Befragungsteilnehmer auch tatsächlich aus dem intendierten Land kommen. In der Vergangenheit hatte die GfK beispielsweise den Fall, dass an einer Untersuchung in Spanien sehr viele Südamerikaner teilnahmen. Dieser Rekrutierungsfehler wurde mit Hilfe von GeoTrace sehr schnell identifiziert und korrigiert.

Panel-Management und Fragebogen ebenfalls essenziell

Beide Instrumente, TIGO und ALEKTO, kontrollieren zwar das Verhalten und die Herkunft von Panelisten. Allerdings hängt die Qualität einer Onlinebefragung auch von der Güte des Panel-Managements und der Qualität der Onlinefragebögen ab. Langweilige und schlechte Fragebögen verleiten auch den interessiertesten Befragten zur unsauberen Beantwortung.