Fachartikel

APR2018
Ausgabe 2/2018, Seite 40 | 18-04-40-1

Wunderwaffe Mixed-Mode?

Tücken und Chancen vermischter Datenerhebung

Mixed-Mode-Designs sind häufig kostengünstig und schnell(er) durchgeführt. Das macht sie bei Auftraggebern immer beliebter. Judith Krüger weiß um die Schwächen der Methode, beschreibt aber auch, wie Mixed-Mode gelingen und die Datenqualität verbessern kann.

Research & Results | GESS Group | Wunderwaffe Mixed-Mode?Foto: © eyeQ – Fotolia.com
Studien im Mixed-Mode-Design finden in der heutigen Markt- und Sozialforschung zunehmend Anwendung. Viele Agenturen und Institute bewerben entsprechende Verfahren und technische Lösungen. Generell versteht man unter Mixed-Mode die Kombination verschiedener Kontakt- und Befragungsmodi bei der Datenerhebung.


Was Mixed-Mode so beliebt macht

Grund für das wachsende Interesse an Mixed-Mode-Designs sind einerseits steigende Ansprüche der Auftraggeber: Projekte und Befragungen sollen schneller und kostengünstiger durchgeführt werden. Dies kann gelingen, wenn etwa die Studienteilnahme durch den Einsatz verschiedener Befragungsmodi vereinfacht und somit beschleunigt wird und ein kostenintensiver Modus mit einem günstigeren kombiniert wird*. Andererseits bieten Mixed-Mode-Designs die Möglichkeit, Schwächen einzelner Erhebungsmodi zu kompensieren, Antwortraten zu erhöhen und dadurch Verzerrungen der Studienergebnisse infolge von Nonresponse sowie Coverage-Fehler zu verringern**. Dahinter steht die Erkenntnis, dass Menschen persönliche Präferenzen für unterschiedliche Befragungsmodi haben und über andere Kommunikationswege womöglich nicht antworten.


Warum der Mix Qualität kosten kann

Eine bezahlbare Methode finden und die bestmögliche Datenqualität erzielen – dafür scheint Mixed-Mode ein vielversprechendes und beliebtes Mittel zu sein. So einfach ist es aber nicht. Denn nicht zwangsweise haben Mixed-Mode-Designs den gewünschten positiven Effekt. Eine bloße Vermischung von Kommunikationskanälen und Erhebungsmethoden kann die Datenqualität gar verschlechtern*. Werden verschiedene Modi bei der Datenerhebung kombiniert, ist das Risiko von unkontrollierten Mode-Effekten hoch. Wissenschaftlich belegt ist, dass erstens verschiedene Probandentypen Vorlieben für unterschiedliche Kommunikationskanäle haben und zweitens die Eigenschaften verschiedener Erhebungsmodi – etwa auditiv oder visuell, selbstgeführt oder interviewgestützt – das Antwortverhalten der Befragten beeinflussen. In Kombination birgt dies die Gefahr von Antwortverzerrungen und einer mangelhaften Vergleichbarkeit beziehungsweise Integrität der Ergebnisse aus verschiedenen Erhebungsformen*. Entgegen der gängigen Annahme wird die Responserate zudem nicht erhöht, wenn den Befragten gleichzeitig verschiedene Befragungsmöglichkeiten angeboten werden**.


Wann Mode-Effekte willkommen sind

Verzerrungen durch Mode-Effekte sind der kritische Punkt beim Einsatz von Mixed-Mode in der Datenerhebung. Es gibt jedoch eine Ausnahme, in der Mode-Effekte sogar erwünscht sind, nämlich wenn es um sensible Inhalte geht. Nachweislich ausschließlich positive Effekte auf die Datenqualität hat der universelle Einsatz eines zweiten, privateren Kommunikationskanals für besonders sensible Fragebogenteile*. Abgesehen davon kann das Auftreten von Mode-Effekten in Datenerhebungen im Mixed-Mode-Design einer analytischen Betrachtung dienlich sein. Während Mode-Effekte einen grundsätzlichen Einflussfaktor in jeder unimodalen Befragungsform darstellen, bieten multimodale Datenerhebungen die Möglichkeit, deren Auftreten vergleichend für verschiedene Modi zu betrachten. In der Praxis sollte das Risiko unkontrollierter Mode-Effekte aber so gering wie möglich gehalten werden. Es gilt, die Vorund Nachteile eines Mixed-Mode-Designs im spezifischen Projektkontext abzuwägen: Ist der erwartete Gewinn durch eine erhöhte Responserate und Stichprobenausschöpfung größer als die Gefahr von Ergebnisverzerrungen infolge von Mode-Effekten**?


Die Sorgfalt macht’s

Mixed-Mode ist keine Wunderwaffe, sondern bedarf einer durchdachten Anpassung an die jeweiligen Studiengegebenheiten. Dies erfordert sehr gute methodische Kenntnisse des Markt- und Sozialforschers, etwa hinsichtlich des Fragebogendesigns für verschiedene Befragungskanäle und der zeitlichen Strukturierung. Sorgfältig konzipiert und erprobt ist Mixed-Mode aber durchaus eine vielversprechende Methode, um die Effektivität einer Studie zu erhöhen und die Datenqualität zu verbessern. ■


*Edith D. de Leeuw (2005): To Mix or Not to Mix Data Collection Modes in Surveys. In: Journal of Official Statistics 21(2): 233-255.
**Don A. Dillmann, Jolene D. Smyth & Leah Melani Christian (2009): Internet, Mail, and Mixed-Mode Surveys. The Tailored Design Method. Hoboken, New Jersey: John Wiley & Sons, Inc.


Mixed-Mode. Schwächen verringern

Ob und in welcher Form Mixed-Mode-Designs gewählt und angewandt werden, bedarf einer gründlichen Abwägung der spezifischen Projektumstände und Forschungsziele. Dennoch kann auf einige grundsätzliche Prämissen zurückgegriffen werden**:

Um erstens Messfehler durch Mode-Effekte zu verhindern,…

…empfiehlt sich zunächst stets eine unimodale Datenerhebung. Unbedenklich ist das Hinzuziehen weiterer Modi zur Kontaktaufnahme und Befragten-Ansprache, um die Responserate zu verbessern. So hat etwa eine ergänzende postalische oder telefonische Mitteilung (Einladung, Reminder) an die Befragten einer Online-Umfrage ausschließlich positive Effekte auf die Stichprobenausschöpfung.

Sind zweitens mehrere Modi zur Datenerhebung nötig,…

…weil beispielsweise Responserate oder Coverage in einem Single-Modus zu gering sind, sollten weitere Erhebungskanäle möglichst nur als Ergänzung des Hauptmodus dienen. Empfohlen wird die vorrangige Datenerhebung mittels eines Hauptmodus mit anschließender Nacherfassung der nichtantwortenden Fälle mithilfe einer anderen Erhebungsmethode. Dieses sequentielle Vorgehen vermindert den Fehler durch Nonresponse und verbessert die Stichprobenausschöpfung.

Werden drittens mehrere Modi zur Datenerhebung genutzt,…

…ist der Einsatz ähnlicher Kommunikationskanäle ratsam. Um den Befragten in allen Modi möglichst gleiche Stimuli zu bieten, empfiehlt sich ein Unified-Mode-Design mit gleichem Wording und gleicher Präsentation der Fragen (Layout, Design). Das Risiko von Mode-Effekten ist beispielsweise relativ gering beim kombinierten Einsatz von Online-Befragung und schriftlichem Fragebogen oder Telefon- und Face-to-Face-Interview.

Judith Krüger ist Soziologin und bei der GESS Gesellschaft für Software in der Sozialforschung mbH zuständig für sozialwissenschaftliche und methodische Fragen, die Dokumentation sowie Betreuung der hauseigenen Charting-Software und die Firmen-Homepage.
www.gessgroup.de