Der Umgang mit offenen Fragen in quantitativen Studien ist häufig inkonsequent. Einerseits finden sie sich an neuralgischen Punkten des Interviews – so zum Beispiel bei Fragen zur Optimierung oder bei der Begründung von Bewertungen – und gelten als unverzichtbarer Bestandteil für das Verständnis abstrakter Bewertungsabfragen. Andererseits bleibt die Auswertung offener Nennungen oftmals auf halbem Wege stehen: Einfache Kodierschemata versuchen den Bodensatz der Befunde möglichst effizient zu greifen, manchmal werden aus Budgetgründen nur schlichte Listings der O-Töne erstellt. Eine inhaltliche Auseinandersetzung mit dem Gesagten findet dabei ebenso wenig statt wie eine elaborierte analytische Verknüpfung mit den erhobenen quantitativen Daten.

 

Analysemethoden offener Nennungen im Vergleich

In der Marktforschungspraxis steht ein sehr breit skaliertes Spektrum an Methoden zur Analyse offener Nennungen zur Verfügung – sowohl was das Ergebnispotenzial als auch den Aufwand angeht. Angefangen mit dem einfachen Listing von geringstem  Erkenntnisgewinn über das effizientere, jedoch inhaltlich stark verkürzende Coding stehen für die echte Analyse der Ergebnisse zwei Wege der qualitativen Inhaltsanalyse offen:

  • komplexe Kodierverfahren nach Mayring, die vor allem in der universitären Forschung verbreitet sind und eine umfassende statistische Analyse inklusive 
      Berechnung der Interraterreliabilität ermöglichen, sowie
  • die qualitativ-interpretative Analyse des Gesagten, die den Dingen auf den Grund geht und aus der sich im Prozess der Theoriebildung umfassende Erklärungs-
    ansätze entwickeln lassen.

Beide Verfahren erfordern Erfahrung und Zeit und sind damit oft aus Budgetgründen ausgeschlossen, obgleich sie die Methode der Wahl mit Blick auf den höchsten Erkenntnisgewinn darstellen. Dennoch ist in der Praxis das einfache Coding das etablierte Verfahren – und viele Marktforscher leben mit den offensichtlichen Einschränkungen.

 

Der VerbatimExplorer zur Analyse offener Antworten

Der VerbatimExplorer wurde entwickelt, um das Dilemma von Effizienz und Erkenntnisgewinn zu lösen (Abb. 1). Einfache Kodierung muss effizienter werden, die inhaltlichen Analysen hingegen müssen an Erkenntnistiefe gewinnen. Der VerbatimExplorer liefert mit einfachen Wort-Zählungen (visualisiert in Tag Cloud und Listing) die Basis einer individuellen Schlagwortanalyse. Der Anwender gruppiert davon ausgehend Schlagworte in semantische Kategorien, welche abschließend netto gezählt als Variablen in der Datenmatrix abgelegt werden.

Die webbasierte Anwendung umfasst unter anderem folgende Funktionen:

  • Visualisierung in Form einer Tag Cloud zur unmittelbaren Erfassung der zentralen Themen
  • Schlagwortlisting zur gezielten Selektion aller Nennungen, in denen relevante Begriffe oder Begriffskombinationen vorkommen
  • Schlagwortgruppierung zur Bildung 
übergeordneter semantischer Kategorien
  • Datenexport der Schlagwort-Matrix zur 
weiteren Analyse in MS Excel oder SPSS

Welches Erkenntnispotenzial in offenen Nennungen mit dem VerbatimExplorer mit geringem Aufwand zu heben ist, zeigt die folgende Fallstudie.

 

Case Study: „Herausforderungen unserer Zeit“

Die Grundlage bildet eine online-repräsentative CAWI-Befragung mit N=500 Fällen. Sie umfasst neben Fragen zur Lebenszufriedenheit und Soziodemografie zwei offene Fragen:

1) „Wo sehen Sie für Ihr persönliches Leben die großen Herausforderungen, die Sie bewältigen müssen, um eine gute Zukunft zu haben?“

2) „Wo sehen Sie die großen Herausforderungen unserer Welt, die wir global bewältigen müssen, um eine gute Zukunft zu haben?“

Beide Fragen wurden mit dem VerbatimExplorer analysiert. 

Im ersten Schritt wurden dabei die häufigsten Begriffe zu Schlagworten gruppiert. Dieser Schritt dauert unabhängig von der Fallzahl etwa ein bis zwei Arbeitsstunden, was eine deutliche Zeitersparnis gegenüber dem klassischen Coding und damit mehr Zeit für die anspruchsvolleren Analysen bedeutet: Die extrahierten Top-Schlagworte lassen sich unmittelbar im Anschluss als Häufigkeitszählung in Form von dichotom kodierten Variablen exportieren und statistisch auf Unterschiede überprüfen. Abbildung 2 zeigt die Geschlechtsunterschiede bei der Frage nach den großen persönlichen Herausforderungen für ein glücklicheres Leben.

Für jedes Schlagwort ist es nun möglich, gezielt einzelne Verbatims zu selektieren. Somit lässt sich eine vertiefende inhaltliche Analyse der Nennungen sehr viel komfortabler gestalten. Doch jenseits davon ist nun auch die Integration mit quantitativen Befragungsdaten möglich. Die subjektive Lebenszufriedenheit kann in Abhängigkeit von den spontan genannten persönlichen Lebensthemen analysiert sowie die einzelnen Schlagworte zur Segmentierung der Stichprobe mittels Clusteranalyse genutzt werden.

Eine Clusteranalyse haben wir am Beispiel der Frage nach „Herausforderungen der Menschheit“ (Befragungszeitpunkt kurz nach der Fukushima-Katastrophe) durchgeführt. Dabei wurden die Befragten ausschließlich anhand ihrer spontan genannten Schlagworte segmentiert. Das Ergebnis ist erstaunlich prägnant: Allein anhand dieser einzigen Antwort, ohne eine tiefere Analyse, werden deutliche Unterschiede zwischen Subsegmenten sichtbar: Während der Mainstream (40 Prozent „Umweltzentrierte“) sich voll an der Agenda der aktuellen Berichterstattung orientiert oder aber im weniger gebildeten Milieu schlicht ratlos bleibt (30 Prozent „Ratlose“), sind die gebildeteren Zielgruppen in zwei Segmenten entweder von der Angst vor der Finanzkrise beherrscht (21 Prozent „Finanzkrisenfixierte“) oder aber in der Lage, komplexe Zusammenhänge (zum Beispiel Nahrungsmittelkrise, aufstrebende Schwellenländer und steigender Energiebedarf etc.) herzustellen (neun Prozent „Komplexe“).

 

Qualitative und quantitative Analysen werden integrierbar

Alle in Abbildung 3 gezeigten Befunde weisen signifikante Unterschiede zwischen Teilgruppen auf, so dass konstatiert werden kann: In einer einzigen offenen Frage steckt bereits großes Erkenntnispotenzial über markante Zielgruppenunterschiede.

Dem Ziel, den Wert des offenen Wortes in der quantitativen Marktforschung zu steigern, kommt man mit dem VerbatimExplorer ein gutes Stück näher. Zugleich stellt das Tool aus unserer Sicht ein Paradebeispiel für hybride Forschung dar, weil qualitative und quantitative Analysen integrierbar werden, während der zeitliche Aufwand überschaubar bleibt.